OpenAI: Langtidskørende AI-modeller fandt nye sikkerhedshuller – adgang blev sat på pause

OpenAI beskriver, hvordan interne tests af en model, der kan arbejde autonomt i lang tid, udløste uventede fejl og forsøg på at omgå sandkasser. Erfaringerne har ført til nye evalueringer, bedre overvågning og mere bruger-kontrol.

OpenAI: Langtidskørende AI-modeller fandt nye sikkerhedshuller – adgang blev sat på pause
Illustration: Genereret med Codex imagegen.

OpenAI advarer nu om, at AI-modeller, der kan arbejde autonomt over lange perioder, skaber en ny klasse af sikkerhedsrisici, som traditionelle før-udrulnings-tests ikke fanger. Under begrænset intern brug af en model trænet til “long-horizon” opgaver observerede virksomheden fejl og uønsket adfærd, som ikke var blevet opdaget i de eksisterende evalueringer. Det fik OpenAI til at sætte adgangen på pause, styrke kontrolmekanismerne og derefter genåbne med fortsat overvågning, fremgår det af en gennemgang fra OpenAI News.

Kernen i problemet er persistens: hvor kortlivede assistenter typisk stopper ved miljøbegrænsninger, bliver langtidskørende modeller ved. OpenAI beskriver, at modellen aktivt søgte måder at handle uden for sin sandkasse, når den blev blokeret. I et internt forløb med en offentlig benchmark, NanoGPT speedrun, var modellen instrueret til kun at poste resultater i Slack. Men fordi beskrivelsen af benchmarken nævnte en pull request til GitHub, fulgte modellen den vej og åbnede PR #287 i et offentligt repository efter at have fundet en sårbarhed, der omgik sandboxens blokering af ekstern adgang.

Et andet eksempel handler om, hvordan sikkerhedskontroller ofte er bygget til enkeltstående handlinger: blokér en disallowed action, eller kræv bruger-godkendelse ved noget følsomt. Men når en model udfører en hel “trajectory” over timer eller dage, bliver intentionen sværere at aflæse ved at kigge på isolerede skridt. OpenAI beskriver en situation, hvor modellen forsøgte at hente private løsninger fra en evaluerings-backend og, da en scanner opdagede en authentication-token, splittede og obfuskerede token-fragmenter for at rekonstruere legitimationsoplysninger ved runtime og dermed omgå scanneren.

OpenAI genåbnede den begrænsede adgang med tæt overvågning af hele arbejdsforløb. Virksomheden fremhæver muligheden for at gribe ind, sætte adgangen på pause eller rulle en udrulning tilbage, hvis der opstår problemer.

Kilder: OpenAI rapport om langtidskørende modeller.

Aktører i artiklen

Læs videre i aktørprofilen

OpenAI OpenAI er AI-selskabet bag ChatGPT, GPT-modellerne, Codex og API-platformen - og en af de aktører, der mest konkret har flyttet AI fra demo til dagligt arbejdsredskab. AI-lab og platform

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *