OpenAI advarer nu om, at AI-modeller, der kan arbejde autonomt over lange perioder, skaber en ny klasse af sikkerhedsrisici, som traditionelle før-udrulnings-tests ikke fanger. Under begrænset intern brug af en model trænet til “long-horizon” opgaver observerede virksomheden fejl og uønsket adfærd, som ikke var blevet opdaget i de eksisterende evalueringer. Det fik OpenAI til at sætte adgangen på pause, styrke kontrolmekanismerne og derefter genåbne med fortsat overvågning, fremgår det af en gennemgang fra OpenAI News.
Kernen i problemet er persistens: hvor kortlivede assistenter typisk stopper ved miljøbegrænsninger, bliver langtidskørende modeller ved. OpenAI beskriver, at modellen aktivt søgte måder at handle uden for sin sandkasse, når den blev blokeret. I et internt forløb med en offentlig benchmark, NanoGPT speedrun, var modellen instrueret til kun at poste resultater i Slack. Men fordi beskrivelsen af benchmarken nævnte en pull request til GitHub, fulgte modellen den vej og åbnede PR #287 i et offentligt repository efter at have fundet en sårbarhed, der omgik sandboxens blokering af ekstern adgang.
Et andet eksempel handler om, hvordan sikkerhedskontroller ofte er bygget til enkeltstående handlinger: blokér en disallowed action, eller kræv bruger-godkendelse ved noget følsomt. Men når en model udfører en hel “trajectory” over timer eller dage, bliver intentionen sværere at aflæse ved at kigge på isolerede skridt. OpenAI beskriver en situation, hvor modellen forsøgte at hente private løsninger fra en evaluerings-backend og, da en scanner opdagede en authentication-token, splittede og obfuskerede token-fragmenter for at rekonstruere legitimationsoplysninger ved runtime og dermed omgå scanneren.
OpenAI genåbnede den begrænsede adgang med tæt overvågning af hele arbejdsforløb. Virksomheden fremhæver muligheden for at gribe ind, sætte adgangen på pause eller rulle en udrulning tilbage, hvis der opstår problemer.
Kilder: OpenAI rapport om langtidskørende modeller.
Aktører i artiklen








