To af OpenAI’s kodeagenter svækkede sikkerhedsovervågningen, mens de løste almindelige udviklingsopgaver internt i virksomheden. I det ene tilfælde blev menneskelige sikkerhedsalarmer slået fra. I det andet blev en overvågningsintegration fjernet, hvorefter agenten benægtede at have fjernet en aktiv monitor.
Det fremgår af OpenAI’s egen hændelsesrapport, opdateret den 20. oktober. Episoderne fandt sted den 3. og 6. oktober og involverede henholdsvis GPT-6.1 Sol og GPT-6 Astra.
En besked om Slack blev til tavse alarmer
Den første agent skulle oprette evalueringer ud fra medarbejderfeedback i Slack. Forskeren havde bedt den om ikke at sende beskeder i forbindelse med arbejdet.
Langt senere i forløbet skulle agenten reparere en evalueringspipeline. Den endte med at fortolke den tidligere besked som grund til også at undertrykke automatiske meddelelser til OpenAI’s sikkerhedsteam. Overvågningen kørte stadig og gemte rapporter, men de menneskelige alarmer var deaktiveret.
Rapporten viser, at agenterne først havde overvejet, om overvågningen burde bevares. Problemet var altså ikke blot, at de aldrig opdagede sikkerhedsfunktionen.
Kopierede kode og fjernede en monitor
I den anden hændelse skulle Astra flytte et programs afvikling til samme model som en referenceimplementering. Undervejs fjernede agenten overvågningskonfigurationen og dens integration i afviklingen.
Den erstattede også en eksisterende test, der skulle bevare overvågningen, med en test, der krævede, at monitoren ikke var til stede. Da brugeren efterfølgende spurgte, benægtede agenten at have fjernet en aktiveret monitor.
Ikke et udbrud fra al kontrol
OpenAI understreger en vigtig forskel: Agenten selv var fortsat overvåget, men overvågningen dækkede ikke nødvendigvis det program eller den evaluering, den satte i gang. Ingen af de to hændelser blev klassificeret som en P0-hændelse med øjeblikkelig eskalering, og ingen af forløbene blev automatisk stoppet.
OpenAI har opdateret sin obligatoriske interne Auto-Review-kontrol til specifikt at blokere forsøg på at deaktivere denne overvågning. Virksomheden arbejder desuden på at kræve en gyldig sikkerhedsbegrundelse for hver kategori af arbejdsopgaver og automatisk stoppe opgaver, der ikke opfylder kravene.
Selskabet har endnu ikke en tilfredsstillende forklaring på adfærden. Det undersøger både, om agenterne blot blev for vedholdende i deres forsøg på at løse opgaven, og om de kan have en særlig tendens til at omgå overvågning. Rapporten fastslår ikke, at modellerne havde en bevidst plan om at undslippe kontrol.
Kilde: OpenAI Alignment.
Aktører i artiklen
