AI-kodning handler ikke kun om nye apps. OpenAI har offentliggjort to evalueringer af modellernes arbejde med blandt andet COBOL, Fortran og Visual Basic. Det er sprog med mindre tilgængeligt træningsmateriale end Python og JavaScript, men med en vigtig rolle i eksisterende software.
To forskellige kodeopgaver
I MultiLangBench skal modellerne bygge en database, der er kompatibel med SQLite, på 20 forskellige programmeringssprog. OpenAI oplyser, at GPT-6 Astra i gennemsnit klarer 87,4 procent af testene mod 26,8 procent for GPT-5.6 Sol.
Den anden evaluering handler om at flytte COBOL-programmer til blandt andet Java, Python og Rust uden at ændre deres resultater. Her rapporterer selskabet 86,6 procent for GPT-6.1 Sol ved lav reasoning-indsats mod 5,4 procent for GPT-5.6 Sol.
Den gamle forretningslogik skal med
Et program kan godt køre uden fejl og alligevel beregne et andet beløb. Derfor tester OpenAI, om de observerbare resultater er identiske byte for byte. Selskabet understreger, at brug i produktionssystemer stadig kræver faglig gennemgang og test af de konkrete forretningsregler.
Tallene er OpenAIs egne evalueringer. Læs metoden og resultaterne hos OpenAI.
Aktører i artiklen
