OpenAI har præsenteret MedChemBench, en ny test af AI-modellers evne til at arbejde med medicinsk kemi. Opgaverne handler blandt andet om at læse molekyltegninger, forklare forsøgsresultater og vælge forbindelser til videre undersøgelse.
Testen består af 99 opgaver med udgangspunkt i 117 forskningsartikler og patenter og omfatter 761 forskellige molekylstrukturer. Modellerne får oplysninger om et forskningsforløb og skal bruge dem til at vurdere næste skridt.
Stærkere til strukturer end til stofvalg
Ved indstillingen xhigh fik GPT-6.2 Astra ifølge OpenAI 84,5 procent af de mulige point. GPT-6 Astra fik 83,3 procent, mens GPT-6.1 Sol nåede 82 procent.
For GPT-6 Astra var det især rekonstruktion af molekyler og forklaringer af forsøgsdata, der trak op. Valg af forbindelser og forudsigelser af deres egenskaber var sværere. Et stof kan eksempelvis påvirke det ønskede protein kraftigt, men samtidig blive nedbrudt for hurtigt i kroppen.
Målingen bruger historiske forskningsdata og ét svar pr. forsøg uden værktøjer, feedback eller nye laboratorieforsøg. OpenAI kan ikke udelukke, at modellerne tidligere har mødt de offentliggjorte kilder.
OpenAI offentliggjorde MedChemBench den 20. november og beskriver testens opgaver og resultater i den tilhørende forskningsmeddelelse.
Kilder: OpenAI meddelelse.
Aktører i artiklen








