OpenAI måler AI-modellers evner i medicinsk kemi med ny test

MedChemBench bruger 99 opgaver fra offentliggjort forskning. Modellerne skal både forstå molekyler og vurdere, hvilke forbindelser forskerne kan undersøge videre.

OpenAI måler AI-modellers evner i medicinsk kemi med ny test
Illustration: Kurateret Kaos (AI-genereret).

OpenAI har præsenteret MedChemBench, en ny test af AI-modellers evne til at arbejde med medicinsk kemi. Opgaverne handler blandt andet om at læse molekyltegninger, forklare forsøgsresultater og vælge forbindelser til videre undersøgelse.

Testen består af 99 opgaver med udgangspunkt i 117 forskningsartikler og patenter og omfatter 761 forskellige molekylstrukturer. Modellerne får oplysninger om et forskningsforløb og skal bruge dem til at vurdere næste skridt.

Stærkere til strukturer end til stofvalg

Ved indstillingen xhigh fik GPT-6.2 Astra ifølge OpenAI 84,5 procent af de mulige point. GPT-6 Astra fik 83,3 procent, mens GPT-6.1 Sol nåede 82 procent.

For GPT-6 Astra var det især rekonstruktion af molekyler og forklaringer af forsøgsdata, der trak op. Valg af forbindelser og forudsigelser af deres egenskaber var sværere. Et stof kan eksempelvis påvirke det ønskede protein kraftigt, men samtidig blive nedbrudt for hurtigt i kroppen.

Målingen bruger historiske forskningsdata og ét svar pr. forsøg uden værktøjer, feedback eller nye laboratorieforsøg. OpenAI kan ikke udelukke, at modellerne tidligere har mødt de offentliggjorte kilder.

OpenAI offentliggjorde MedChemBench den 20. november og beskriver testens opgaver og resultater i den tilhørende forskningsmeddelelse.

Kilder: OpenAI meddelelse.

Aktører i artiklen

Læs videre i aktørprofilen

OpenAI OpenAI er AI-selskabet bag ChatGPT, GPT-modellerne, Codex og API-platformen - og en af de aktører, der mest konkret har flyttet AI fra demo til dagligt arbejdsredskab. AI-lab og platform

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *