LifeVal skal måle AI på hverdagsopgaver frem for kun eksamensspørgsmål

OpenAI har bygget en evaluering af praktiske opgaver som indkøb, familieadministration og kontakt med offentlige tjenester. Resultaterne er selskabets egne.

LifeVal skal måle AI på hverdagsopgaver frem for kun eksamensspørgsmål
Foto: Visitor7 / Wikimedia Commons. Indkøbsvogne i en dagligvarebutik, august 2012. Arkivfoto. CC BY-SA 3.0: https://creativecommons.org/licenses/by-sa/3.0/. Kilde: https://commons.wikimedia.org/wiki/File:Shopping_Carts_in_a_Grocery_Store.jpg. Skaleret til web; billedbearbejdninger under samme licens.

Kan en AI-assistent hjælpe med det, folk faktisk bruger tid på? Det er spørgsmålet bag LifeVal, en ny offentliggjort evaluering fra OpenAI med fokus på praktiske opgaver fra hverdagen.

Opgaverne handler blandt andet om indkøb, omsorg, uddannelse, økonomi og adgang til offentlige tjenester. Pointen er at måle mere end, om modellen kan svare rigtigt på et vidensspørgsmål.

Fra svar til en gennemført opgave

OpenAI har taget udgangspunkt i tidsforbrugsundersøgelser fra USA og flere andre lande. Selskabet har suppleret dem med en undersøgelse blandt 3.995 personer om, hvor de helst ville have hjælp fra en personlig assistent.

Evalueringen omfatter derfor opgaver, som kan kræve flere skridt. En assistent skal eksempelvis finde relevante muligheder, sammenligne oplysninger og organisere et praktisk forløb, ikke bare skrive et pænt råd.

OpenAI viser blandt andet eksempler på at undersøge børnehaver efter en flytning og hjælpe en familie med at planlægge hverdagen.

Kilder: OpenAI meddelelse.

Aktører i artiklen

Læs videre i aktørprofilen

OpenAI OpenAI er AI-selskabet bag ChatGPT, GPT-modellerne, Codex og API-platformen - og en af de aktører, der mest konkret har flyttet AI fra demo til dagligt arbejdsredskab. AI-lab og platform

Skriv et svar

Din e-mailadresse vil ikke blive publiceret. Krævede felter er markeret med *