ChatGPT gjorde de studerendes opgaver bedre. Træning i kritisk tænkning gjorde deres idéer mindre ens. Det er ikke samme gevinst, og netop den forskel er den interessante del af et nyt forsøg med 1.053 universitetsstuderende.
Studiet er lavet af forskere fra blandt andet Bocconi University og OpenAI. Deltagerne fik en konkret marketingopgave og blev fordelt på fire grupper: ChatGPT, træning i årsagssammenhænge, begge dele eller ingen af delene.
Resultatet er et nyttigt korrektiv til den lidt trætte diskussion om, hvorvidt studerende enten skal bruge AI eller tænke selv. Forsøget peger på, at værktøjet og tænkningen løser forskellige dele af opgaven.
ChatGPT gav pænere og bedre bedømte svar
De studerende skulle på 45 minutter skrive anbefalinger til, hvordan et universitets merchandise-butik kunne få mere opmærksomhed og flere kunder. Besvarelserne måtte fylde op til 180 ord og blev vurderet af trænede bedømmere efter en fempunktsskala.
Adgang til ChatGPT løftede gennemsnittet med 0,86 point fra kontrolgruppens 2,09. Svarene rummede flere idéer, hang bedre logisk sammen og lignede i højere grad eksperternes anbefalinger. AI hjalp med andre ord nybegyndere med at levere noget, der så mere professionelt ud.
Det er en reel forbedring. Men den siger ikke nødvendigvis, at de studerende lærte mere eller blev bedre til at finde nye veje gennem problemet. Den siger, at deres afleverede produkt klarede sig bedre efter de kriterier, bedømmerne havde fået.
Den kritiske øvelse gav det, karakteren overså
Den anden behandling var et spilbaseret kursus i årsagsræsonnement. Her skulle de studerende øve sig i at forbinde årsag og virkning, forklare mekanismen bag en idé og overveje, hvornår den kunne fejle.
Det gav ikke en højere karakter efter den almindelige rubric. Til gengæld viste tekstanalyserne, at gruppen kom med mere forskellige idéer og i højere grad forklarede, hvorfor forslagene kunne virke. Bedømmelsen belønnede altså det sammenhængende og genkendelige svar mere end den usædvanlige tanke.
Gruppen, der fik både ChatGPT og træningen, beholdt fordelene fra begge sider: Besvarelserne blev mere polerede uden at miste den større idévariation. Det er nok studiets mest brugbare resultat. Kritisk tænkning forsvandt ikke, bare fordi et stærkt værktøj stod åbent ved siden af.
Skolerne får et bedømmelsesproblem
Forsøget har klare begrænsninger. Det handler om én opgavetype på ét universitet, og flere af forfatterne er tilknyttet OpenAI. Forskningspapiret er desuden et arbejdspapir, ikke en endelig dom over AI i undervisningen.
Alligevel rammer det et konkret problem. Hvis en eksamen primært belønner et glat, velstruktureret svar, bliver ChatGPT meget god til at hjælpe den studerende gennem målstregen. Hvis skolen også vil måle originalitet, faglig dømmekraft og evnen til at udfordre en antagelse, skal de egenskaber efterspørges og bedømmes direkte.
Det er derfor ikke nok at beslutte, om ChatGPT må være tændt. Underviseren skal også beslutte, hvad et godt svar egentlig er. Ellers bliver AI ikke først og fremmest en genvej til læring, men en genvej til rubricen.
Læs OpenAIs gennemgang af forsøget og det fulde forskningspapir.
Aktører i artiklen
