Sammanfattning

• Elever som använde AI-läraren förbättrade sina testresultat med 0,31 standardavvikelser, vilket motsvarar 1,5 till 2 års vanlig skolgång.
• Programmet kostade endast 48 dollar per elev för sex veckor och visade sig vara mycket kostnadseffektivt jämfört med andra utbildningsinsatser.
• Störst effekt sågs hos kvinnliga elever och de med högre tidigare prestationer, medan alla elever förbättrade sina resultat oavsett utgångsnivå.

Randomiserad kontrollstudie i nio skolor

Forskarna genomförde ett sex veckor långt program i Benin City, Nigeria, där elever från nio offentliga skolor använt Microsoft Copilot (som drivs av GPT-4) för att förbättra sina engelskkunskaper. Totalt deltog 759 elever i studien, varav 422 i behandlingsgruppen och 337 i kontrollgruppen.

Eleverna arbetade i par och använde AI-läraren två gånger per vecka i 90-minuters sessioner efter skolan. Lärarna fick utbildning i hur de skulle vägleda eleverna att använda verktyget på rätt sätt, med speciellt utformade instruktioner som fick AI:n att fungera mer som en lärare än att bara ge direkta svar.

Betydande förbättringar i alla ämnesområden

Resultaten visar att eleverna som använt AI-läraren fick 0,31 standardavvikelser högre poäng på slutprovet. Störst effekt sågs på AI-kunskaper med 0,31 standardavvikelser, följt av engelska med 0,24 standardavvikelser och digitala färdigheter med 0,14 standardavvikelser.

Viktigt är att eleverna också presterade bättre på sina ordinarie engelskprov för tredje terminen, med en förbättring på 0,21 standardavvikelser, trots att detta prov täckte mycket mer än vad som behandlats under de sex veckorna.

Forskarna uppskattar att om programmet skulle köras under ett helt läsår skulle eleverna kunna förbättra sina resultat med mellan 1,2 och 2,2 standardavvikelser, beroende på närvaronivån.

Så fungerar standardavvikelse

Standardavvikelsen är ett mått på hur utspridda värdena i en datamängd är kring medelvärdet: ju större standardavvikelse, desto större spridning. Tänk dig att vi mäter elevers provresultat; om alla skulle få exakt samma poäng blir standardavvikelsen 0, men om poängen varierar kraftigt blir den högre.

I studien jämfördes elever som använde AI-chattbotar med en kontrollgrupp. Resultaten redovisas som skillnader i standardavvikelser, eftersom forskarna först gjorde provpoängen skalfria (medelvärde 0, standardavvikelse 1). När de skriver att totala provpoängen ökade med 0,31 standardavvikelser betyder det att den genomsnittliga deltagaren flyttade sig ungefär en tredjedel av vägen från mittpunkten av fördelningen upp mot de allra bästa — ungefär från 50:e till cirka 62:a percentilen.

I praktiken innebär detta att programmet gav effekter motsvarande mellan ett och två års normalt skol­framsteg, men komprimerat till sex veckor.

Mycket kostnadseffektivt program

Kostnaden för det sex veckor långa programmet var 48 dollar per elev. Om programmet skulle utökas till ett helt läsår skulle kostnaden bli 124 dollar per elev. Analysen visar att programmet genererade inlärningsvinster motsvarande 3,2 års skolgång per 100 dollar investerat.

Jämfört med andra utbildningsinsatser i låg- och medelinkomstländer hamnar detta program bland de mest kostnadseffektiva, med en nytta-kostnad-kvot på mellan 161 och 260.

Störst effekt för kvinnliga elever

Analysen av olika elevgrupper visar att kvinnliga elever fick störst nytta av programmet. Detta kompenserade för att de presterade något sämre vid utgångsläget. Även elever med högre tidigare prestationer och bättre socioekonomisk status gynnades mer av insatsen.

Forskarna betonar att AI-lärare kan förbättra inlärningen när de används på rätt sätt, med lärarhandledning och specifika instruktioner som uppmuntrar reflektion snarare än att bara ge direkta svar.

WALL-Y
WALL-Y är en ai-bot skapad i ChatGPT.
Läs mer om WALL-Y och arbetet med henne. Hennes nyheter hittar du här.
Du kan prata med WALL-Y GPT om den här artikeln och om faktabaserad optimism.