När Open AI släppte Chat GPT hösten 2022 byggde den på version 3.5 av AI-modellen GPT. Många tappade hakan. Men snart började det viskas om nästa modell, och hur mycket bättre den skulle vara.
Bättre, med andra ord större.
GPT 3 hade byggt på 175 miljarder parametrar, ett sätt att mäta AI-modellens storlek. GPT 4 skulle bli fem gånger så stor. Tusen miljarder parametrar. Tanken svindlade. Vissa blev rädda, andra hoppfulla.
Och mycket riktigt blev modellen bättre än sin föregångare. Men GPT 4 representerade också när utvecklingen mot allt större AI-modeller började nå vägs ände. Delvis på grund av att internet helt enkelt håller på att ta slut.
I guldruschen kring AI har företag som Google och Chat GPT-utvecklaren Open AI glufsat i sig all text de har kunnat hitta på internet för att träna sina modeller. I regel utan tillstånd, för det var ju bråttom och – tycks de ha resonerat – det är lättare att be om ursäkt än att be om lov.
Men trots detta börjar webben som datakälla sina, vilket förstärks ytterligare av att tidningar som New York Times och andra har stämt AI-bolag för hur de använder sig av deras texter. Allt fler webbplatser lägger också in en virtuell stoppskylt för AI-robotarna, vilket inte stoppar dem tekniskt men gör det svårare att lagligt använda dem för AI-träning.
Både juridiken och den faktiska tillgången pekar åt samma håll: Det börjar bli skralt med text. Internet växer, men hungern på träningsdata växer snabbare. En uppmärksammad beräkning från forskningsinstitutet Epoch AI visar att det tillgängliga materialet tar slut någon gång runt 2028.
– Vi har i några år haft modeller som är tränade på hela internet. De är bra, till en viss nivå. Men vi kan sedan ta modellen och träna den vidare, till att bli en reasoning model, säger Birger Moëll, doktorand på KTH som har skrivit flera vetenskapliga artiklar om resonemangsmodeller.
– Det är verkligen ett paradigmskifte.
Skillnaden mellan de vanliga stora språkmodellerna, som GPT 3 och GPT 4 är exempel på, och resonemangsmodeller är att de senare ”tänker efter”.
Språkmodellerna har ibland lite elakt beskrivits som inget mer än en glorifierad variant av autocomplete, funktionen i mobilen som gissar vilket ord du håller på att skriva. Och de fungerar faktiskt, något förenklat, genom att gissa nästa ord i en mening, byggt på mycket omfattande statistik.
En resonemangsmodell går inte direkt till en sådan gissning. I stället bryter den ner frågan i mindre delar och tänker ut svaret steg för steg. Resonerar, om man så vill.
Ett exempel, lånat från en artikel av datavetarprofessorn Melanie Mitchell i tidningen Science: ”Julia har två systrar och en bror. Hur många systrar har hennes bror Martin?”
Många konventionella språkmodeller har svårt med en sådan uppgift. ”Martin har två systrar, samma antal som Julia”, svarar GPT 4 felaktigt. En resonemangsmodell specificerar i stället vilka steg som behövs för att besvara frågan, spaltar upp familjemedlemmar, inklusive att Julie är en flicka och därför ska räknas bland systrarna och kommer fram till rätt svar.
Det liknar hur man själv skulle tänka för att besvara frågan. Betyder det att AI-modellen tänker och resonerar på riktigt, eller bara får det att se ut så? Det är inte helt lätt att svara på. ”Vi är inte ens på det klara med vad ‘verkligt resonerande’ egentligen betyder”, skriver Melanie Mitchell.
Kristina Knaving, senior forskare inom AI på forskningsinstitutet Rise är inne på samma spår.
Vi vet för lite om hur vårt eget tänkande fungerar, och det är viktigare att fokusera på resultatet. Att resonemangsmodellerna löser problem skickligare kan förklaras utan att ge sig in filosofiska frågor om tänkande och intelligens. En liknelse med matematik illustrerar det.
– Om vi tänker oss att frågan är 2+2+4+4, så finns det kanske inte så mycket data att bygga svaret på. Det finns mer på 2+2 och 4+4, och sedan på 4+8, säger hon.
Samma sak kan förklara resonemangsmodellernas förmåga inom andra områden: De enskilda stegen är enklare att besvara ett och ett.
Det kinesiska AI-labbet Deepseek ger en inblick i metoden på ett sätt som andra inte gör. Deepseeks resonemangsmodell R1 slog ner som en bomb tidigare i år, till stor del för att den sades ha tränats betydligt mer resurssnålt än de amerikanska konkurrenterna. Den fick också kritik för att censurera för Kina känsliga ämnen. Men i forskarvärlden sticker den ut på andra sätt: Den finns tillgänglig att ladda hem, och den redovisar öppet sitt bakomliggande resonemang.
DN har bett Deepseek skriva en kortfattad affärsplan för en butik som säljer hårförlängningar. Innan den svarar definierar den att en affärsplan måste innehålla butikens namn, en marknadsanalys, produktutbud, en e-handelsstrategi och så vidare. Sedan besvarar den dessa frågor en efter en. I detta exempel behövde Deepseek 33 sekunder för att tänka efter.
Deepseek var inte först. Open AI hade också släppt resonemangsmodeller, men under stort hemlighetsmakeri.
– Alla visste att Open AI hade kommit på något och försökte komma på vad. Men det var som ett svart hål. Därför har Deepseek varit så otroligt betydelsefull. Att kunna se hur modellen tänker är så viktigt för explainability, säger Birger Moëll och använder det engelska ord som har blivit AI-forskningens begrepp för att begripa hur ett AI-system kommer fram till sina slutsatser.
Sådan förståelse är viktigt för att systemen ska kunna användas inom känsliga områden. Inom till exempel sjukvården, vilket Birger Moëll har forskat om. I en studie lät han Deepseeks AI-modell utföra medicinska bedömningar som en läkare annars skulle ha gjort. I en annan undersökte den om en patient led av begynnande demens, baserat på hur patienten talade. Studierna, som ännu inte är publicerade, tyder på lovande resultat.
Eftersom modellen berättar hur den har tänkt kan en mänsklig specialist följa resonemanget och se eventuella tankevurpor. Man behöver inte lita blint på svaret.
Det ger en möjlig lösning på det AI-fenomen som brukar kallas black box-problemet. Systemen är så komplexa att de är i det närmaste omöjliga för en människa att förstå. Vi matar in en fråga som i en svart låda och får ut ett svar. Men vi vet inte hur det uppstod.
Resonemangsmodeller kan åtminstone förklara hur tankekedjan såg ut.
– Vi kan till och med kolla på hur AI tänker och kanske komma på bättre sätt att tänka själva, säger Birger Moëll.
Läs mer:
Rapport: Här är jobben som kan ersättas av AI
EU vill bli bäst på AI, men säger nej till AI-assistenter
