Thélyson Orélien kunde ha vunnit Frankrikes mest prestigefyllda litteraturpris. I stället hamnade han i centrum för en litterär AI-skandal.
Den kanadensisk-haitiska författaren hade nominerats till Goncourtpriset för sin hyllade debutroman, ”C’était ça ou mourir” (”Det var antingen det eller att dö”), en fiktiv berättelse inspirerad av hans eget liv. Tills någon – allt började med ett anonymt konto på nätet – började se tecken på att texten kunde vara AI-genererad.
Häromveckan strök Goncourtjuryn honom från listan över nominerade när bevisen ansågs för starka. Själv nekar han.
Det finns en rad verktyg som säger sig kunna bedöma om en text är skriven av ett AI-system eller en människa. Den ursprungliga anklagelsen byggde på en analys med mjukvaran Pangram, som är en av de mest använda. Flera tester har bedömt den som rejält kapabel att skilja mänsklig från maskinskapad text, vilket har lett till flera skandaler där författare anklagas för AI-fusk.
Samtidigt – efter misstankarna mot Thélyson Orélien testade nyhetsbyrån AFP hans text mot sitt eget verktyg, och fick motsatt resultat: ”Högst troligt skriven av en människa.”
AI-analys av texter är alltid gissningar. Mer eller mindre kvalificerade. Man talar om graden av falska positiva – utpekanden av mänskligt skrivna som AI-genererade, och motsatsen falska negativa – när systemet missar att peka ut en AI-text. Att få ner antalet fel till noll är oerhört svårt.
Verktygen för att hitta AI-texter är, möjligen något ironiskt, i sig AI-verktyg som har tränats på dels mänskligt skrivna texter, dels AI-genererade. Målet är att hitta strukturer, ordval, meningsbyggnader och annat som är typiskt för de språkmodeller som är grunden för de flesta av dagens AI-tjänster.
Många av språkmodellernas egenheter har blivit uppenbara för alla som använder dem. Chat GPT och andra modeller överanvände länge de långa tankstrecken (–). Vissa versioner har varit överförtjusta i långa meningsbyggnader och latinska eller grekiska ord som låter avancerade och akademiska. De har varit lite väl förtjusta i att rada upp tre exempel. Och ibland skapat sina egna språkklichéer, så som krystade motsatsförhållanden: ”Det är inte bara X – det är Y.”
Sådant måste ses som brister i språkmodellerna – de är ändå gjorda för att skriva som en människa. Men snart kommer Chat GPT börja smyga in markeringar i text den genererar, som en osynlig vattenstämpel för att markera att den är skapad av en maskin.
Orsaken är EU:s AI-förordning, som bland annat kräver att AI-genererat material ska vara märkt på ett sätt som ett datorprogram kan identifiera. När det gäller bilder och video finns sätt att baka in små markörer i filerna. Med text är det knivigare – här finns ju inget att jobba med mer än just orden och meningsbyggnaderna. Open AI kallar sitt system Textgrain och beskriver det som statistiska markörer i texten. Det är inte några dolda tecken, utan små förändringar i hur språkmodellen väljer ord. Metoden är mycket komplicerad, men förenklat kan man säga att den ruckar en smula på sannolikhetsberäkningarna som en språkmodell utför för att välja vilket ord den ska sätta i en mening. Tanken är att det inte alls ska märkas för en vanlig läsare, men att ett datorprogram ska kunna hitta signalerna och avslöja den som AI-text.
Som svenska användare, och andra i EU, kommer det här vara påslaget automatiskt. I resten av världen får de aktivera funktionen själva. Konkurrenten Anthropic berättade i somras att dess chattrobot Claude kommer få en motsvarande vattenmärkning.
Snart kan fuskande studenter och stressade författare (samt lata journalister) ertappas med sina AI-vanor inte för att språkmodellerna tabbar sig, utan för att de vattenmärker precis som det är tänkt.
Eller så kommer de undan. För systemet är långt ifrån perfekt och det kan saboteras. Vattenmärkt text med ungefär 150 ord gör att 80 procent av AI-texterna upptäcks. Dubblar man längden ökar det till 95 procent. Även ämnet spelar in, till exempel är det svårare att vattenmärka text som handlar om matematik eftersom det ger modellen mindre spelrum att välja ord.
Och det är ärligt talat inte så svårt att sabotera. Att ersätta vart tionde ord med en synonym gör att andelen som upptäcks sjunker från 92 till 66 procent. Orkar man ersätta vart fjärde ord rasar den till 17 procent, enligt Open AI:s egna tester. Fuskarna kanske har en framtid, bara en som är lite jobbigare än i dag.
Faktum är att Open AI är så pass tveksamma till systemets träffsäkerhet att verktyget som ska identifiera vattenstämplad text inte släpps till allmänheten, åtminstone inte än, utan till forskare och andra som måste ansöka.
Vi andra är utlämnade till att leta efter språkmodellernas fåniga särdrag. Tidningen The Economist byggde nyligen ett verktyg som jämförde tidningens egna texter – 55 940 meningar totalt – med AI-genererade versioner om samma ämnen. AI-texterna stack ut på flera sätt, men kanske inte som man tror. Förtjusningen i långa tankstreck tycks till exempel ha försvunnit. Men de skriver fortfarande längre meningar än människor och använder därför ordet ”och” oftare. Dessutom gillar de grupperingar i tre, beskrivningar av motsatsförhållanden och onödigt flådiga ordval.
Men tidningens verkliga slutsats av analysen är att ingenting är beständigt. För inte länge sedan frågade skribenten Chat GPT varför den använde långa tankstreck så förtvivlat ofta och fick svaret: ”Ha – great question!” (Ha – bra fråga!). Men i dag är den egenheten borta. Ju skickligare modellerna blir desto mer likt människor skriver de.
Möjligen är vattenmärkningen sättet att avslöja nästa författarbluff, åtminstone den blufförfattare som inte orkar ersätta vart fjärde AI-ord.