Professor i ansvarsfull AI utreds för AI-fusk

Vi besöker Virginia Dignum fyra trappor upp i en gul tegelbyggnad på Umeå universitet.

Här är hon chef och professor i ”ansvarsfull AI” på AI Policy Lab sedan några år tillbaka.

Hon är en av de ledande AI-forskarna i Sverige och världen, bedriver grundläggande forskning och ger råd till beslutsfattare, till exempel i regeringen och på myndigheter, om hur man använder AI på ett etiskt och genomtänkt vis.

– Just nu ser vi en rush för att implementera AI över hela världen, säger hon och snurrar ett halvt varv på stolen när vi frågar vad det är för priser som står på en hylla bakom skrivbordet.

Hon lyfter upp den prestigefyllda utmärkelsen ”Lifetime achievement in AI” som hon fick vid den nordiska konferensen Nordic DAIR awards tidigare i år.

I februari kom hon också ut med sin populärvetenskapliga bok ”The AI Paradox, how to make sense of a complex future”, på Princeton University Press.

Den handlar om hur viktigt det är att människor övervakar och styr utvecklingen av AI.

I juni anmäldes hon för forskningsfusk.

Och nu utreds hon av den statliga Nämnden för oredlighet i forskning, NPOF.

Virginia medger att hon använt AI för att konvertera referenser mellan olika format och för att kontrollera textformuleringar.

Framför allt handlar det om sex fotnoter, referenser eller akademiska hänvisningar som inte finns och som AI enligt anmälan ska ha ”hallucinerat” eller ”fabricerat” fram.

Felen, som hon väljer att kalla dem, uppstod när hon använde textprogrammet Latex för att sortera fotnoterna, berättar hon.

– Jag skrev in data för referenslistan och bad programmet att konvertera information till en referenslista och lägga den längst bak i boken.

– Referenserna är alltså inte påhittade av AI, utan har omvandlats felaktigt. Det rör sig om ett konverteringsfel.

Hon säger att hon borde ha kontrollerat listan bättre, men tillägger sedan att hon gjorde det ”en miljon gånger”.

Från att det sista utkastet lämnades in tills boken trycktes gick det ungefär sex månader.

Under den tiden uppskattar hon att ett femtontal personer – redaktörer och sakkunniga, vissa bekanta för henne och andra okända – läste och granskade innehållet innan boken kom ut.

– Helt i enlighet med den vanliga vetenskapliga processen. Jag är förstås inte glad över att jag missade felen. Men jag hade inga avsikter att vilseleda någon. Det rör sig om misstag vid konverteringen, säger hon.

Enligt anmälan är även delar av den löpande texten genererad av AI.

Enligt Virginia handlar det inte om att hon låtit AI fabricera text, utan att hon använt program som ChatGPT, Claude och Gemini för att putsa språket så att det skulle bli god engelska.

Forskare får använda AI för att förbättra delar av den text de själva har skrivit. Det är ett vanligt och accepterat sätt att skriva akademiska texter, menar hon.

– Särskilt när författaren som i mitt fall skriver på engelska men har ett annat modersmål (portugisiska). Boken är skriven till hundra procent av mig. Men ibland frågade jag om en mening var tillräckligt tydlig på engelska.

AI-verktygen är särskilt opålitliga och missgynnar skribenter som har engelska som andraspråk, menar Virginia och tar fram forskning som visar detta.

Så hur mycket av texten är korrigerad av AI?

– Det kan röra sig om ett par meningar i varje kapitel. Högst tio procent. Men det är omöjligt att svara på eftersom jag inte räknade.

Graden av oredlighet förstärks av att hon undervisar och skriver böcker om etisk användning av AI, skriver anmälaren.

Virginia vill understryka att det rör sig om en populärvetenskaplig bok, inte en forskningspublikation, och vänder sig därför emot att det benämns som oredlighet i forskning.

Vilket ansvar har du för att kontrollera att det du publicerar stämmer?

– Självklart har jag ansvar för allt innehåll eftersom mitt namn står på boken.

Så hur påverkas ditt fortsatta arbete och din trovärdighet av det här?

– Jag fortsätter att arbeta som vanligt, föreläsa och ge råd till olika organisationer.

Nämnden för oredlighet i forskning, NPOF, kan inte kommentera hennes specifika fall eftersom det är under utredning.

– Men vi ser en ökning av ärenden kopplat till referenser, säger Jonas Jeppson som är kanslichef på NPOF.

För att hålla reda på namn och titlar och årtal är det vanligt att forskare använder olika typer av AI-baserade verktyg som ibland hittar på sådana uppgifter.

Är det oredlighet att inte upptäcka felaktigheterna?

– Det finns gemensamma regler som har tagits fram för att främja god forskningssed. Enligt dem är forskare skyldiga att kontrollera att det de publicerar verkligen stämmer, vilket även gäller referenserna, säger Jonas Jeppson.

Han tycker det är bra att detta uppmärksammas för att fler ska bli medvetna om riskerna med AI-verktygen.

I april fälldes till exempel en forskare vid Linnéuniversitetet för oredlighet inom ämnesområdet samhällsvetenskap på grund av fabricering av fyra referenser i en ansökan om forskningsmedel.

Eftersom forskaren haft möjlighet att kontrollera dem, anses inte felaktigheterna handla om ”förbiseende, slarv eller missförstånd”. Forskaren bedöms därför ha agerat ”grovt oaktsamt”, skriver nämnden i sitt beslut.

Gäller det även en populärvetenskaplig bok som inte är en renodlad forskningstext?

– För att en forskare ska anses ha varit oredlig ska det vara inom ramen för forskningsprocessen. Det kan till exempel vara när man bedriver forskning, söker finansiering, skriver fram en projektplan eller skriver om sin forskning.

Nämnden bedömer sedan om det rör sig om förfalskning, fabricering eller plagiering. Andra typer av avvikelser ligger på universiteten att utreda.

Jonas Jeppson ser också en ökning av det som kallas paper mills, där stora mängder påhittade forskningsartiklar sprids.

– Vi har haft svenska forskare som varit med i sådana ärenden där det kan finnas anledning att misstänka att materialet tagits fram av AI, säger Jonas Jeppson men betonar att AI-användning i sig inte behöver vara fel.

Kan man åberopa att man blivit vilseledd av AI?

– Som forskare har man ett ansvar för vad man publicerar. För att vi ska kunna lita på den forskning som publiceras. Inte minst eftersom nästa generation forskare bygger vidare på det som gjorts av dagens. Då är också referenser viktiga.

– Det kan vara jättebeklagligt för den forskare som blir fälld. Men det är likväl viktigt att det blir rätt.

Läs mer:

EU-regler ska avslöja AI-bluffar – men Tiktok kan slippa undan

AI bröt sig ur labbmiljö – hackade företag: ”Är otroligt kraftfull”

Comeback för papper och penna när AI-motståndet växer i USA