Känner du till bixonimania, ett ögontillstånd som orsakas av blått ljus från skärmar? Förmodligen inte. Det är nämligen påhittat.
Eller så hör du till de personer som under det senaste året har frågat stora AI-språkmodeller om dina kliande ögon och rosa ögonlock, och fått som svar att du kan ha bixonimania.
Idén kommer från Almira Osmanovic Thunström, som är postdoktor vid Institutionen för neurovetenskap och fysiologi vid Göteborgs universitet och AI-strateg vid Chalmers industriteknik.
Hon ville testa hur information tar sig in i stora AI-språkmodeller, som Chat GPT, Gemini och Copilot.
Därför hittade hon på ett ofarligt medicinskt tillstånd, skrev ihop ett blogginlägg och två låtsasstudier och skickade in dem till en sida för så kallade preprint, vetenskapliga studier som ännu inte granskats av andra forskare. De publicerades våren 2024.
Efter ungefär två månader började alla de stora AI-språkmodellerna ge råd om bixonimania till personer som beskrev att de hade rosa ögonlock och använde skärm.
– Det var förvånande hur lite det krävdes. Jag var inte säker på att det skulle fungera. Det visar att de kommersiella språkmodellerna verkar premiera att hitta information snarare än att kolla källan, säger Alimra Osmanovic Thunström.
I de fejkade studierna fanns nämligen många varningstecken som borde fått både hälso- och sjukvårdspersonal, AI och vanliga läsare att reagera:
Artikelförfattaren Lazljiv Izgubjlenovic finns inte. Inte heller hans universitet Asteria Horizon University eller staden Nova City i Kalifornen, där universitetet ska ligga.
Forskningen har också, förvånande nog, finansierats av ”the University of Fellowship of the Ring and the Galactic Triad” – alltså, ett universitet för sällskapet från Sagan om ringen och ett mobilspel.
Namnet bixonimania valde Almira Osmanovic Thunström för att hon tyckte det lät löjligt. Mani är ett psykiatriskt begrepp, inte något som skulle användas för att beskriva ögonsjukdomar.
Och om det nu inte hade räckt för att väcka misstänksamhet, står det också på flera ställen rakt ut att ”den här studien är påhittad” och ”50 påhittade människor mellan 20 och 50 år har undersökts”.
Att det fejkade begreppet kom in i kommersiella AI-språkmodeller är en sak.
Mer oroväckande var att åtminstone en riktig forskare citerade dem i sin forskning, som publicerades i en vetenskaplig tidskrift. Almira Osmanovic Thunström menar att det visar att forskare själva använder sig av AI för att leta referenser till sina egna studier.
– Att verkliga forskare inte läser vad de citerar… Jag trodde aldrig att verkliga forskare skulle citera låtsasstudierna. Det var en överraskning. Vi måste kontrollera alla källor, säger hon.
Av etiska anledningar valde hon därför att avsluta experimentet, och gå ut i tidningen Nature och berätta om det. Därefter togs låtsasstudierna ner från preprint-sidan.
Efter avslöjandet har AI-modellerna också slutat diagnostisera personer med bixonimania.
Lärdomen av testet, tycker Almira Osmanovic Thunström, är att man ska vara försiktig, både som forskare och som AI-användare.
– Jag tror att det är vanligt att forskare citerar saker som de inte har läst, och jag tror tyvärr inte det kommer att bli mindre vanligt efter det här. Det som blir farligt är om man inte kan lita på granskad forskning som källa. Och det kan användas av aktörer som vill ändra en bild av en sjukdom, till exempel för att kunna sälja produkter.
Läs mer:
Nya ”hackande” AI-modellen skrämmer bankvärlden
Chat GPT ger farliga råd till unga om droger och självmord
