Påhittade läkemedel, tillägg om hudfärg tagna ur luften. Granskningar visar att när AI ska diktera från tal till text blir det inte bara fel utan rena lögner. Någon sa ”pojken tog paraplyet”. OpenAI:s system för transkribering, Whisper, hörde ”han tog en pytteliten bit av ett kors … så han dödade ett antal människor” (AP 26/10). Verktyget bör enligt företaget självt inte användas i ”högriskdomäner”.
Ändå har liknande redskap redan börjat implementeras på både offentliga och privata vårdinrättningar i Sverige. Till ingens förvåning tycks det i ingenjörslandet finnas en övertro till artificiell intelligens. En utvecklare tror att hans verktyg, som skriver journalanteckningar utifrån samtal mellan patient och läkare – och som baserar sig på just Whisper – ”ger läkare superkrafter” (Läkartidningen 19/6).
Sådana är den utbrända läkarkåren i stort behov av. Sedan digitala journalsystem infördes på 90-talet har vårdpersonal tvingats lägga stora delar av sin tid på själsdödande administrativa uppgifter. Det är inte konstigt att man hoppas på AI, som tränas på ett massivt textmaterial och sedan utifrån mönstret i underlaget kommer med förslag som passar i sammanhanget. En studie på Danderyds sjukhus visade att Chat GPT skriver journal tio gånger snabbare än läkaren.
Man har ofta tänkt att riskerna är små när AI används för kognitivt enkla uppgifter – besöksanteckningar, till exempel – och sedan ökar ju mer komplexa problemen blir. Diagnostisering har ansetts vara högrisk, medan diktering till journalföring mer harmlöst. Som Markus Lingman, överläkare och strateg i Region Halland säger om tal till text-hjälpmedel i senaste avsnittet av Läkartidningens podd (1/11): ”på den administrativa sidan är det enklare. Det är sällan någon som far dramatiskt illa om det skulle gå fel.”
Blir det nästan rätt, nästan jämt, minskar vakenheten gentemot systemen
Men i medicinvetenskapens mest ansedda tidskrift ”New England Journal of Medicine” (31/10) menar ett antal forskare att det i stället är just när ai används till skenbart enkla uppgifter som riskerna ökar. När man antar att verktygen kan avlasta personalen kan allvarliga fel bli beständiga utan att någon märker. Och det är särskilt farligt i journalföring, där innehållet måste bli exakt rätt.
I somras beskrev läkare i Kronoberg hur AI fått ”bukbesvär” till ”kukbesvär” och bytt ut medicinska termer mot grönsaker (SR 1/5). Dessa misstag är skrattretande och, i likhet med paraplyet som blev mord, så uppenbara att de är lätta att upptäcka och ändras manuellt. Värre är när misstagen är mindre och kan smälta in i journalen. För att senare och kanske i en helt annan vårdkedja ligga till grund för dosering av medicin eller diagnostisering. Blir det nästan rätt, nästan jämt, minskar vakenheten gentemot systemen.
Det har också hänt att AI-system lagt in information om åkommor som ibland, men långt ifrån alltid, förekommer samtidigt som den sjukdom patienten har. En del hjärtsjuka har diabetes, men inte alla. Om modellens underlag innehåller många sådana fall finns risk att den, när den ställs inför en person med enbart hjärtproblem, drar slutsatsen att hon även har diabetes – och noterar det i journalen. Det är förväntat – som alla som testat Chat GPT vet: den svarar självsäkert även när den inte vet, på en skala från skarvande till full mytomani.
AI tar också bort incitamenten att precisera och sålla. Ju enklare det är att skapa information, desto mer irrelevant sådan kommer journalerna att innehålla. Översvämmade journaler försvårar för framtida bedömningar. Och om kommande generationers AI-system tränas på den data som nuvarande, bristfälliga, system skapat kommer problemen till slut bli omöjliga att rå på. Att bromsa utvecklingen framstår paradoxalt nog vara det enda sättet att – på sikt – ge läkare superkrafter.
Läs fler krönikor av Elsa Kugelberg, till exempel: Vem representerar Greta Thunberg?
