Den här texten publicerades först i The New York Times. c.2025 The New York Times Company
Den artificiellt intelligenta chattboten Chat GPT är ingen terapeut – det är en mycket sofistikerad språkmodell, driven av matematik. I USA har det rapporterats om oroande fall där chattboten har kopplats till bland annat vanföreställningar. Förra veckan stämde Matt och Maria Raine från Kalifornien Open AI, företaget bakom Chat GPT, efter att deras 16-årige son tog sitt liv. Dessförinnan hade sonen haft månader av diskussioner om sina planer med Chat GPT.
På tisdagen meddelade Open AI att man planerar att införa nya funktioner som ska göra chattboten säkrare, inklusive föräldrakontroll, ”inom den närmaste månaden”. Enligt ett inlägg från Open AI kommer föräldrar att kunna ”kontrollera hur Chat GPT svarar deras tonåring” och ”få aviseringar när systemet upptäcker att deras tonåring befinner sig i ett akut nödläge”.
Detta är en funktion som Open AI:s utvecklarkollektiv har efterfrågat i över ett år.
Andra företag som tillverkar AI-chattbottar, däribland Google och Meta, har redan föräldrakontroll. Det som Open AI beskriver låter dock mer detaljerat och påminner om den föräldrakontroll som infördes av Character.AI, ett företag med rollspelande chattbottar. Character.AI stämdes av en mamma i Florida, Megan Garcia, efter att hennes son begått självmord.
På Character.AI måste tonåringar skicka en inbjudan till en vårdnadshavare för att de ska kunna övervaka deras konton. Aditya Nag, som leder företagets säkerhetsarbete, sa till The New York Times i april att användningen av föräldrakontroll då inte var särskilt utbredd.
Robbie Torney, chef för AI-program på Common Sense Media, en ideell organisation som förespråkar säkra medier för barn, säger att föräldrakontrollerna är ”svåra att installera, lägger ansvaret hos föräldrarna och är mycket lätta för tonåringar att kringgå”.
– Det här är inte riktigt den lösning som kommer att hålla barn säkra med AI på lång sikt. Det är mer som ett plåster, skriver Robbie Torney i ett mejl till NYT.
För tonåringar och vuxna som visar tecken på akut ångest säger Open AI också att man ”snart ska börja” vidarebefordra dessa förfrågningar till vad man anser vara en säkrare version av sin chattbot – en resonemangsmodell som kallas GPT-5 thinking. Till skillnad från standardmodellen GPT-5 tar den tänkande versionen längre tid på sig att producera ett svar och är tränad att bättre anpassa sig till företagets säkerhetspolicyer. Den kommer, enligt företaget, att ”deeskalera genom att förankra personen i verkligheten”. En talesperson säger att detta ska ske ”när användare visar tecken på psykisk eller emotionell nöd, såsom självskada, självmord och psykos”.
I inlägget från förra veckan säger Open AI att man planerar att göra det lättare för användare i nöd att nå räddningstjänsten och få hjälp. Mänskliga granskare tittar redan på konversationer som ser ut som om någon planerar att skada andra och kan hänvisa dem till polisen.
Jared Moore, en forskare vid Stanford University som har studerat hur Chat GPT reagerar när en användare befinner sig i mental kris, tycker att Open AI inte har gett tillräckligt med detaljer om hur dessa ingripanden kommer att fungera.
– Jag har många tekniska frågor. Problemet med hela denna strategi är att det bara är vaga löften utan några möjligheter till utvärdering, säger han.
Det enklaste man kan göra i fallet med en störande konversation, säger Moore, är att helt enkelt avsluta den.
Den här texten publicerades först i The New York Times. c.2025 The New York Times Company
