I undersökningen från Unicef har minst 1,2 miljoner barn i elva länder rapporterat att deras bilder har manipulerats i sexuella sammanhang genom generativ AI, under det senaste året.
– Att det är så pass många barn bara i de här elva länderna visar att det här är ett stort problem och att det kommer att bli ett större problem framöver om vi inte snabbt får till olika lösningar, säger Daniel Kardefelt Winther, forskningschef för barn och digitala medier vid Unicef.
Även om bilderna inte är verkliga handlar det om svåra övergrepp, förklarar han.
– De är extremt realistiska och det kan vara väldigt svårt att se skillnad. Skammen, skulden och alla de jobbiga känslorna som kommer av sexuella övergrepp kommer även här. Känslomässigt kan konsekvenserna för barnen bli allvarliga.
Bilderna kan också användas till att begå ytterligare övergrepp genom till exempel utpressning, där någon hotar med att sprida materialet.
– I länder där det är ännu mer tabu med sex så blir det här väldigt skamfyllt. Vi har sett exempel där barn som har sökt hjälp har blivit utstötta och mobbade, säger Daniel Kardefelt Winther.
Problemet har flera dimensioner, förklarar han. Förövarna kan till exempel vara vuxna som är inriktade på att begå sexuella övergrepp mot barn, men också andra barn. Det kan handla om en klasskompis som gör nakenbilder för att mobba, eller bara som en kul grej.
– Men det är absolut inte en kul grej för den som blir utsatt. Det är oerhört allvarligt och vissa barn och ungdomar kanske inte alltid förstår hur allvarligt det här är.
Daniel Kardefelt Winther poängterar att det inte lär finnas någon enkel lösning, men Unicef har föreslagit tre åtgärder för att mota problemet.
Dels behöver föräldrar vara medvetna om tekniken och veta hur de ska stötta barn som utsätts – detsamma gäller för skolan, som måste förstå vad den sortens övergrepp innebär.
– Sedan behöver vi någon form av lagstiftning som antingen förbjuder den här sortens appar eller förbjuder användningen av AI för att skapa övergreppsmaterial, säger Kardefelt Winther.
– Och techindustrin måste ta ett mycket större ansvar än vad de gjort hittills. De som utvecklar AI-appar eller AI-stöd till appar måste verkligen fundera över hur de kan missbrukas.
