Detta är en kommenterande text. Skribenten svarar för analys och ställningstaganden i texten.
En tjej med Downs syndrom, en enögd krigsveteran och en mobbad flicka. I tårdrypande videor försöker de först vinna tittarnas empati, och sedan sälja på dem handgjorda väskor och skärbrädor.
Problemet är bara att personerna inte finns på riktigt. De är uppenbart fejkade.
Dagens Nyheters granskning visar att Tiktok låtit hundratals AI-genererade bluffklipp av det här slaget ligga kvar på plattformen, trots att klippen anmälts och väldigt tydligt bryter mot plattformens egna regler. Först efter att DN kontaktade bolaget rensades de bort.
Om Tiktok inte har förmågan att stoppa den här typen av pinsamt uppenbara manipulationer, hur ska plattformen kunna agera mot vilseledande AI-genererad desinformation och påverkanskampanjer – något bolaget faktiskt är tvunget att klara av enligt europeisk lag.
Det är inget hypotetiskt problem. Att statliga aktörer använder sociala medier för att sprida desinformation är högst belagt.
Debatten om hur techbolagen ska hantera desinformation har rasat i tio år. Den började efter indikationer på påverkanskampanjer under Brexit-omröstningen, och den tände till på allvar efter rapporter om att statliga ryska aktörer stöttade Donald Trumps första presidentkampanj genom påverkansoperationer i sociala medier.
Redan då fruktade många hur AI-utvecklingen skulle kunna få situationen att eskalera.
Året därpå etablerades begreppet deepfakes, när AI-manipulerade bilder för första gången började bli så pass realistiska att de kunde tas för äkta. Forskare och experter förutspådde att vi skulle få se en flodvåg att AI-desinformation skölja över nätet, och sociala medie-plattformarna behövde lära sig hantera detta
Ett knappt årtionde och en AI-revolution senare, och deepfakes har blivit löjligt enkla att framställa. Det finns otaliga tjänster på nätet där det bara kostar några kronor och tar några klick för att skapa mer eller mindre realistiska fejkvideor. Många betydligt mer övertygande än den gråtande tjejen med Downs syndrom och den enögda krigsveteranen.
Det vore väl cyniskt att hävda att TikTok medvetet låter AI-genererade scams ligga uppe. Alltså verkar bolagets säkerhetssystem oförmögna att upptäcka bluffar.
Hur ska appen då kunna hantera faktisk desinformation och AI-generade påverkanskampanjer?
Läs mer:
Tiktok gav AI-bluffarna grönt ljus – bröt mot sina egna regler
EU-regler ska avslöja AI-bluffar – men Tiktok kan slippa undan
Utländska makter vill påverka valet – så hamnar propagandan i ditt flöde