Bedragare fejkar Downs syndrom – Tiktok ger grönt ljus

En ung kvinna sitter på en buss. Hon har ansiktsdragen hos någon med Downs syndrom och ser ledsen ut. I videoklippet på Tiktok ser man hur hon håller en väska med mönster av stora färgglada fjärilar i sin famn.

Någon kastar ett hopknycklat papper på henne, spridda skratt hörs. Hon håller upp handen mot kameran som för att slippa bli filmad.

I nästa klipp håller hon i en annan väska, samma modell men med blommigt motiv. Hon pratar om väskorna, med tårar rinnande över ansiktet.

– Jag lägger så mycket tid på att tillverka varenda en av dem. Men alla bara gör narr av mig.

Hennes konto är fullt med sådana filmer, där man ser hur svårt hon har det. Men hon skiner upp när hon sitter och syr sina väskor. Filmen avslutas med en text: ”Säg ärligt. Skulle du köpa en?” I hennes profil finns en länk till butiken där de säljs för knappt 400 kronor.

Kommentarsfältet är fyllt av hundratals inlägg, de flesta stöttande:

”De är underbara!”

”Fortsätt!”

”Trollen och mobbarna är bara avundsjuka på din talang.”

Men det är något som inte stämmer med hennes filmklipp. Tittar man noga så ser man underliga perspektiv. I ett klipp sitter hon i en bil där förarsätet är märkligt flyttat mot mitten av bilen.

En analys med ett specialverktyg ger klart besked: Filmerna är skapade med artificiell intelligens. Den gråtande kvinnan finns inte på riktigt, inte hennes mobbare heller. Till synes identiska väskor finns i en rad nätbutiker, bland annat Amazon, för mindre än halva priset.

Klippen med kvinnan är bara några av många hundra som följer samma mönster. Alla ska de lura tittaren att en produkt är handgjord av en person i ett utsatt läge. Ingenstans framgår att de är AI-genererade. Det är ett tydligt brott mot Tiktoks egna regler, som säger att AI inte får användas ”för att vilseleda, lura eller ge ett falskt intryck”. Allt som är AI-genererat måste dessutom markeras. Särskilt viktigt är detta för ”syntetiska ansikten, röster och digitala människor”, skriver Tiktok.

DN har tagit del av Tiktoks svar om över 160 AI-genererade klipp som har rapporterats till företaget. Bland klippen finns de som marknadsför butiker, men också sådana som visar unga, mer eller mindre avklädda kvinnor och försöker få användaren att betala för vad som antyds vara nakenbilder. Inget av dem är markerat som AI. Ändå friade Tiktok i så gott som alla fall. Ett enda klipp togs bort. Fyra flaggades för att inte dyka upp i Tiktoks rekommendationer, en mildare åtgärd.

Klippen har alltså inte bara kunnat laddas upp utan hinder. De har dessutom kontrollerats av företagets moderatorer, som trots anmälningarna ger dem grönt ljus.

Granskningen är gjord tillsammans med säkerhetsspecialisten Karl Emil Nikka, som i flera månader har analyserat klipp med ett verktyg som pekar ut sannolikt AI-skapat material, anmält dem och dokumenterat Tiktoks hantering.

– Det började med att jag blev irriterad på allt AI-slask och ville stänga av det. När jag insåg att mycket inte ens var markerat som AI började jag anmäla klippen, säger han.

Med stigande förvåning såg han hur anmälan efter anmälan avslogs, trots att hans verktyg enkelt kunde slå fast att klippen var AI.

– Det blev klart och tydligt: Tiktok har en policy, men den gäller inte, säger Karl Emil Nikka.

Vad är det största problemet med det här?

– När det gäller butikerna, att folk luras att göra av med pengar på falska premisser.

– Tänk om någon hade köpt reklam i TV4 där de ljög om att man stöttar personer med Downs syndrom genom att köpa något. Det skulle bli ramaskri. Men på Tiktok accepteras det, även om det här handlade om vanliga inlägg, inte köpta annonser.