Att Open AI lät sina modeller göra cyberangrepp förnekar företaget inte. Men enligt bolaget skedde det i en ”isolerad miljö” för att ”testa deras cybersäkerhetskapacitet”.
Det som sedan skedde under testet var inte planerat säger företaget. Modellerna bröt sig ut från den testmiljön och gjorde ett intrång hos AI-företaget Hugging Face, en samlingsplats för artificiell intelligens.
Både experter och företagen själva har beskrivit händelsen som ett allvarligt steg i AI-utvecklingen.
– Det för ju tankarna till ett välkänt tema inom science fiction, Jurassic park är ett exempel, säger Hedvig Kjellström, professor i robotik på KTH.
I boken, och senare filmen, Jurassic park, experimenterar forskare med myggor bevarade i bärnsten. Från blodet myggorna hade sugit extraherar labbpersonalen dinosaurie-DNA och återskapar de förhistoriska djuren. Precis som i Open AI:s experiment låter skapelsen sig inte kontrolleras och blir farliga för människorna. Dinosaurierna orsakar död och förstörelse.
Hedvig Kjellström poängterar att man inte ska tolka hackerattacken som att modellerna rymde, de följde sina instruktioner. Problemet kan ha varit att miljön som testet utfördes i, även kallad ”sandlåda”, inte räckte till för att stoppa modellerna. Ett exempel på ett misstag där människorna inte räknade med konsekvenserna.
– Deras uppgift var att hitta svagheter och attackera. Sedan hittade de brister i sandlådan, bröt sig ut och letade efter svagheter i ett annat system. Men det var inte modellernas egen idé.
Samtidigt frågar sig experter, inklusive Hedvig Kjellström, om det verkligen var ett misstag. Eller om det var ett marknadsföringstrick från Open AI, för att visa konkurrenten Anthropic vad företagets modeller går för.
– Lite som att slå ett basebollträ i handen, säger KTH-forskaren.
Oavsett om det var ett misstag eller en medveten styrkeuppvisning, är det inte modellerna i sig vi bör vara oroliga för säger Hedvig Kjellström.
– Detta visar att tekniken är otroligt kraftfull, men inte att den har börjat rymma och agera på egen hand. Däremot oroar jag mig för vad människor kan göra med tekniken. Att de som utvecklar cyberattacker har mycket större resurser än utvecklare av cybersäkerhet.
Hon anser dock inte att svaret är att trimma modellerna.
– Jag tror inte att inställningen ”nu slutar vi utveckla AI” är rimlig. Förbud mot att utveckla kärnkraft ledde inte till färre kärnvapen och mer förnybar energi. Vi måste reglera med lagstiftning och utveckla vårt skydd.
Läs mer:
IMY varnar unga AI-användare: Dina chattar kan bli offentliga
Comeback för papper och penna när AI-motståndet växer i USA
Mer än hälften av unga pratar med AI om intima problem