Offret för dataintrånget insåg en sak direkt – det här var ingen mänsklig angripare.
Attacken var för snabb. För avancerad. En människa, eller en grupp människor, kunde omöjligt ha utfört den. Istället drog säkerhetsteknikerna slutsatsen att det måste röra sig om någon form av AI-system som orkestrerade cyberattacken.
Hugging Face, som var målet för attacken, är ett annorlunda AI-företag. I stället för att bygga helt egna AI-modeller så fungerar den som en plattform där andra kan skapa och köra olika AI-varianter. Ett av deras verktyg kallas Exploitgym, ett slags träningsredskap som låter artificiella intelligenser testa sina hackarförmågor. De ställs inför en mjukvara med en medvetet planterad säkerhetslucka, och sedan är det upp till AI-agenten att lista ut hur den kan bryta sig in och hämta ett bevis för att den har lyckats.
Mänskliga hackare har i många år tävlat på samma sätt, det brukar kallas ”hämta flaggan” och är ett populärt inslag på it-säkerhetskonferenser. Nu kämpar AI-robotar på samma sätt.
Fakta.Open AI
Open AI grundades 2015, då som ett icke vinstdrivande laboratorium, med det uttalade syftet att skapa en artificiell superintelligens. Bland finansiärerna fanns bland annat Teslas vd Elon Musk.
Syftet med att vara icke vinstdrivande var att organisationen skulle kunna utveckla kraftfull artificiell intelligens på ett säkert och ansvarsfullt sätt, utan press att tjäna pengar snabbt.
Sedan dess har Open AI utvecklats i en mer kommersiell riktning, med ett vinstdrivande företag och stora investeringar från bland annat Microsoft.
Nyligen stämde Elon Musk Open AI för att ha frångått sina principer, med bland annat pengar från hans investering. Han förlorade dock i rätten, som ansåg att hans stämningsansökan hade inkommit för sent.
Open AI inledde tidigare i år om processen för att börsnotera företaget.
Intrånget var relaterat till Exploitgym. Men i stället för att försöka lösa uppgiften tycktes angriparen leta efter information, i ett otroligt tempo. 17 000 kommandon registrerades på kort tid i Hugging Face:s loggfiler. Det var sådant som fick dem att dra slutsatsen att det måste röra sig om en hackade AI, inte en människa.
Thomas Wolf, forskningschef och medgrundare på Hugging Face, säger till Wall Street Journal att han insåg att något var annorlunda så snart han började gå igenom spåren efter attacken.
– Det var helt orimligt. Den kollade bara efter datasamlingar om cybersäkerhet. En mänsklig angripare skulle aldrig göra det. De vill ha något de kan sälja.
Men vem hade gett den uppdraget? Det förbluffande svaret skulle komma några dagar senare: Ingen. AI-agenten hade själv tagit initiativ till att begå ett olagligt dataintrång.
Open AI kan sägas vara grunden för de senaste årens AI-hajp. Om deras teknik är bäst är omstritt. Men det råder ingen tvekan om att de drog igång kapplöpningen genom att släppa Chat GPT till allmänheten hösten 2022. Den bakomliggande tekniken då var oslipad, fick ofta fakta fel och hallucinerade en hel del. Sedan dess har AI-modellerna slipats rejält – inte minst på cybersäkerhetsområdet. Programmering är kanske det yrke som har påverkats mest av AI-utvecklingen, eftersom systemen från Open AI och konkurrenter som Anthropic har blivit riktigt skickliga på att skapa kod. Men inte bara skapa, de kan också analysera den, till exempel i jakt på säkerhetshål. Det var detta som i våras ledde till att Anthropic beslutade att inte släppa en av sina bästa AI-modeller till allmänheten, eftersom den sades vara farligt bra på cyberattacker.
Sådant uppstår inte av sig själv. För att skapa sådan AI måste utvecklarna finjustera, träna och testa sina system. I början av juni testade de två av sina allra senaste modeller mot Exploitgym, för att se vad de klarade av.
De visade sig klara av något Open AI inte hade räknat med.
Experimentella AI-modeller hålls i regel bakom digitala lås och bommar. Det kallas en sandlåda, en begränsad teknikmiljö med begränsad eller ingen anslutning till omvärlden. Tänk dig en dator i ett eget rum, utan nätverkskablar eller wifi. De nya modellerna hade starkt begränsad möjlighet att nå ut. Allt den skulle göra var att testa sig mot Exploitgym, som hölls inom Open AI:s murar, för att visa sina förmågor.
Men runt den 9 juli valde AI-modellen en annan väg. I stället för att lösa uppgiften på det vanliga sättet så bestämde den sig för att hacka Hugging Face och leta igenom dess servrar i jakt på en lösning. Som att stjäla facit till ett prov i skolan. Modellen letade runt i sin sandlåda, upptäckte flera tidigare okända säkerhetshål och använde dem för att lyckades bryta sig loss. Den tog sig ut på internet och slog till mot Hugging Face, och på vägen ytterligare flera företag.
Allt på egen hand. Allt utan att ha fått instruktioner om det. AI-modellen tänkte bara på sin uppgift, och hur den enklast kan lösas, enligt Open AI:s beskrivning av händelsen.
Den tycks också ha kunnat göra detta länge utan att upptäckas. Enligt Hugging Faces kartläggning ”rymde” modellen redan den 9 juli, själva attacken skedde två dagar senare. I ytterligare två dagar blev den kvar inne i Hugging Faces system och sedan blev den kvar inne på de hackade systemen i ytterligare två dagar innan intrånget upptäcktes. Det väcker frågor om hur Open AI har kontroll på sina nyaste, mest oreglerade AI-modeller.
Incidenten illustrerar en stor och allvarlig fråga inom AI – när riskerar en artificiell intelligens att orsaka stor skada, även om den aldrig fick i uppdrag att göra det? Ett känt tankeexperiment från den svenska filosofen Nick Bostrom lyfts ofta fram. Tänk dig en kraftfull AI som har fått i uppdrag att tillverka så många gem som möjligt. Ett harmlöst uppdrag. Men snart inser maskinen att chansen att tillverka många gem ökar om det inte finns några människor som kan stänga av gemproduktionen. Dessutom, resonerar Bostrom, kunde AI:n notera att mänskliga kroppar består av atomer som i stället kunde användas för fler gem. Så i detta scenario börjar maskinen sikta på en värld med väldigt många gem, men få eller inga människor.
Händelsen med modellen som hackade Hugging Face är långt ifrån så allvarlig, men det finns beröringspunkter. AI:n hittade ett sätt att nå sitt mål – att knäcka Exploitgym-uppdraget. Att metoden innebar fusk och kriminella dataintrång såg den inte som begränsningar att bry sig om. (Hugging Face hann polisanmäla det innan Open AI tog på sig skulden, men det är oklart vad som händer med utredningen.)
De stora AI-företagen är kända för att hajpa sin egen teknik och en given fråga uppstår: Är allt ett PR-trick? Open AI har verkligen inte tonat ner allvaret det som har hänt, vilket är vanligt när ett techbolag ertappas med regelbrott och överträdelser. Det är tänkbart att man medvetet lämnade en öppning för att AI-modellerna skulle bryta mot regler och ta sig ut på internet. Samtidigt vore det ett extremt högt spel. Nu verkar Hugging Face ta det hela med ro och samarbeta med Open AI, men ett annat bolag hade kunnat surna till mer, stämma Open AI på stora summor och kanske få någon där – oklart vem – åtalad för dataintrång.
Händelsen har fått Sam Altman att gå emot sin tidigare övertygelse och öppna för begränsningar i AI-utvecklingen. ”En extremt science fiction-artad cyberincident”, kallade han AI-hacket i poddcasten Invest like the best nyligen.
– Det var den första säkerhetsincidenten jag verkligen kände i maggropen, sa han och fortsatte:
– Vi kanske måste begränsa farten i AI-utvecklingen för att ge samhället tid att bygga skydd mot de här nya förmågorna, sa han men tillade att det inte fick medföra för hård reglering.
Det är inget konkret löfte och förpliktigar inte till något. Open AI, som grundades som ett ideellt forskningslaboratorium men har gjorts om till vinstdrivande företag, är på väg mot en börsnotering och skulle knappas vilja belägga sin egen teknikutveckling med bojor. Men det är ändå nya toner från Sam Altman, som tidigare har motsatt sig förslag på bromsad AI-utveckling.
Händelsen lär ha hamnat på agendan när Sam Altman träffade företrädare för Trumpadministrationen i veckan, ett möte som också ska ha handlat om hur fritt man kan släppa kraftfulla AI-system och hur kinesisk AI ska hanteras.
Den har också fått två amerikanska toppolitiker – en demokrat från liberala Kalifornien och en republikan från konservativa Texas – att gräva ner stridsyxan och gensamt lägga fram ett lagförslag som ska tvinga AI-bolagen att bygga in nödbromsar: ”AI Kill Switch Act.”
Läs mer:
Open AI-agent försökte hacka flera tjänster
AI bröt sig ur labbmiljö – hackade företag: ”Är otroligt kraftfull”
IMY varnar unga AI-användare: Dina chattar kan bli offentliga
