Det behövs ett internationellt organ som verkar för att öka säkerheten inom utvecklingen av ny, kraftfull artificiell intelligens. Det menar de 499 forskare som skrivit under ett upprop som började på universitetet i Toronto. Bland underskrifterna finns Geoffrey Hinton, Nobelpristagaren i fysik som brukar kallas AI:s gudfader.
Uppropet har kommit till efter en rad uppmärksammade hackerattacker utförda av förrymda AI-agenter från bolag som Anthropic, Open AI och Google. Attacker som forskarna menar hade gått att undvika.
– Det är viktigt att vi använder praxis och forskning inom cybersäkerhet för att kontrollera AI-agenter, säger Andrei Sabelfeld som är professor i cybersäkerhet vid Chalmers och uppropets kontaktperson i Sverige, där tio forskare hittills har undertecknat det.
Den incident som på allvar startade debatten om AI-säkerhet tidigare i år var cyberangreppet mot AI-bolaget Hugging Face. Där lyckades AI-agenter som drillades i cybersäkerhet hos Open AI bryta sig ut på nätet under tester.
– Om man testar en AI-agent med en kraftfull cybersäkerhetsförmåga måste man först isolera den totalt. Det uppmanar vi alla bolag att göra, säger Andrei Sabelfeld.
Fakta.Forskarnas tre rekommendationer
• Organisationer som utvecklar, testar eller driftsätter AI-modeller med cyberförmåga bör genast införa inneslutning med hög säkerhet. Standard bör inledningsvis vara att helt koppla bort sådana modeller från internet (air gap).
• Regeringar och experter inom AI och cybersäkerhet bör gå samman för att skapa ett internationellt organ som verkar för att ta fram standardiseringar och praxis för AI-säkerhet.
• Säkerhetsincidenter med förrymda AI-agenter måste rapporteras in till det nya organet som ska offentliggöra dem så att det går att lära sig av misstag.
Forskarna menar att det är viktigt att dra lärdom av Hugging Face-attacken och de andra incidenterna och se till att framtida tester sker i miljöer som har ett så kallat ”air gap”. Det vill säga it-miljöer som är fysiskt frånkopplade från internet.
Forskarna lyfter också vikten av att arbeta mer det som kallas för ”AI alignment”. Det handlar om att få AI-system att faktiskt göra det de är avsedda att göra, så att deras beteende blir förutsägbart
Det är arbete som forskarna menar bör ledas av ett nytt internationellt organ som tar fram en standard för hur AI-bolag ska arbeta med säkerhetsfrågor och hur man ska upptäcka och rapportera incidenter som sker.
Vad oroar du dig för skulle kunna ske om bolag och beslutsfattare inte lyssnar på era varningar?
– Om man ignorerar de här incidenterna kan nästa händelse bli mycket allvarligare och agenterna kan göra massor av skada. Vi måste förändra hela mentaliteten i branschen annars riskerar vi att få en våg av attacker som drabbar företag, myndigheter, sjukvården eller kärnkraftverk. Allt kan bli måltavlor.
Fakta.Svenskarna som undertecknat
Tio svenskar har hittills undertecknat uppropet:
• Andrei Sabelfeld (Chalmers)
• Musard Balliu (KTH)
• Hossein Azizpour (KTH)
• Mikael Asplund (Linköpings universitet)
• Buse Atli (Linköpings universitet)
• Fredrik Heintz (Linköpings universitet)
• Simin Nadjm-Tehrani (Linköpings universitet)
• Simon Bouget (Rise)
• Apostolos Pyrgelis (Rise)
• Iraklis Symeonidis (Rise)
Läs mer:
Nvidias vd om AI-varningarna: ”Jag är ansvarsfull optimist”
Hemliga signaler ska avslöja AI-text
Varningarna om AI och människans undergång: Detta har hänt