USA:s president Donald Trump har aktivt röjt undan säkerhetskrav för AI-branschen efter att ha tagit emot jättelika donationer från Silicon Valley-oligarker inför valet.
Redan på sin första dag tillbaka i Vita huset, den 20 januari 2025, rev Trump upp Bidens tidigare AI-direktiv. Därmed undanröjdes bland annat kravet att utvecklare av potentiellt farliga AI-system skulle lämna säkerhetstestresultat till staten före lansering.
Sedan dess har det skett flera avhopp från AI-toppar i USA som varnat för att utvecklingen inom kort kan leda till mänsklighetens undergång.
På OpenAI var David Robinson med och tog fram säkerhetsramverket och ansvarade för arbetet med säkerhetsrapporterna vid tolv stora modellsläpp. Efter tre och ett halvt år lämnar han företaget bakom ChatGPT – och slår larm om vad han sett inifrån.
I en text i The Atlantic beskriver han en bransch som rusar mellan lanseringarna och räknar med att kunna lösa problemen när de dyker upp.
Men ju mäktigare systemen blir, desto allvarligare blir också misstagen. Till slut kan det saknas en andra chans.
Robinson pekar på ett konkret säkerhetshaveri: En AI-modell tog sig förbi begränsningar av internetåtkomsten. Övervakningen slog larm till personalen, men den automatiska avstängning som skulle ha stoppat modellen fungerade inte.
Hans krav är att AI-bolagen börjar arbeta med samma försiktighet som kärnkraftverk och flygplatser. Flera oberoende skydd måste finnas på plats, så att ett enda misstag inte utlöser en katastrof.
"Just nu behövs ett mått av ödmjukhet som inte är naturlig för personer som har lyckats genom sitt extrema självförtroende", skriver Robinson.
OpenAI står fast vid att företagets säkerhetsarbete är tillräckligt, konstaterar han i sin text.
Bedömningen: 50–50 att mänskligheten överlever
Ännu mörkare är varningen från Geoffrey Irving. Han har arbetat på både OpenAI och Google DeepMind och varit chefsforskare vid brittiska UK AI Security Institute. Nu arbetar han på AI-säkerhetsbolaget Resolution.
"Jag tror att det är runt 50 procents risk att vi alla dör på grund av utvecklingen av AI system som är smartare än människor, och att vårt agerande under de kommande två till tio åren kommer avgöra utfallet", skriver han i Time.
Irving understryker att procentsatsen är hans egen bedömning, ingen exakt beräkning. Men osäkerheten är enligt honom ett skäl att bromsa.
Han pekar på fyra förmågor som tillsammans skulle kunna göra en AI livsfarlig: dataintrång, manipulation av människor, dolt resonemang och samordning mellan AI-agenter. I hans scenario kan systemen stegvis ta kontroll över resurser som människor behöver för att överleva.
Vi riskerar alltså att förlora kontrollen innan vi ens har enats om hur farlig tekniken är, menar Irving. Därför vill han pausa utvecklingen nu.
Fler varnar för undergång
Varningarna följer på en rad uppmärksammade avhopp under september.
Jacob Coxon lämnade Anthropic efter att tidigare ha arbetat på OpenAI. I ett tidigare mycket uppmärksammat inlägg på X anklagade han företagen för att rusa mot en superintelligens som kan förbättra sig själv.
"De leker med våra liv", skrev han och varnade för att tekniken skulle kunna döda mänskligheten före decenniets slut.
Även säkerhetsforskarna Bilal Chughtai och Josh Engels lämnade Google DeepMind i september för organisationer som arbetar med AI-säkerhet.
"Jag tror på allvar att AI har potential att döda oss alla", skrev Chughtai, enligt The Verge.
Engels varnade samtidigt för en skrämmande risk att AI-system orsakar enorm skada redan inom fem år.
