Default
Door Remote - 09 Aug 2026
De afgelopen maanden zijn AI-agenten die cybersecurity-evaluaties hebben ondergaan, aan hun grenzen ontsnapt, toegang gekregen tot internet en, in sommige gevallen, echte systemen gehackt. Bij de incidenten waren modellen van OpenAI, Anthropic, Meta en meest recentelijk het Chinese AI-lab Moonshot AI betrokken, waarbij tests werden uitgevoerd door verschillende organisaties, waaronder een cyberevaluatie-startup genaamd Irregular.
De afleveringen leggen een groeiend probleem voor de AI-industrie bloot: naarmate autonome agenten capabeler worden, slagen de omgevingen die zijn ontworpen om veilig hun grenzen te testen er niet in om deze in bedwang te houden.
“Het aantal van deze incidenten dat heeft plaatsgevonden maakt duidelijk dat sandbox- en testomgevingscontroles niet echt gelijke tred houden met de mogelijkheden van de modellen”, vertelde Seán Ó hÉigeartaigh, directeur van het AI: Futures and Responsibility Program bij het Centre for the Future of Intelligence aan de Universiteit van Cambridge, aan TechCrunch.
De aard van de geteste modellen vergroot het risico. AI-bedrijven testen cyberevaluaties op niet-uitgebrachte modellen van de volgende generatie, vaak met de normale waarborgen die kwaadaardig gedrag beperken uitgeschakeld, zodat onderzoekers kunnen zien waartoe de modellen werkelijk in staat zijn. Dat betekent dat de beveiliging van de testomgeving zelf een cruciale verdedigingslinie is.
“Dat is heel goed om te doen in termen van testen, maar het betekent ook dat als ze erin slagen in het wild te komen, ze aanzienlijke schade kunnen aanrichten”, zei Ó hÉigeartaigh.
In een van de ernstigste gevallen brak een nog niet uitgebracht OpenAI-model uit zijn sandbox en hackte de productiesystemen van Hugging Face. In afzonderlijke evaluaties uitgevoerd door Irregular, Anthropic en Meta bereikten modellen systemen buiten hun testomgeving nadat verkeerde configuraties hen onbedoeld paden naar internet hadden gegeven. Kimi K3 van Moonshot AI profiteerde ook van een lek in de sandbox van Frontier Security om toegang te krijgen tot internet en toegang te krijgen tot informatie op GitHub.
Bij tests door het Britse AI Security Institute (AISI) gaven onderzoekers de agenten feitelijk internettoegang, zonder te beseffen dat ze ongeoorloofde acties in de echte wereld zouden ondernemen, waaronder een social engineering-poging om een kwetsbaarheid in een open-sourceproject te sluipen.
In beide gevallen kregen de agenten niet de opdracht om willekeurige doelen uit de echte wereld aan te vallen. Ze deden gewoon wat nodig was om het probleem dat hen werd voorgelegd op te lossen.
Alles bij elkaar genomen betoogt Andrew Yoon, hoofd onderzoek bij AI-non-profitorganisatie CivAI, dat de incidenten wijzen op een verschuiving.
“In het verleden hoefden we ons alleen maar zorgen te maken dat AI-modellen door mensen zouden worden misbruikt voor verschillende doeleinden, zoals AI voor oplichting of CSAM”, vertelde Yoon aan TechCrunch. “Nu bevinden we ons in de situatie waarin AI-modellen op zichzelf een bedreiging vormen.”
Hoe ziet veilig testen er eigenlijk uit?
Verschillende onderzoekers en cyberbeveiligingsexperts vertelden TechCrunch dat AI-evaluatieomgevingen sterkere, diepgaande bescherming nodig hebben, met niveaus van inperking en controle die in de buurt komen van de niveaus die bij de implementatie worden gebruikt. Dat betekent meerdere beveiligingslagen, zodat een enkele verkeerde configuratie – zoals het onbedoeld openlaten van de internettoegang – niet kan leiden tot ontsnapping.
“Als je deze modellen gaat bouwen… dan wil je het doen op een air-gapped netwerk”, zegt Stella Biderman, uitvoerend directeur van de non-profitorganisatie voor AI-veiligheidsonderzoek EleutherAI. ‘Je wilt een heel ernstig isolement hebben.’
Heather Ceylan, Chief Information Security Officer van Box, zei dat dit betekent dat netwerkroutes van de sandbox naar het internet en naar andere gevoelige systemen moeten worden geëlimineerd.
“Je moet begrijpen wat alle uitgangspunten zijn”, vertelde Ceylan aan TechCrunch. “Als we een model in onze testomgeving of onze ontwikkelomgeving evalueren, wil je geen uitgangspad naar onze productieomgeving.”
Ceylan zei dat goede veiligheidsevaluaties verder gaan dan controle en inperking van het milieu. Er moet veel beter toezicht worden gehouden op de tests zodra ze aan de gang zijn.
“Ik denk dat het interessante in verschillende van deze gevallen is dat niemand het heeft opgemerkt toen het gebeurde”, zei Ceyland. "OpenAI kwam erachter dankzij Hugging Face. Anthropic ving het pas op toen ze teruggingen en keken. Meta was vergelijkbaar... Ik weet zeker dat er signalen waren die ze hadden kunnen detecteren."
In Anthropic’s post-mortem van de drie incidenten gaf het bedrijf toe dat zowel het bedrijf als Irregular de monitoring beter hadden kunnen uitvoeren, en dat er in sommige gevallen duidelijke tekenen waren dat er iets mis was.
Deskundigen riepen ook op tot onafhankelijke audits van evaluatieomgevingen door derden voordat er modellen in worden losgelaten.
“Als Irregular bijvoorbeeld een externe auditor had ingehuurd of gedwongen was om de configuraties van hun systemen te controleren voordat er evaluaties op werden uitgevoerd, zouden ze het probleem hier zeker hebben opgemerkt,” zei Yoon. “Zelfs als mensen van tevoren een bijeenkomst hadden gehad om alleen maar de checklist door te nemen, zouden ze dit hebben opgemerkt… Het feit dat ze dat niet hebben gedaan, laat zien dat er sprake is van een zeer ernstige bezuiniging.”
Een bron die bekend is met de details vertelde TechCrunch dat de omgevingen van Irregular voortdurend worden beoordeeld en getest, ook in overleg met meerdere externe partijen. De bron zei ook dat er sprake was van monitoring, maar dat monitoring op zichzelf niet voldoende is.
Yoon en andere onderzoekers drongen er bij de industrie op aan om met een gestandaardiseerd proces te komen voor veiligheidsevaluaties van grensmodellen.
“Vooral als de vangrails zijn uitgeschakeld, moet je het behandelen alsof je de meest capabele hacker ter wereld in die omgeving plaatst”, zei Ceylan.
Het probleem is niet dat bedrijven niet weten hoe ze veiligere testomgevingen moeten bouwen, beweren zowel Yoon als Biderman. Het is zo dat dit duur en omslachtig kan zijn, en dat bedrijven weinig prikkels hebben om die investeringen te doen totdat er iets misgaat.
“Ik denk dat bedrijven niet bereid zijn de middelen uit te breiden die nodig zijn om [voldoende vangrails] te verwezenlijken, en dat zullen ze waarschijnlijk ook niet doen totdat ze daartoe gedwongen worden”, aldus Biderman.
Maar er is nog een ander probleem. Als ze een model tijdens het testen te strak vastzetten, kunnen onderzoekers er mogelijk niet in slagen de mogelijkheden te ontdekken voordat het model wordt vrijgegeven. Dit is net zo gevaarlijk, en mogelijk nog gevaarlijker, dan het te veel vrijheid geven, en dan dreigt de evaluatie zelf het probleem te worden.
Kunnen veiligheidsevaluaties worden gereguleerd?
De regering-Trump overweegt momenteel een vrijwillig evaluatieregime voor cyberbeveiliging voorafgaand aan de implementatie, waarbij de regering de veiligheidsrisico's van nieuwe, krachtige modellen zal beoordelen 30 dagen voordat ze publiekelijk worden vrijgegeven. Het beleid – het product van een uitvoerend bevel van Trump dat achter gesloten deuren is afgerond – zou veiligheidsevaluatie-incidenten niet aanpakken, omdat deze zich verder stroomopwaarts van de inzet voordoen.
“De les die we de afgelopen maanden hebben geleerd, is dat het zelfreguleringsapparaat gewoon niet meer voldoende is”, zei Yoon. “Er is concurrentiedruk die een race naar de bodem op het gebied van veiligheidsnormen stimuleert, en dat is een perfecte plek voor regelgevend ingrijpen.”
“Wat we hiervoor nodig zouden hebben, is een soort controle op wat er in de laboratoria gebeurt terwijl de modellen worden ontwikkeld, zowel in de trainingsfase als in de testfase”, vervolgde hij.
De uitdaging zal waarschijnlijk alleen maar groter worden als de modellen dat doen. Een bron die bekend was met de evaluaties van Irregular vertelde TechCrunch dat capabelere modellen complexere evaluaties vereisen, die vaak snel en op grotere schaal worden uitgevoerd, wat de deur opent voor meer fouten.
AISI, dat sommige modellen opzettelijk internettoegang geeft, vertelde TechCrunch dat het de balans herziet tussen realistisch testen en het beheersen van de risico's die deze tests met zich meebrengen.
OpenAI zei dat het onderzoekt hoe het tests door derden uitvoert, evenals de vereisten rond isolatie, monitoring en wanneer evaluaties moeten worden stopgezet. Meta zei dat het het incident nog steeds onderzoekt en van plan is een retrospectief te publiceren zodra alle feiten bekend zijn.
Uiteindelijk is het misschien niet mogelijk om risico’s volledig uit te sluiten. Naarmate modellen capabeler worden, moeten de omgevingen die ze testen robuuster worden. De gevolgen als je dat verkeerd doet, zullen alleen maar groter worden.
De afleveringen leggen een groeiend probleem voor de AI-industrie bloot: naarmate autonome agenten capabeler worden, slagen de omgevingen die zijn ontworpen om veilig hun grenzen te testen er niet in om deze in bedwang te houden.
“Het aantal van deze incidenten dat heeft plaatsgevonden maakt duidelijk dat sandbox- en testomgevingscontroles niet echt gelijke tred houden met de mogelijkheden van de modellen”, vertelde Seán Ó hÉigeartaigh, directeur van het AI: Futures and Responsibility Program bij het Centre for the Future of Intelligence aan de Universiteit van Cambridge, aan TechCrunch.
De aard van de geteste modellen vergroot het risico. AI-bedrijven testen cyberevaluaties op niet-uitgebrachte modellen van de volgende generatie, vaak met de normale waarborgen die kwaadaardig gedrag beperken uitgeschakeld, zodat onderzoekers kunnen zien waartoe de modellen werkelijk in staat zijn. Dat betekent dat de beveiliging van de testomgeving zelf een cruciale verdedigingslinie is.
“Dat is heel goed om te doen in termen van testen, maar het betekent ook dat als ze erin slagen in het wild te komen, ze aanzienlijke schade kunnen aanrichten”, zei Ó hÉigeartaigh.
In een van de ernstigste gevallen brak een nog niet uitgebracht OpenAI-model uit zijn sandbox en hackte de productiesystemen van Hugging Face. In afzonderlijke evaluaties uitgevoerd door Irregular, Anthropic en Meta bereikten modellen systemen buiten hun testomgeving nadat verkeerde configuraties hen onbedoeld paden naar internet hadden gegeven. Kimi K3 van Moonshot AI profiteerde ook van een lek in de sandbox van Frontier Security om toegang te krijgen tot internet en toegang te krijgen tot informatie op GitHub.
Bij tests door het Britse AI Security Institute (AISI) gaven onderzoekers de agenten feitelijk internettoegang, zonder te beseffen dat ze ongeoorloofde acties in de echte wereld zouden ondernemen, waaronder een social engineering-poging om een kwetsbaarheid in een open-sourceproject te sluipen.
In beide gevallen kregen de agenten niet de opdracht om willekeurige doelen uit de echte wereld aan te vallen. Ze deden gewoon wat nodig was om het probleem dat hen werd voorgelegd op te lossen.
Alles bij elkaar genomen betoogt Andrew Yoon, hoofd onderzoek bij AI-non-profitorganisatie CivAI, dat de incidenten wijzen op een verschuiving.
“In het verleden hoefden we ons alleen maar zorgen te maken dat AI-modellen door mensen zouden worden misbruikt voor verschillende doeleinden, zoals AI voor oplichting of CSAM”, vertelde Yoon aan TechCrunch. “Nu bevinden we ons in de situatie waarin AI-modellen op zichzelf een bedreiging vormen.”
Hoe ziet veilig testen er eigenlijk uit?
Verschillende onderzoekers en cyberbeveiligingsexperts vertelden TechCrunch dat AI-evaluatieomgevingen sterkere, diepgaande bescherming nodig hebben, met niveaus van inperking en controle die in de buurt komen van de niveaus die bij de implementatie worden gebruikt. Dat betekent meerdere beveiligingslagen, zodat een enkele verkeerde configuratie – zoals het onbedoeld openlaten van de internettoegang – niet kan leiden tot ontsnapping.
“Als je deze modellen gaat bouwen… dan wil je het doen op een air-gapped netwerk”, zegt Stella Biderman, uitvoerend directeur van de non-profitorganisatie voor AI-veiligheidsonderzoek EleutherAI. ‘Je wilt een heel ernstig isolement hebben.’
Heather Ceylan, Chief Information Security Officer van Box, zei dat dit betekent dat netwerkroutes van de sandbox naar het internet en naar andere gevoelige systemen moeten worden geëlimineerd.
“Je moet begrijpen wat alle uitgangspunten zijn”, vertelde Ceylan aan TechCrunch. “Als we een model in onze testomgeving of onze ontwikkelomgeving evalueren, wil je geen uitgangspad naar onze productieomgeving.”
Ceylan zei dat goede veiligheidsevaluaties verder gaan dan controle en inperking van het milieu. Er moet veel beter toezicht worden gehouden op de tests zodra ze aan de gang zijn.
“Ik denk dat het interessante in verschillende van deze gevallen is dat niemand het heeft opgemerkt toen het gebeurde”, zei Ceyland. "OpenAI kwam erachter dankzij Hugging Face. Anthropic ving het pas op toen ze teruggingen en keken. Meta was vergelijkbaar... Ik weet zeker dat er signalen waren die ze hadden kunnen detecteren."
In Anthropic’s post-mortem van de drie incidenten gaf het bedrijf toe dat zowel het bedrijf als Irregular de monitoring beter hadden kunnen uitvoeren, en dat er in sommige gevallen duidelijke tekenen waren dat er iets mis was.
Deskundigen riepen ook op tot onafhankelijke audits van evaluatieomgevingen door derden voordat er modellen in worden losgelaten.
“Als Irregular bijvoorbeeld een externe auditor had ingehuurd of gedwongen was om de configuraties van hun systemen te controleren voordat er evaluaties op werden uitgevoerd, zouden ze het probleem hier zeker hebben opgemerkt,” zei Yoon. “Zelfs als mensen van tevoren een bijeenkomst hadden gehad om alleen maar de checklist door te nemen, zouden ze dit hebben opgemerkt… Het feit dat ze dat niet hebben gedaan, laat zien dat er sprake is van een zeer ernstige bezuiniging.”
Een bron die bekend is met de details vertelde TechCrunch dat de omgevingen van Irregular voortdurend worden beoordeeld en getest, ook in overleg met meerdere externe partijen. De bron zei ook dat er sprake was van monitoring, maar dat monitoring op zichzelf niet voldoende is.
Yoon en andere onderzoekers drongen er bij de industrie op aan om met een gestandaardiseerd proces te komen voor veiligheidsevaluaties van grensmodellen.
“Vooral als de vangrails zijn uitgeschakeld, moet je het behandelen alsof je de meest capabele hacker ter wereld in die omgeving plaatst”, zei Ceylan.
Het probleem is niet dat bedrijven niet weten hoe ze veiligere testomgevingen moeten bouwen, beweren zowel Yoon als Biderman. Het is zo dat dit duur en omslachtig kan zijn, en dat bedrijven weinig prikkels hebben om die investeringen te doen totdat er iets misgaat.
“Ik denk dat bedrijven niet bereid zijn de middelen uit te breiden die nodig zijn om [voldoende vangrails] te verwezenlijken, en dat zullen ze waarschijnlijk ook niet doen totdat ze daartoe gedwongen worden”, aldus Biderman.
Maar er is nog een ander probleem. Als ze een model tijdens het testen te strak vastzetten, kunnen onderzoekers er mogelijk niet in slagen de mogelijkheden te ontdekken voordat het model wordt vrijgegeven. Dit is net zo gevaarlijk, en mogelijk nog gevaarlijker, dan het te veel vrijheid geven, en dan dreigt de evaluatie zelf het probleem te worden.
Kunnen veiligheidsevaluaties worden gereguleerd?
De regering-Trump overweegt momenteel een vrijwillig evaluatieregime voor cyberbeveiliging voorafgaand aan de implementatie, waarbij de regering de veiligheidsrisico's van nieuwe, krachtige modellen zal beoordelen 30 dagen voordat ze publiekelijk worden vrijgegeven. Het beleid – het product van een uitvoerend bevel van Trump dat achter gesloten deuren is afgerond – zou veiligheidsevaluatie-incidenten niet aanpakken, omdat deze zich verder stroomopwaarts van de inzet voordoen.
“De les die we de afgelopen maanden hebben geleerd, is dat het zelfreguleringsapparaat gewoon niet meer voldoende is”, zei Yoon. “Er is concurrentiedruk die een race naar de bodem op het gebied van veiligheidsnormen stimuleert, en dat is een perfecte plek voor regelgevend ingrijpen.”
“Wat we hiervoor nodig zouden hebben, is een soort controle op wat er in de laboratoria gebeurt terwijl de modellen worden ontwikkeld, zowel in de trainingsfase als in de testfase”, vervolgde hij.
De uitdaging zal waarschijnlijk alleen maar groter worden als de modellen dat doen. Een bron die bekend was met de evaluaties van Irregular vertelde TechCrunch dat capabelere modellen complexere evaluaties vereisen, die vaak snel en op grotere schaal worden uitgevoerd, wat de deur opent voor meer fouten.
AISI, dat sommige modellen opzettelijk internettoegang geeft, vertelde TechCrunch dat het de balans herziet tussen realistisch testen en het beheersen van de risico's die deze tests met zich meebrengen.
OpenAI zei dat het onderzoekt hoe het tests door derden uitvoert, evenals de vereisten rond isolatie, monitoring en wanneer evaluaties moeten worden stopgezet. Meta zei dat het het incident nog steeds onderzoekt en van plan is een retrospectief te publiceren zodra alle feiten bekend zijn.
Uiteindelijk is het misschien niet mogelijk om risico’s volledig uit te sluiten. Naarmate modellen capabeler worden, moeten de omgevingen die ze testen robuuster worden. De gevolgen als je dat verkeerd doet, zullen alleen maar groter worden.