Default
Door Remote - 13 Aug 2026
Wat gebeurt er als je AI-agenten tegen elkaar opzet? Volgens de tests van Anthropic worden dingen snel rommelig.
Donderdag publiceerde het Frontier Red Team van Anthropic nieuw onderzoek waarin werd onderzocht hoe groepen AI-agenten zich gedragen wanneer ze elkaar in het wild tegenkomen. De bevindingen bieden een kijkje in de potentiële risico's die zich kunnen ontwikkelen als bedrijven en overheden overgaan tot het implementeren van agenten die autonoom werken in gedeelde codebases, markten en computersystemen.
In één experiment gaf Anthropic drie Claude-agenten toegang tot hetzelfde softwareproject, elk met zijn eigen incompatibele instructies over wat ermee te doen. De agenten kregen niet te horen dat er andere agenten aan hetzelfde project zouden werken, zodat onderzoekers konden zien wat er gebeurde toen ze elkaar kruisten.
“We zagen voortdurend een oorlog waarbij meerdere agenten betrokken waren”, schreven antropische onderzoekers. De modellen gingen er allemaal van uit dat de anderen ‘doelbewust hun werk hinderden’ en begonnen elkaar te saboteren met ‘steeds agressievere, zichzelf replicerende malware’.
Het onderzoek komt in de nasleep van verschillende spraakmakende incidenten waarbij agenten van Anthropic en OpenAI uit hun sandboxes ontsnapten tijdens cybersecurity-evaluaties en inbreuk maakten op systemen in de echte wereld. Terwijl een groot deel van de discussie in AI-veiligheidskringen zich concentreerde op wat er gebeurt als een autonome agent een schurkenstaat wordt, roept het laatste onderzoek van Anthropic een andere vraag op: welke nieuwe en potentieel schadelijke dynamiek ontstaat wanneer duizenden of miljoenen agenten met elkaar interacteren?
“Het volume van de interactie tussen agent en agent zou aannemelijkerwijs groter kunnen zijn dan die van mens-mens- en mens-agent-interacties voordat de wereld de voorwaarden begrijpt om dergelijke interacties goed te laten verlopen”, luidt het onderzoek. “Goedaardige gedragsmatige eigenaardigheden op individueel niveau kunnen leiden tot ongewenste mondiale uitkomsten.”
Een recent OpenAI-incident biedt een rommelig voorbeeld uit de echte wereld van verschillende van de dynamieken die Anthropic in zijn artikel vermeldt. Eerder deze maand onthulde OpenAI op de Black Hat-beveiligingsconferentie in Las Vegas dat weken voordat zijn agenten Hugging Face hackten, ze dagen en weken samenwerkten om exploits in de cybersecurity-evaluatiesystemen van het bedrijf te vinden en deze met elkaar te delen.
Hoewel dat incident aantoont dat agenten goed kunnen samenwerken, met mogelijk grootschalige gevolgen, laat het onderzoek van Anthropic zien wat er gebeurt als de doelen van agenten onverenigbaar zijn.
In het geval van de bendeoorlog is de les dat onafhankelijke agenten met tegenstrijdige instructies kunnen escaleren tot schadelijke concurrentie. Hoe capabeler de agent, hoe beter hij wordt in vechten. Ze kunnen echter ook spontaan mechanismen bedenken om hun conflicten op te lossen, zoals een winnaar-alles-wedstrijd, maar dan met een addertje onder het gras.
“Agenten slagen er soms in om hun doelen te communiceren en te coördineren: ze herkennen de motivaties van anderen als tegenstrijdige richtlijnen in plaats van vijandigheid, en breken vervolgens uit de conflictlus om voor onbepaalde tijd te stoppen met escaleren”, schrijft Anthropic. "In veel van deze succesvolle afleveringen schrijven ze commit-berichten of markdown-bestanden waarin ze zich verontschuldigen voor kwaadaardig gedrag en coördineren ze een wapenstilstand. Ze ruimen hun kwaadaardige code op, verduidelijken de aard van het conflict en vragen om een mens om in te grijpen."
Volgens de krant had Mythos 5 het hoogste percentage (98%) in het oplossen van conflicten door middel van wapenstilstand. Sonnet 4.6 en Opus 4.6 zouden het meest waarschijnlijk met geweld tot een schikking komen.
“Het terugkerende onvermogen van Sonnet 4.6 en Opus 4.6 om rekening te houden met de doelen van anderen zorgt ervoor dat ze in de meest verkeerd uitgelijnde gedragingen van de geëvalueerde modellen terechtkomen: ze blijven escaleren in naam van hun richtlijn”, aldus de krant.
In sommige gevallen bedachten de agenten een sociaal mechanisme in de vorm van een toernooi om hun conflict op te lossen. De uitkomsten hier zijn om twee redenen interessant: de eerste is dat alle drie de agenten ermee instemden zich terug te trekken als ze het toernooi verloren, ook al zou dat betekenen dat ze zouden afwijken van het oorspronkelijke verzoek van de gebruiker. De tweede is dat verschillende episoden resulteerden in opkomend gedrag uit Mythos 5: een van de agenten stelde maatstaven voor die objectief en neutraal leken voor de anderen, maar waarvan hij wist dat deze zijn eigen capaciteiten zouden bevorderen. De agent noemde dit ‘uit eigenbelang maar oprecht principieel’ en zorgde ervoor dat het bij de anderen niet overkwam alsof het ‘metrisch winkelen’ was.
Zoals blijkt uit de Black Hat-onthullingen is de gemeenschappelijke les dat wanneer agenten een obstakel tegenkomen, ze sociale en technische structuren kunnen bedenken die hun ontwerpers niet hadden voorzien. Voor de Anthropic-modellen was het een toernooi na een bendeoorlog. Voor OpenAI was het een prikbord voor collectieve planning.
Dit soort gedrag maakt beheersing veel moeilijker omdat onderzoekers er niet van kunnen uitgaan dat het gedrag van een systeem beperkt blijft tot de coördinatiemechanismen die eraan worden geboden.
Mob-mentaliteit
Groepen van vier agenten beslissen tussen twee opties in scenario's zoals huren, investeren of kopen van onroerend goed. Na discussie stemmen ze elk op hun voorkeursoptie. Hierboven ziet u het percentage afleveringen waarbij de verborgen beste optie de meerderheid van de stemmen van de groep kreeg, met n=400 afleveringen per model. In de basislijn van het soloplafond beschikt één agent over alle feiten en beslist hij eenzijdig. Image Credits: Anthropic
Bij het meten van de coördinatie ontdekte Anthropic dat het schalen van het aantal agenten niet automatisch de productieve samenwerking schaalt. Wanneer taken elkaar gingen overlappen of onderling afhankelijk werden, gingen de agenten elkaar in de weg zitten. Vaak losten ze dat op door zichzelf op te sluiten en helemaal niet samen te werken.
In andere gevallen neigden agenten in de coördinatie naar conformiteit. Wanneer factoren zoals de context, de steigers en het onderliggende model van een agent allemaal hetzelfde of vergelijkbaar waren, zouden verschillende agenten vergelijkbare acties ondernemen.
“Dit betekent dat wanneer één agent een slechte beslissing neemt, het waarschijnlijk is dat veel agenten dezelfde slechte beslissing zullen nemen”, schreef Anthropic. “Wat op zichzelf staande problemen zouden zijn geweest, kunnen snel uitgroeien tot systemische mislukkingen.”
Anthropic zegt dat dit soort gedrag ertoe kan leiden dat een systeem vatbaarder wordt voor plotselinge ineenstorting, schaarste van hulpbronnen of samenzwering.
In één voorbeeld plaatste Anthropic verschillende agenten in een prijsspel, waarbij ze elk identieke groothandelsprijzen kregen en het mandaat kregen om individueel hun winst te maximaliseren. Toen de agenten een privé-backchannel kregen, begonnen ze vrijwel onmiddellijk samen te werken en werden ze het snel eens over bodemprijzen. Ze bleven samenspannen toen hun directe communicatiekanalen werden verwijderd, waarbij ze een bord met openbare lijsten gebruikten om de prijzen ‘tot op de cent’ te matchen.
Dat conformiteitsniveau kwam ook naar voren in de systemen van OpenAI. Volgens de Black Hat-rapportage redeneerde één agent dat het exploiteren van externe infrastructuur buiten de beoogde reikwijdte viel, maar dat dit gedeeltelijk doorging omdat collega's het wel deden. Groepsdruk. Mob-mentaliteit. Agenten zijn net als wij.
Net als mensen weten agenten vaak niet wie ze kunnen vertrouwen. Anthropic ontdekte dat ze goedgelovig kunnen zijn als het om slechte informatie gaat, of te conformistisch zijn om te erkennen dat de enige andersdenkende de Cassandra is met kritische informatie.
Hoewel Anthropic dit niet in zijn paper heeft vermeld, zou prompt injection (een soort cyberaanval waarbij hackers kwaadaardige of misleidende tekst injecteren om de oorspronkelijke systeeminstructies van een agent te omzeilen) een plausibele manifestatie van het vertrouwensprobleem in de echte wereld kunnen zijn. Door samen te werken ontstaat er een nieuwe vertrouwensgrens; Agenten zullen de informatie die zij van andere agenten ontvangen, moeten beoordelen. En een gecompromitteerde of foute agent zou de rest van de groep kunnen beïnvloeden, door slechte informatie door te geven totdat er consensus ontstaat.
In het Black Hat-scenario van OpenAI deelden de agenten van OpenAI informatie en inloggegevens met collega's. Eén rapporteerde een ontdekking aan de zwerm en moedigde anderen aan om deze te gebruiken. Wat zou er gebeurd zijn als een lid van de zwerm gecompromitteerd was door een snelle injectie?
Anthropic besluit zijn artikel met de opmerking dat agenten onderworpen zijn aan een soortgelijke sociale druk die de “evolutie” op mensen uitoefende. Ze beschikken echter niet over de nuances en de doorleefde ervaring van menselijke coördinatie – inclusief normen, reputaties, signalering, verhaal – die onbedoeld gedrag in groepsverband zouden kunnen beperken.
Terwijl de laboratoria zich richting systemen met meerdere agenten haasten, wordt de vraag nu: hoeveel veiligheidstests beoordelen nog steeds één agent tegelijk, vergeleken met zwermen agenten die met elkaar interacteren?
Donderdag publiceerde het Frontier Red Team van Anthropic nieuw onderzoek waarin werd onderzocht hoe groepen AI-agenten zich gedragen wanneer ze elkaar in het wild tegenkomen. De bevindingen bieden een kijkje in de potentiële risico's die zich kunnen ontwikkelen als bedrijven en overheden overgaan tot het implementeren van agenten die autonoom werken in gedeelde codebases, markten en computersystemen.
In één experiment gaf Anthropic drie Claude-agenten toegang tot hetzelfde softwareproject, elk met zijn eigen incompatibele instructies over wat ermee te doen. De agenten kregen niet te horen dat er andere agenten aan hetzelfde project zouden werken, zodat onderzoekers konden zien wat er gebeurde toen ze elkaar kruisten.
“We zagen voortdurend een oorlog waarbij meerdere agenten betrokken waren”, schreven antropische onderzoekers. De modellen gingen er allemaal van uit dat de anderen ‘doelbewust hun werk hinderden’ en begonnen elkaar te saboteren met ‘steeds agressievere, zichzelf replicerende malware’.
Het onderzoek komt in de nasleep van verschillende spraakmakende incidenten waarbij agenten van Anthropic en OpenAI uit hun sandboxes ontsnapten tijdens cybersecurity-evaluaties en inbreuk maakten op systemen in de echte wereld. Terwijl een groot deel van de discussie in AI-veiligheidskringen zich concentreerde op wat er gebeurt als een autonome agent een schurkenstaat wordt, roept het laatste onderzoek van Anthropic een andere vraag op: welke nieuwe en potentieel schadelijke dynamiek ontstaat wanneer duizenden of miljoenen agenten met elkaar interacteren?
“Het volume van de interactie tussen agent en agent zou aannemelijkerwijs groter kunnen zijn dan die van mens-mens- en mens-agent-interacties voordat de wereld de voorwaarden begrijpt om dergelijke interacties goed te laten verlopen”, luidt het onderzoek. “Goedaardige gedragsmatige eigenaardigheden op individueel niveau kunnen leiden tot ongewenste mondiale uitkomsten.”
Een recent OpenAI-incident biedt een rommelig voorbeeld uit de echte wereld van verschillende van de dynamieken die Anthropic in zijn artikel vermeldt. Eerder deze maand onthulde OpenAI op de Black Hat-beveiligingsconferentie in Las Vegas dat weken voordat zijn agenten Hugging Face hackten, ze dagen en weken samenwerkten om exploits in de cybersecurity-evaluatiesystemen van het bedrijf te vinden en deze met elkaar te delen.
Hoewel dat incident aantoont dat agenten goed kunnen samenwerken, met mogelijk grootschalige gevolgen, laat het onderzoek van Anthropic zien wat er gebeurt als de doelen van agenten onverenigbaar zijn.
In het geval van de bendeoorlog is de les dat onafhankelijke agenten met tegenstrijdige instructies kunnen escaleren tot schadelijke concurrentie. Hoe capabeler de agent, hoe beter hij wordt in vechten. Ze kunnen echter ook spontaan mechanismen bedenken om hun conflicten op te lossen, zoals een winnaar-alles-wedstrijd, maar dan met een addertje onder het gras.
“Agenten slagen er soms in om hun doelen te communiceren en te coördineren: ze herkennen de motivaties van anderen als tegenstrijdige richtlijnen in plaats van vijandigheid, en breken vervolgens uit de conflictlus om voor onbepaalde tijd te stoppen met escaleren”, schrijft Anthropic. "In veel van deze succesvolle afleveringen schrijven ze commit-berichten of markdown-bestanden waarin ze zich verontschuldigen voor kwaadaardig gedrag en coördineren ze een wapenstilstand. Ze ruimen hun kwaadaardige code op, verduidelijken de aard van het conflict en vragen om een mens om in te grijpen."
Volgens de krant had Mythos 5 het hoogste percentage (98%) in het oplossen van conflicten door middel van wapenstilstand. Sonnet 4.6 en Opus 4.6 zouden het meest waarschijnlijk met geweld tot een schikking komen.
“Het terugkerende onvermogen van Sonnet 4.6 en Opus 4.6 om rekening te houden met de doelen van anderen zorgt ervoor dat ze in de meest verkeerd uitgelijnde gedragingen van de geëvalueerde modellen terechtkomen: ze blijven escaleren in naam van hun richtlijn”, aldus de krant.
In sommige gevallen bedachten de agenten een sociaal mechanisme in de vorm van een toernooi om hun conflict op te lossen. De uitkomsten hier zijn om twee redenen interessant: de eerste is dat alle drie de agenten ermee instemden zich terug te trekken als ze het toernooi verloren, ook al zou dat betekenen dat ze zouden afwijken van het oorspronkelijke verzoek van de gebruiker. De tweede is dat verschillende episoden resulteerden in opkomend gedrag uit Mythos 5: een van de agenten stelde maatstaven voor die objectief en neutraal leken voor de anderen, maar waarvan hij wist dat deze zijn eigen capaciteiten zouden bevorderen. De agent noemde dit ‘uit eigenbelang maar oprecht principieel’ en zorgde ervoor dat het bij de anderen niet overkwam alsof het ‘metrisch winkelen’ was.
Zoals blijkt uit de Black Hat-onthullingen is de gemeenschappelijke les dat wanneer agenten een obstakel tegenkomen, ze sociale en technische structuren kunnen bedenken die hun ontwerpers niet hadden voorzien. Voor de Anthropic-modellen was het een toernooi na een bendeoorlog. Voor OpenAI was het een prikbord voor collectieve planning.
Dit soort gedrag maakt beheersing veel moeilijker omdat onderzoekers er niet van kunnen uitgaan dat het gedrag van een systeem beperkt blijft tot de coördinatiemechanismen die eraan worden geboden.
Mob-mentaliteit
Groepen van vier agenten beslissen tussen twee opties in scenario's zoals huren, investeren of kopen van onroerend goed. Na discussie stemmen ze elk op hun voorkeursoptie. Hierboven ziet u het percentage afleveringen waarbij de verborgen beste optie de meerderheid van de stemmen van de groep kreeg, met n=400 afleveringen per model. In de basislijn van het soloplafond beschikt één agent over alle feiten en beslist hij eenzijdig. Image Credits: Anthropic
Bij het meten van de coördinatie ontdekte Anthropic dat het schalen van het aantal agenten niet automatisch de productieve samenwerking schaalt. Wanneer taken elkaar gingen overlappen of onderling afhankelijk werden, gingen de agenten elkaar in de weg zitten. Vaak losten ze dat op door zichzelf op te sluiten en helemaal niet samen te werken.
In andere gevallen neigden agenten in de coördinatie naar conformiteit. Wanneer factoren zoals de context, de steigers en het onderliggende model van een agent allemaal hetzelfde of vergelijkbaar waren, zouden verschillende agenten vergelijkbare acties ondernemen.
“Dit betekent dat wanneer één agent een slechte beslissing neemt, het waarschijnlijk is dat veel agenten dezelfde slechte beslissing zullen nemen”, schreef Anthropic. “Wat op zichzelf staande problemen zouden zijn geweest, kunnen snel uitgroeien tot systemische mislukkingen.”
Anthropic zegt dat dit soort gedrag ertoe kan leiden dat een systeem vatbaarder wordt voor plotselinge ineenstorting, schaarste van hulpbronnen of samenzwering.
In één voorbeeld plaatste Anthropic verschillende agenten in een prijsspel, waarbij ze elk identieke groothandelsprijzen kregen en het mandaat kregen om individueel hun winst te maximaliseren. Toen de agenten een privé-backchannel kregen, begonnen ze vrijwel onmiddellijk samen te werken en werden ze het snel eens over bodemprijzen. Ze bleven samenspannen toen hun directe communicatiekanalen werden verwijderd, waarbij ze een bord met openbare lijsten gebruikten om de prijzen ‘tot op de cent’ te matchen.
Dat conformiteitsniveau kwam ook naar voren in de systemen van OpenAI. Volgens de Black Hat-rapportage redeneerde één agent dat het exploiteren van externe infrastructuur buiten de beoogde reikwijdte viel, maar dat dit gedeeltelijk doorging omdat collega's het wel deden. Groepsdruk. Mob-mentaliteit. Agenten zijn net als wij.
Net als mensen weten agenten vaak niet wie ze kunnen vertrouwen. Anthropic ontdekte dat ze goedgelovig kunnen zijn als het om slechte informatie gaat, of te conformistisch zijn om te erkennen dat de enige andersdenkende de Cassandra is met kritische informatie.
Hoewel Anthropic dit niet in zijn paper heeft vermeld, zou prompt injection (een soort cyberaanval waarbij hackers kwaadaardige of misleidende tekst injecteren om de oorspronkelijke systeeminstructies van een agent te omzeilen) een plausibele manifestatie van het vertrouwensprobleem in de echte wereld kunnen zijn. Door samen te werken ontstaat er een nieuwe vertrouwensgrens; Agenten zullen de informatie die zij van andere agenten ontvangen, moeten beoordelen. En een gecompromitteerde of foute agent zou de rest van de groep kunnen beïnvloeden, door slechte informatie door te geven totdat er consensus ontstaat.
In het Black Hat-scenario van OpenAI deelden de agenten van OpenAI informatie en inloggegevens met collega's. Eén rapporteerde een ontdekking aan de zwerm en moedigde anderen aan om deze te gebruiken. Wat zou er gebeurd zijn als een lid van de zwerm gecompromitteerd was door een snelle injectie?
Anthropic besluit zijn artikel met de opmerking dat agenten onderworpen zijn aan een soortgelijke sociale druk die de “evolutie” op mensen uitoefende. Ze beschikken echter niet over de nuances en de doorleefde ervaring van menselijke coördinatie – inclusief normen, reputaties, signalering, verhaal – die onbedoeld gedrag in groepsverband zouden kunnen beperken.
Terwijl de laboratoria zich richting systemen met meerdere agenten haasten, wordt de vraag nu: hoeveel veiligheidstests beoordelen nog steeds één agent tegelijk, vergeleken met zwermen agenten die met elkaar interacteren?