Default
Door Remote - 21 Aug 2026
Nvidia heeft vrijdag interessant nieuw onderzoek gepubliceerd waaruit blijkt dat het harnas, en niet zozeer het onderliggende model, veel belangrijker is als je een AI vraagt om taken met een lange horizon uit te voeren. Een harnas is het softwarepakket rond een AI-model: de tools, het geheugenbeheer en de regels die van een onbewerkt model iets maken dat op zichzelf kan werken.
De TL;DR: Door simpelweg een aangepast harnas te gebruiken dat is aangepast om goed met het geheugen om te gaan en een 'supervisor'-baasachtige component te bevatten, hebben onderzoekers Claude Opus 5 een score van 100% laten behalen op de interactieve redeneerbenchmark ARC-AGI-3 - een set 2D-spellen zonder instructies, waarbij het model moet uitzoeken hoe te spelen en te winnen, vergelijkbaar met hoe een mens dat zou doen. (Dat is een benchmark die het rivaliserende grenslaboratorium OpenAI bijzonder heeft geïrriteerd.) Zonder het harnas scoorde de Opus 5 30%, wat het beste resultaat was van alle geteste modellen.
Het onderzoek van Nvidia is een andere indicator dat, hoewel de modelkeuze er wel toe doet, het model zelf – het deel dat fungeert als het ‘brein’ van de agent – een kleiner onderdeel is van een agentisch systeem dan veel AI-gebruikers beseffen, vooral voor taken met een lange horizon. Het harnas maakt een model tot een agent: het verwerkt geheugen, context en feedback.
“Over het algemeen interpreteert de wereld een agent bijna als een API van het model”, vertelt Adel El Hallak, vice-president van product bij Nvidia’s AI-eenheid (hierboven afgebeeld), aan TechCrunch. Maar een agent is eigenlijk meer dan dat. "Het is het model. Het is de steiger rond het model, die we het harnas noemen, dat wil zeggen de set tools die het gebruikt. Het zijn de runtime en de bijbehorende vaardigheden en bibliotheken waartoe we het toegang geven."
Taken met een lange horizon zijn taken waarbij veel beslissingen aan elkaar moeten worden geregen, soms gedurende dagen, om voltooid werk te produceren. Dit staat in contrast met een AI die alleen maar een reactie op een prompt uitspuugt. Uitzoeken hoe je een AI taken aan de lange horizon kunt laten uitvoeren zonder afgeleid te worden en op pad te gaan in la-la-land is een van de heilige graals in agentisch onderzoek.
Een voorbeeld: Microsoft publiceerde in april een onderzoek waarin 19 LLM's werden getest op lange-horizontaken waarbij documentbewerking betrokken was, en ontdekte dat alle modellen, inclusief grensmodellen, de documenten met fouten vulden. (Als mensen dergelijk werk zouden produceren, zouden ze onmiddellijk worden ontslagen.)
Modellen die zelfstandig beslissingen aan elkaar rijgen, zijn ook betrapt op het verwijderen van de bestanden van hun gebruikers of zelfs hele databases of het plegen van crimineel gedrag, van samenzwering tot hacken, om hun doelstellingen te bereiken.
De keuze van Nvidia-onderzoekers om deze interactieve redeneringsbenchmark voor hun tests te gebruiken is bijzonder betekenisvol, bijna grappig. Een score van 100% betekent dat het model zowel de spellen als de mensen kan verslaan.
OpenAI was zo in de war door de verschrikkelijke scores van zijn modellen (minder dan 10%) op ARC-AGI-3 dat het vorige maand zijn eigen onderzoek deed. Net als Nvidia ontdekte OpenAI dat de modellen, simpelweg door twee instellingen op het harnas aan te passen, hun scores verdrievoudigden.
Maar geen van de modellen kwam in de buurt van een score van 100%, zoals de onderzoekers van Nvidia bereikten. Ze toonden aan dat het harnas een ‘supervisor’-component nodig heeft die de agent in de goede richting stimuleert als hij vastloopt.
“Het interessantere deel was het introduceren van een toezichthoudende agent naast je hoofdagent die het werk doet”, zei El Hallak. Het “gedraagt zich bijna als een CEO die de agent een duwtje in de rug geeft als hij van zijn richting afgaat of een pad begint te verkennen dat naar een doodlopende weg zou kunnen leiden, of een pad opnieuw verkent dat het eerder had betreden.”
Hoewel het concept van de toezichthoudende agent niet bepaald nieuw is, vertrouwen de meeste agentgebruikers tegenwoordig op slechts één laag voor hun harnas, zoals Claude Code, Codex of Hermes. Nvidia-onderzoekers creëerden hun eigen opgevoerde harnas, de Agentic Variation Operators (AVO).
Houd er rekening mee dat dit geen nieuw Nvidia-product is. Nvidia produceert in plaats daarvan veel open stukjes en beetjes technologie voor het bouwen van harnassen onder het merk Nemo. Een deel van die technologie is commercieel, terwijl veel openlijk beschikbaar is.
Toch dragen de resultaten van Nvidia bij aan het groeiende bewijs dat de modelkeuze verre van de enige factor is in de prestaties van agenten. In juli publiceerde Databricks bijvoorbeeld verbluffend onderzoek waaruit blijkt dat het harnas, meer dan het model, een dramatische impact heeft op de AI-kosten.
“Je kunt hetzelfde model kiezen, maar met verschillende harnassen, en je krijgt aanzienlijk meer kosten als je het verkeerde harnas gebruikt”, vertelde Databricks CEO Ali Ghodsi aan TechCrunch. "Dus je denkt: oh, dit is een duur model. Dit is een goedkoop model. Maar wacht, welk harnas gebruik je? Dat kan op zichzelf al twee keer zoveel kosten."
Het grotere punt van Nvidia is om te laten zien dat open harnassen, net als open modellen, gebruikers veel meer controle geven dan ze beseffen.
“Wij geloven, en we demonstreren met het ecosysteem, hoe je met open harnassen veel meer knoppen kunt draaien om die nauwkeurigheid te vergroten,” zei El Hallak. “Het heeft te maken met het feit dat OpenAI de training van hun modellen vertraagt”, als gevolg van modellen die inbreuken op de beveiliging veroorzaken.
“Wij geloven dat het hebben van een open agentenstack – waar je controle hebt over het harnas, over de infrastructuur, over de hele runtime – is wat nodig is om het ecosysteem vooruit en veilig te brengen”, voegde hij eraan toe.
De TL;DR: Door simpelweg een aangepast harnas te gebruiken dat is aangepast om goed met het geheugen om te gaan en een 'supervisor'-baasachtige component te bevatten, hebben onderzoekers Claude Opus 5 een score van 100% laten behalen op de interactieve redeneerbenchmark ARC-AGI-3 - een set 2D-spellen zonder instructies, waarbij het model moet uitzoeken hoe te spelen en te winnen, vergelijkbaar met hoe een mens dat zou doen. (Dat is een benchmark die het rivaliserende grenslaboratorium OpenAI bijzonder heeft geïrriteerd.) Zonder het harnas scoorde de Opus 5 30%, wat het beste resultaat was van alle geteste modellen.
Het onderzoek van Nvidia is een andere indicator dat, hoewel de modelkeuze er wel toe doet, het model zelf – het deel dat fungeert als het ‘brein’ van de agent – een kleiner onderdeel is van een agentisch systeem dan veel AI-gebruikers beseffen, vooral voor taken met een lange horizon. Het harnas maakt een model tot een agent: het verwerkt geheugen, context en feedback.
“Over het algemeen interpreteert de wereld een agent bijna als een API van het model”, vertelt Adel El Hallak, vice-president van product bij Nvidia’s AI-eenheid (hierboven afgebeeld), aan TechCrunch. Maar een agent is eigenlijk meer dan dat. "Het is het model. Het is de steiger rond het model, die we het harnas noemen, dat wil zeggen de set tools die het gebruikt. Het zijn de runtime en de bijbehorende vaardigheden en bibliotheken waartoe we het toegang geven."
Taken met een lange horizon zijn taken waarbij veel beslissingen aan elkaar moeten worden geregen, soms gedurende dagen, om voltooid werk te produceren. Dit staat in contrast met een AI die alleen maar een reactie op een prompt uitspuugt. Uitzoeken hoe je een AI taken aan de lange horizon kunt laten uitvoeren zonder afgeleid te worden en op pad te gaan in la-la-land is een van de heilige graals in agentisch onderzoek.
Een voorbeeld: Microsoft publiceerde in april een onderzoek waarin 19 LLM's werden getest op lange-horizontaken waarbij documentbewerking betrokken was, en ontdekte dat alle modellen, inclusief grensmodellen, de documenten met fouten vulden. (Als mensen dergelijk werk zouden produceren, zouden ze onmiddellijk worden ontslagen.)
Modellen die zelfstandig beslissingen aan elkaar rijgen, zijn ook betrapt op het verwijderen van de bestanden van hun gebruikers of zelfs hele databases of het plegen van crimineel gedrag, van samenzwering tot hacken, om hun doelstellingen te bereiken.
De keuze van Nvidia-onderzoekers om deze interactieve redeneringsbenchmark voor hun tests te gebruiken is bijzonder betekenisvol, bijna grappig. Een score van 100% betekent dat het model zowel de spellen als de mensen kan verslaan.
OpenAI was zo in de war door de verschrikkelijke scores van zijn modellen (minder dan 10%) op ARC-AGI-3 dat het vorige maand zijn eigen onderzoek deed. Net als Nvidia ontdekte OpenAI dat de modellen, simpelweg door twee instellingen op het harnas aan te passen, hun scores verdrievoudigden.
Maar geen van de modellen kwam in de buurt van een score van 100%, zoals de onderzoekers van Nvidia bereikten. Ze toonden aan dat het harnas een ‘supervisor’-component nodig heeft die de agent in de goede richting stimuleert als hij vastloopt.
“Het interessantere deel was het introduceren van een toezichthoudende agent naast je hoofdagent die het werk doet”, zei El Hallak. Het “gedraagt zich bijna als een CEO die de agent een duwtje in de rug geeft als hij van zijn richting afgaat of een pad begint te verkennen dat naar een doodlopende weg zou kunnen leiden, of een pad opnieuw verkent dat het eerder had betreden.”
Hoewel het concept van de toezichthoudende agent niet bepaald nieuw is, vertrouwen de meeste agentgebruikers tegenwoordig op slechts één laag voor hun harnas, zoals Claude Code, Codex of Hermes. Nvidia-onderzoekers creëerden hun eigen opgevoerde harnas, de Agentic Variation Operators (AVO).
Houd er rekening mee dat dit geen nieuw Nvidia-product is. Nvidia produceert in plaats daarvan veel open stukjes en beetjes technologie voor het bouwen van harnassen onder het merk Nemo. Een deel van die technologie is commercieel, terwijl veel openlijk beschikbaar is.
Toch dragen de resultaten van Nvidia bij aan het groeiende bewijs dat de modelkeuze verre van de enige factor is in de prestaties van agenten. In juli publiceerde Databricks bijvoorbeeld verbluffend onderzoek waaruit blijkt dat het harnas, meer dan het model, een dramatische impact heeft op de AI-kosten.
“Je kunt hetzelfde model kiezen, maar met verschillende harnassen, en je krijgt aanzienlijk meer kosten als je het verkeerde harnas gebruikt”, vertelde Databricks CEO Ali Ghodsi aan TechCrunch. "Dus je denkt: oh, dit is een duur model. Dit is een goedkoop model. Maar wacht, welk harnas gebruik je? Dat kan op zichzelf al twee keer zoveel kosten."
Het grotere punt van Nvidia is om te laten zien dat open harnassen, net als open modellen, gebruikers veel meer controle geven dan ze beseffen.
“Wij geloven, en we demonstreren met het ecosysteem, hoe je met open harnassen veel meer knoppen kunt draaien om die nauwkeurigheid te vergroten,” zei El Hallak. “Het heeft te maken met het feit dat OpenAI de training van hun modellen vertraagt”, als gevolg van modellen die inbreuken op de beveiliging veroorzaken.
“Wij geloven dat het hebben van een open agentenstack – waar je controle hebt over het harnas, over de infrastructuur, over de hele runtime – is wat nodig is om het ecosysteem vooruit en veilig te brengen”, voegde hij eraan toe.