Default
Door Remote - 25 Jun 2026
AI-agenten worden steeds geavanceerder. Ze evolueren van het beantwoorden van vragen naar het autonoom uitvoeren van complexe taken die uit meerdere stappen bestaan.
Maar voordat deze agenten kunnen worden vertrouwd om reizen te boeken of financiële analyses uit te voeren namens gebruikers, willen modelaanbieders en de startups die dergelijke agenten bouwen ervoor zorgen dat ze betrouwbaar presteren in een breed scala aan scenario's.
AI-laboratoria gebruiken vaak benchmarks om te pronken met de bekwaamheid van hun model, maar een hoge score, zelfs op een agent-georiënteerde benchmark, bewijst niet echt dat een AI verschillende complexe, echte taken correct kan uitvoeren.
Patronus AI, een startup die in 2023 werd opgericht door voormalige Meta AI-onderzoekers Anand Kannappan en Rebecca Qian, helpt modelmakers en bedrijven modellen te verfijnen om precies dat te doen door gesimuleerde digitale omgevingen te bouwen waarin de prestaties van de agenten kunnen worden geëvalueerd.
De in San Francisco gevestigde startup moet een belangrijk probleem oplossen. Vrijwel elk grensverleggend AI-lab en veel opkomende startups zijn nu klanten, aldus Glenn Solomon, directeur bij Notable Capital, die de vraag naar de gesimuleerde omgevingen van het bedrijf als vrijwel onverzadigbaar beschrijft.
De omzet van Patronus is het afgelopen jaar vertienvoudigd, wat de belangstelling van investeerders heeft aangewakkerd. Donderdag kondigde het bedrijf een Series B-ronde van $ 50 miljoen aan onder leiding van Greenfield Partners, met deelname van Notable Capital, Lightspeed, Datadog en Samsung. De ronde brengt de totale financiering van het bedrijf op $70 miljoen.
Patronus gebruikt wat het ‘digitale wereldmodellen’ noemt om replica’s van websites en interne systemen te creëren. In deze omgevingen worden agenten na de training aan een stresstest onderworpen met behulp van versterkend leren, dat succesvolle taakvoltooiing iteratief beloont en fouten bestraft.
AI-laboratoria zien grote waarde in deze digitale simulaties omdat ze agenten de kans geven om verschillende, soms onvoorspelbare, scenario's uit te proberen. Het bedrijf vergelijkt zijn aanpak met hoe Waymo autonome auto's trainde door eerst synthetische werelden te bouwen om voertuigen te testen tegen zeldzame gevaren, zoals zwaar weer of een kind dat achter een bal aan rent.
Het verschil met AI-agents is dat ze de neiging hebben om sluiproutes te nemen, wat betekent dat ze de taak niet correct voltooien. “Patronus is erg goed in het opsporen van de hacks en zorgt ervoor dat ze de modellen verantwoordelijk houden”, aldus Solomon.
Patronus levert momenteel zijn gesimuleerde digitale werelden voor software-engineering en financiën, maar dit is volgens Kannappan nog maar het begin.
“Vandaag zijn we erg gefocust op de problemen die verifieerbaar zijn, dus de problemen die je onmiddellijk kunt controleren en verifiëren, maar er zijn nog veel meer gebieden die zeer niet-verifieerbaar of zeer moeilijk te verifiëren zijn”, zei hij.
Het feit dat deze processen verifieerbaar zijn, betekent niet dat ze eenvoudig zijn. "We willen daadwerkelijk de omgeving kunnen creëren waarin je een agent kunt besturen die 10 uur, 10 dagen of 10 weken kan werken", aldus Kannappan.
Wat de rivalen betreft, denkt Patronus dat het vooral concurreert met de interne teams die AI-labs al hebben gebouwd om het gedrag van agenten te evalueren. Terwijl bedrijven op het gebied van menselijke gegevens als Mercor en Surge modelmakers helpen met versterkend leren, gaat Patronus anders te werk door te evalueren hoe agenten zich gedragen zonder enige menselijke tussenkomst.
Maar voordat deze agenten kunnen worden vertrouwd om reizen te boeken of financiële analyses uit te voeren namens gebruikers, willen modelaanbieders en de startups die dergelijke agenten bouwen ervoor zorgen dat ze betrouwbaar presteren in een breed scala aan scenario's.
AI-laboratoria gebruiken vaak benchmarks om te pronken met de bekwaamheid van hun model, maar een hoge score, zelfs op een agent-georiënteerde benchmark, bewijst niet echt dat een AI verschillende complexe, echte taken correct kan uitvoeren.
Patronus AI, een startup die in 2023 werd opgericht door voormalige Meta AI-onderzoekers Anand Kannappan en Rebecca Qian, helpt modelmakers en bedrijven modellen te verfijnen om precies dat te doen door gesimuleerde digitale omgevingen te bouwen waarin de prestaties van de agenten kunnen worden geëvalueerd.
De in San Francisco gevestigde startup moet een belangrijk probleem oplossen. Vrijwel elk grensverleggend AI-lab en veel opkomende startups zijn nu klanten, aldus Glenn Solomon, directeur bij Notable Capital, die de vraag naar de gesimuleerde omgevingen van het bedrijf als vrijwel onverzadigbaar beschrijft.
De omzet van Patronus is het afgelopen jaar vertienvoudigd, wat de belangstelling van investeerders heeft aangewakkerd. Donderdag kondigde het bedrijf een Series B-ronde van $ 50 miljoen aan onder leiding van Greenfield Partners, met deelname van Notable Capital, Lightspeed, Datadog en Samsung. De ronde brengt de totale financiering van het bedrijf op $70 miljoen.
Patronus gebruikt wat het ‘digitale wereldmodellen’ noemt om replica’s van websites en interne systemen te creëren. In deze omgevingen worden agenten na de training aan een stresstest onderworpen met behulp van versterkend leren, dat succesvolle taakvoltooiing iteratief beloont en fouten bestraft.
AI-laboratoria zien grote waarde in deze digitale simulaties omdat ze agenten de kans geven om verschillende, soms onvoorspelbare, scenario's uit te proberen. Het bedrijf vergelijkt zijn aanpak met hoe Waymo autonome auto's trainde door eerst synthetische werelden te bouwen om voertuigen te testen tegen zeldzame gevaren, zoals zwaar weer of een kind dat achter een bal aan rent.
Het verschil met AI-agents is dat ze de neiging hebben om sluiproutes te nemen, wat betekent dat ze de taak niet correct voltooien. “Patronus is erg goed in het opsporen van de hacks en zorgt ervoor dat ze de modellen verantwoordelijk houden”, aldus Solomon.
Patronus levert momenteel zijn gesimuleerde digitale werelden voor software-engineering en financiën, maar dit is volgens Kannappan nog maar het begin.
“Vandaag zijn we erg gefocust op de problemen die verifieerbaar zijn, dus de problemen die je onmiddellijk kunt controleren en verifiëren, maar er zijn nog veel meer gebieden die zeer niet-verifieerbaar of zeer moeilijk te verifiëren zijn”, zei hij.
Het feit dat deze processen verifieerbaar zijn, betekent niet dat ze eenvoudig zijn. "We willen daadwerkelijk de omgeving kunnen creëren waarin je een agent kunt besturen die 10 uur, 10 dagen of 10 weken kan werken", aldus Kannappan.
Wat de rivalen betreft, denkt Patronus dat het vooral concurreert met de interne teams die AI-labs al hebben gebouwd om het gedrag van agenten te evalueren. Terwijl bedrijven op het gebied van menselijke gegevens als Mercor en Surge modelmakers helpen met versterkend leren, gaat Patronus anders te werk door te evalueren hoe agenten zich gedragen zonder enige menselijke tussenkomst.