Default
Door Remote - 27 Jul 2026
De grens van fysieke AI is een Jenga-game in een magazijn in San Leandro, Californië.
Dat magazijn wordt bewoond door Encord, een bedrijf dat datatools bouwt die worden gebruikt om AI-modellen te trainen. Andrew Ceja is piloot – de term van het bedrijf voor zijn robottrainers – en hij trekt voorzichtig houten blokken uit een wankele toren terwijl hij een koptelefoon draagt met een camera die volgt wat hij ziet. Dat alleen al is vrij gebruikelijk voor het verzamelen van robottrainingsgegevens, maar deze headset bevat sensoren die zijn hersengolven meten terwijl hij de bloktoren voorzichtig demonteert.
Encord is een van een klein maar groeiend aantal startups die wedden dat de volgende echte beperking voor humanoïde en magazijnrobotica niet de modelarchitectuur zal zijn, maar in plaats daarvan de enorme schaarste aan fysieke trainingsgegevens uit de echte wereld. In plaats van roboticabedrijven alleen te helpen bij het beheren van de gegevens die zij hebben, bouwt Encord een bedrijf op rond het produceren van de gegevens die zij niet hebben.
De hersengolfheadset die Ceja draagt, is gebouwd door Zander Labs, een Duitse neurowetenschappelijke startup die gokt dat het meten van hersenactiviteit – om mentale toestanden zoals fouten, intentie en verrassing af te leiden – een bruikbaardere dataset kan creëren om modellen te trainen. Encords werk met Zander is momenteel een proefproject; Encord zegt dat het doel is om een eerste dataset met hersengolven op te bouwen, deze door robotmodellen van klanten te laten lopen en te evalueren of deze daadwerkelijk de prestaties verbetert voordat wordt besloten of deze moet worden opgeschaald.
Lucas Gehrke, een neurowetenschapper van Zander die toezicht houdt op het werk, zegt dat de hoeveelheid hersenactiviteit die op enig moment tijdens een bepaalde taak wordt gebruikt, aanwijzingen biedt voor modelbouwers die proberen uit te vinden wanneer ze hun modellen met de hoogste inspanning moeten inzetten.
Dit is het ‘bloedpunt’ van de inspanningen om het knelpunt in de robotica-data op te lossen, aldus Vineeth Velmurugan, hoofd robot learning bij Encord. Velmurugan, een veteraan van het robotlab van OpenAI en Berkshire Gray, het magazijnautomatiseringsbedrijf, sloot zich aan bij Encord om het interne datacreatieteam van het bedrijf op te bouwen.
Encord is opgericht om bedrijven te helpen bij het bouwen van machine vision-applicaties bij het annoteren van gegevens en het evalueren van modellen. Toen hun klanten – Velmurugan zegt dat ze met veel toonaangevende roboticabedrijven werken, maar hij mag ze niet noemen – end-to-end learning gingen toepassen op robotmanipulatietaken, beseften leidinggevenden dat ze zelf trainingsgegevens moesten produceren, in plaats van deze eenvoudigweg te beheren. “De gegevens bestaan simpelweg niet”, zei Velmurugan.
De weddenschap dat generatieve AI voor robots kan doen wat het voor chatbots heeft gedaan, blijft tegen dezelfde muur aanlopen. Zelfrijdende autobedrijven verzamelen zelf gegevens uit de fysieke wereld, maar dat is moeilijk op te schalen. Trainen op basis van video kan werken, maar het mist de betrouwbaarheid van gegevens uit de echte wereld. Velmurugan zegt dat er een dataset nodig is die ongeveer vijf keer zo groot is als het videocorpus van YouTube om door te breken – een schaal die helpt verklaren waarom het genereren van data op zichzelf een business is geworden en niet alleen een onderzoeksprobleem.
Voed uw egocentrische databehoeften
Bedrijven die robothersenen bouwen, wenden zich nu tot twee belangrijke bronnen: ‘egocentrische’ video verzameld door werknemers die camera’s dragen, vaak aangevuld met extra camerahoeken en andere statistieken, en gegevens van op afstand bediende robots. Encord doet beide: het verzamelt egocentrische gegevens uit verschillende fabrieken over de hele wereld en gebruikt zijn vestiging in San Leandro om te experimenteren met nieuwe modaliteiten, zoals hersengolven, of om datasets rond specifieke vaardigheden te verzamelen om deze te verfijnen.
Toen TechCrunch op bezoek kwam, gebruikten piloten leader-follower-installaties – gekoppelde robotarmen, één rechtstreeks bestuurd door een menselijke operator en één die de bewegingen ervan nabootst – om gegevens te creëren over taken zoals het schenken van koffie uit een pot in mokken (erg klotsend) en het stapelen van pokerchips. “Elk mensachtig bedrijf heeft ons om deze stukken gevraagd”, zegt Velmurugan.
Opbergrekken bevatten dozen met nepbloemen in vazen, boeken, plastic groenten, kattenbakken en schepjes, zakken en bundels draden, de handelsvoorraad voor het trainen van manipulatoren voor huishoudelijke taken.
Op een van deze stations manoeuvreert een andere piloot, Sofia Infante, robotarmen om ethernetkabels aan de achterkant van een server aan te sluiten en los te koppelen – het soort werk dat datacenteroperators graag zouden willen automatiseren, als robots ze maar met de vereiste precisie zouden kunnen manipuleren. Terwijl ik achter de besturing draaide, begreep ik waarom dat nog steeds buiten bereik is: een tang is veel minder handig dan menselijke vingers en mist de vrijheidsgraden die we in onze armen als vanzelfsprekend beschouwen.
Een andere nieuwe datamodaliteit die Encord ontwikkelt, maakt gebruik van een reeks sensoren die aan de onderarm zijn vastgemaakt om elektrische signalen in de spieren te detecteren. Video gemaakt van menselijke handen die objecten manipuleren, legt doorgaans niet de hele hand vast, maar Velmurugan hoopt op basis van de armsensoren een 3D-weergave te kunnen maken van waar de hand zich op elk moment bevindt, waardoor een robuuster begrip voor modellen ontstaat.
De datasets van Encord zijn geannoteerd met fysieke beschrijvingen van wat elke video bevat – ‘rechterhand draait bout aan’ – om op LLM gebaseerde modellen te helpen begrijpen wat er gebeurt. Velmurugan schat dat dit soort dichte annotaties honderd keer zoveel waard zijn als ‘junky ego-gegevens’ voor het trainen van specifieke taken, en dat het slechts twintig keer zoveel kost om op papier te produceren, wat een goede handel is.
Maar ‘20 keer meer’ is nog steeds echt geld, en dat is het addertje onder het gras: het schrappen van tekst van internet, de manier waarop LLM-makers hun modellen bouwden door gebruik te maken van Stack Overflow en de rest van het internet, kostte grenslaboratoria vrijwel niets. Het genereren van fysieke trainingsgegevens niet, en dat is de limiet van de fysieke-AI-als-LLM-vergelijking. Dit soort gegevens moeten worden vervaardigd en niet alleen maar worden verzameld, en dat verandert de economische aspecten van het bouwen van deze modellen.
Velmurugan zegt dat er vooruitgang wordt geboekt. Dankzij de zichtbaarheid van Encord in programma's in de hele sector kan hij zowel start-ups als grenslaboratoria zien uitzoeken wat wel en niet werkt om fysieke AI-modellen te verbeteren. Dat uitkijkpunt – gelegen tussen veel roboticabedrijven tegelijk – maakt ook deel uit van de pitch van Encord. Het kan ontdekken welke datatechnieken in de hele sector aan populariteit winnen voordat een enkele klant dat kan.
Dat zal de ongeveer tien piloten op de faciliteit van Encord bezig houden. Zowel Infante als Ceja maken deel uit van een groeiende beroepsbevolking die de bouwstenen voor neurale netwerken ontwikkelt; Ze werkten eerder bij Scale, een ander AI-data-annotatiebedrijf, voordat ze bij Encord kwamen werken.
Ceja had bij een afvalverwerkingsbedrijf gewerkt, waar hij door zijn interesse in technologie verantwoordelijk was voor het in goede staat houden van een robotachtige afvalsorteerder. Nu de Jenga-toren omvalt, zegt hij dat hij geniet van de uitdaging om trainingstaken voor robots op te lossen: “Het is elke dag iets nieuws!”
Dat magazijn wordt bewoond door Encord, een bedrijf dat datatools bouwt die worden gebruikt om AI-modellen te trainen. Andrew Ceja is piloot – de term van het bedrijf voor zijn robottrainers – en hij trekt voorzichtig houten blokken uit een wankele toren terwijl hij een koptelefoon draagt met een camera die volgt wat hij ziet. Dat alleen al is vrij gebruikelijk voor het verzamelen van robottrainingsgegevens, maar deze headset bevat sensoren die zijn hersengolven meten terwijl hij de bloktoren voorzichtig demonteert.
Encord is een van een klein maar groeiend aantal startups die wedden dat de volgende echte beperking voor humanoïde en magazijnrobotica niet de modelarchitectuur zal zijn, maar in plaats daarvan de enorme schaarste aan fysieke trainingsgegevens uit de echte wereld. In plaats van roboticabedrijven alleen te helpen bij het beheren van de gegevens die zij hebben, bouwt Encord een bedrijf op rond het produceren van de gegevens die zij niet hebben.
De hersengolfheadset die Ceja draagt, is gebouwd door Zander Labs, een Duitse neurowetenschappelijke startup die gokt dat het meten van hersenactiviteit – om mentale toestanden zoals fouten, intentie en verrassing af te leiden – een bruikbaardere dataset kan creëren om modellen te trainen. Encords werk met Zander is momenteel een proefproject; Encord zegt dat het doel is om een eerste dataset met hersengolven op te bouwen, deze door robotmodellen van klanten te laten lopen en te evalueren of deze daadwerkelijk de prestaties verbetert voordat wordt besloten of deze moet worden opgeschaald.
Lucas Gehrke, een neurowetenschapper van Zander die toezicht houdt op het werk, zegt dat de hoeveelheid hersenactiviteit die op enig moment tijdens een bepaalde taak wordt gebruikt, aanwijzingen biedt voor modelbouwers die proberen uit te vinden wanneer ze hun modellen met de hoogste inspanning moeten inzetten.
Dit is het ‘bloedpunt’ van de inspanningen om het knelpunt in de robotica-data op te lossen, aldus Vineeth Velmurugan, hoofd robot learning bij Encord. Velmurugan, een veteraan van het robotlab van OpenAI en Berkshire Gray, het magazijnautomatiseringsbedrijf, sloot zich aan bij Encord om het interne datacreatieteam van het bedrijf op te bouwen.
Encord is opgericht om bedrijven te helpen bij het bouwen van machine vision-applicaties bij het annoteren van gegevens en het evalueren van modellen. Toen hun klanten – Velmurugan zegt dat ze met veel toonaangevende roboticabedrijven werken, maar hij mag ze niet noemen – end-to-end learning gingen toepassen op robotmanipulatietaken, beseften leidinggevenden dat ze zelf trainingsgegevens moesten produceren, in plaats van deze eenvoudigweg te beheren. “De gegevens bestaan simpelweg niet”, zei Velmurugan.
De weddenschap dat generatieve AI voor robots kan doen wat het voor chatbots heeft gedaan, blijft tegen dezelfde muur aanlopen. Zelfrijdende autobedrijven verzamelen zelf gegevens uit de fysieke wereld, maar dat is moeilijk op te schalen. Trainen op basis van video kan werken, maar het mist de betrouwbaarheid van gegevens uit de echte wereld. Velmurugan zegt dat er een dataset nodig is die ongeveer vijf keer zo groot is als het videocorpus van YouTube om door te breken – een schaal die helpt verklaren waarom het genereren van data op zichzelf een business is geworden en niet alleen een onderzoeksprobleem.
Voed uw egocentrische databehoeften
Bedrijven die robothersenen bouwen, wenden zich nu tot twee belangrijke bronnen: ‘egocentrische’ video verzameld door werknemers die camera’s dragen, vaak aangevuld met extra camerahoeken en andere statistieken, en gegevens van op afstand bediende robots. Encord doet beide: het verzamelt egocentrische gegevens uit verschillende fabrieken over de hele wereld en gebruikt zijn vestiging in San Leandro om te experimenteren met nieuwe modaliteiten, zoals hersengolven, of om datasets rond specifieke vaardigheden te verzamelen om deze te verfijnen.
Toen TechCrunch op bezoek kwam, gebruikten piloten leader-follower-installaties – gekoppelde robotarmen, één rechtstreeks bestuurd door een menselijke operator en één die de bewegingen ervan nabootst – om gegevens te creëren over taken zoals het schenken van koffie uit een pot in mokken (erg klotsend) en het stapelen van pokerchips. “Elk mensachtig bedrijf heeft ons om deze stukken gevraagd”, zegt Velmurugan.
Opbergrekken bevatten dozen met nepbloemen in vazen, boeken, plastic groenten, kattenbakken en schepjes, zakken en bundels draden, de handelsvoorraad voor het trainen van manipulatoren voor huishoudelijke taken.
Op een van deze stations manoeuvreert een andere piloot, Sofia Infante, robotarmen om ethernetkabels aan de achterkant van een server aan te sluiten en los te koppelen – het soort werk dat datacenteroperators graag zouden willen automatiseren, als robots ze maar met de vereiste precisie zouden kunnen manipuleren. Terwijl ik achter de besturing draaide, begreep ik waarom dat nog steeds buiten bereik is: een tang is veel minder handig dan menselijke vingers en mist de vrijheidsgraden die we in onze armen als vanzelfsprekend beschouwen.
Een andere nieuwe datamodaliteit die Encord ontwikkelt, maakt gebruik van een reeks sensoren die aan de onderarm zijn vastgemaakt om elektrische signalen in de spieren te detecteren. Video gemaakt van menselijke handen die objecten manipuleren, legt doorgaans niet de hele hand vast, maar Velmurugan hoopt op basis van de armsensoren een 3D-weergave te kunnen maken van waar de hand zich op elk moment bevindt, waardoor een robuuster begrip voor modellen ontstaat.
De datasets van Encord zijn geannoteerd met fysieke beschrijvingen van wat elke video bevat – ‘rechterhand draait bout aan’ – om op LLM gebaseerde modellen te helpen begrijpen wat er gebeurt. Velmurugan schat dat dit soort dichte annotaties honderd keer zoveel waard zijn als ‘junky ego-gegevens’ voor het trainen van specifieke taken, en dat het slechts twintig keer zoveel kost om op papier te produceren, wat een goede handel is.
Maar ‘20 keer meer’ is nog steeds echt geld, en dat is het addertje onder het gras: het schrappen van tekst van internet, de manier waarop LLM-makers hun modellen bouwden door gebruik te maken van Stack Overflow en de rest van het internet, kostte grenslaboratoria vrijwel niets. Het genereren van fysieke trainingsgegevens niet, en dat is de limiet van de fysieke-AI-als-LLM-vergelijking. Dit soort gegevens moeten worden vervaardigd en niet alleen maar worden verzameld, en dat verandert de economische aspecten van het bouwen van deze modellen.
Velmurugan zegt dat er vooruitgang wordt geboekt. Dankzij de zichtbaarheid van Encord in programma's in de hele sector kan hij zowel start-ups als grenslaboratoria zien uitzoeken wat wel en niet werkt om fysieke AI-modellen te verbeteren. Dat uitkijkpunt – gelegen tussen veel roboticabedrijven tegelijk – maakt ook deel uit van de pitch van Encord. Het kan ontdekken welke datatechnieken in de hele sector aan populariteit winnen voordat een enkele klant dat kan.
Dat zal de ongeveer tien piloten op de faciliteit van Encord bezig houden. Zowel Infante als Ceja maken deel uit van een groeiende beroepsbevolking die de bouwstenen voor neurale netwerken ontwikkelt; Ze werkten eerder bij Scale, een ander AI-data-annotatiebedrijf, voordat ze bij Encord kwamen werken.
Ceja had bij een afvalverwerkingsbedrijf gewerkt, waar hij door zijn interesse in technologie verantwoordelijk was voor het in goede staat houden van een robotachtige afvalsorteerder. Nu de Jenga-toren omvalt, zegt hij dat hij geniet van de uitdaging om trainingstaken voor robots op te lossen: “Het is elke dag iets nieuws!”