Default
Door Remote - 02 Nov 2026
Hoewel veel aandacht is uitgegaan naar de bijgewerkte financiële cijfers die Anthropic maandag in zijn herziene S-1A heeft onthuld (de inkomsten stijgen, maar dat geldt ook voor de uitgaven), liet het AI-lab nog een kleine bom in de kleine lettertjes vallen.
De indiening lijkt te waarschuwen dat het bedrijf op het punt staat een model te creëren dat in staat is tot recursieve zelfverbetering (RSI).
RSI is het punt waarop AI zo goed wordt in het trainen van zichzelf dat het een dramatische versnelling van de AI-mogelijkheden voortbrengt. Voor de AI-doomers vertegenwoordigt RSI de ramp waaruit geen terugkeer mogelijk is, waarin AI zichzelf opbouwt tot iets dat krachtig genoeg is om aan de menselijke controle te ontsnappen en onverschillig kan zijn voor de schade die het veroorzaakt terwijl het zijn doelen bereikt.
Voor AI-enthousiastelingen vertegenwoordigt RSI, of een versie van AI die zichzelf op betrouwbare wijze gebruikt om te verbeteren, de belofte van de technologie, waarbij het een instrument wordt voor onvoorstelbare productiviteit, wetenschappelijke ontdekkingen en meer.
Anthropic lijkt te geloven dat RSI zowel een belofte als een gevaar is. Het zegt in de S-1 dat het AI gebruikt in zijn R&D, maar waarschuwt: "Het gebruik van AI om capabelere AI te helpen bouwen kan ook een aanzienlijk veiligheidsrisico met zich meebrengen, vooral als het het tempo van de vooruitgang sterk versnelt. Dit is een van de gebieden die onder ons Responsible Scaling Policy vallen, waarin onze plannen worden uiteengezet om de risico's te monitoren en te beperken terwijl we naderen wat 'recursieve zelfverbetering' wordt genoemd."
Toen de term RSI eerder dit jaar populair werd, geloofden velen dat het een modewoord was of, op zijn best, een doel dat te moeilijk te bereiken, te definiëren of te bewijzen was.
Maar op maandag voegde Anthropic nieuwe verklaringen toe aan de sectie Risicofactoren, waarin stond dat 1) het AI al heeft gebruikt om nieuwe modellen te ontwikkelen waarvan het de sprongen in mogelijkheden op dat moment niet onderkende, en 2) dat het binnenkort zou kunnen voldoen aan zijn eigen interne definitie van RSI (vetgedrukte nadruk van ons, hieronder):
Bovendien kan ons toenemende gebruik van AI-systemen om ons eigen onderzoek en ontwikkeling te versnellen ertoe leiden dat de mogelijkheden van onze modellen sneller vooruitgaan dan ons vermogen om overeenkomstige veiligheids-, afstemmings- en beveiligingsmaatregelen te ontwikkelen, valideren en implementeren. Als gevolg hiervan hebben we in het verleden geen significante versnelling in ons ontwikkelingstempo vastgesteld, en zullen we dit in de toekomst wellicht ook niet onderkennen, totdat deze heeft plaatsgevonden.
Onze interne schattingen en onze verwachtingen met betrekking tot toekomstige modellen, in plaats van onze huidige modellen, geven bijvoorbeeld aan dat we binnenkort mogelijk zullen voldoen aan de definitie van ons Responsible Scaling Policy van “dramatisch versnelde vooruitgang die kan worden toegeschreven aan AI.” We hebben geen van onze huidige modellen aangemerkt als een model dat deze drempel overschrijdt, en we blijven de onderliggende gegevens beoordelen.
Anthropic zei echter ook in de indiening dat geen van zijn modellen deze RSI-drempel al heeft overschreden en dat het belooft om mensen in de nabije toekomst in het R&D-proces te houden. "We verwachten niet dat we Claude veilig kunnen gebruiken om volledig autonoom opeenvolgende generaties frontier-modellen te ontwerpen en bouwen zonder betekenisvol menselijk toezicht of begrip, als en wanneer dat technisch mogelijk wordt. Dienovereenkomstig overwegen we updates van ons Responsible Scaling Policy om mensen de controle te houden over de ontwikkeling van frontier-modellen bij Anthropic."
Sceptici zouden erop kunnen wijzen dat een S-1 functioneert als zowel onthulling als marketing, en dat beweringen dat hij dicht bij een model staat dat zo krachtig is dat het zichzelf kan bouwen in de laatste categorie zou kunnen vallen.
Niettemin lijdt het geen twijfel dat de capaciteiten van Claude, vooral op het gebied van coderen, wiskunde en cyberbeveiliging, dit jaar met grote sprongen zijn gegroeid. Als Anthropic denkt dat de mogelijkheid van RSI dichtbij is, moeten we het misschien geloven en dienovereenkomstig handelen – misschien regeren.
De indiening lijkt te waarschuwen dat het bedrijf op het punt staat een model te creëren dat in staat is tot recursieve zelfverbetering (RSI).
RSI is het punt waarop AI zo goed wordt in het trainen van zichzelf dat het een dramatische versnelling van de AI-mogelijkheden voortbrengt. Voor de AI-doomers vertegenwoordigt RSI de ramp waaruit geen terugkeer mogelijk is, waarin AI zichzelf opbouwt tot iets dat krachtig genoeg is om aan de menselijke controle te ontsnappen en onverschillig kan zijn voor de schade die het veroorzaakt terwijl het zijn doelen bereikt.
Voor AI-enthousiastelingen vertegenwoordigt RSI, of een versie van AI die zichzelf op betrouwbare wijze gebruikt om te verbeteren, de belofte van de technologie, waarbij het een instrument wordt voor onvoorstelbare productiviteit, wetenschappelijke ontdekkingen en meer.
Anthropic lijkt te geloven dat RSI zowel een belofte als een gevaar is. Het zegt in de S-1 dat het AI gebruikt in zijn R&D, maar waarschuwt: "Het gebruik van AI om capabelere AI te helpen bouwen kan ook een aanzienlijk veiligheidsrisico met zich meebrengen, vooral als het het tempo van de vooruitgang sterk versnelt. Dit is een van de gebieden die onder ons Responsible Scaling Policy vallen, waarin onze plannen worden uiteengezet om de risico's te monitoren en te beperken terwijl we naderen wat 'recursieve zelfverbetering' wordt genoemd."
Toen de term RSI eerder dit jaar populair werd, geloofden velen dat het een modewoord was of, op zijn best, een doel dat te moeilijk te bereiken, te definiëren of te bewijzen was.
Maar op maandag voegde Anthropic nieuwe verklaringen toe aan de sectie Risicofactoren, waarin stond dat 1) het AI al heeft gebruikt om nieuwe modellen te ontwikkelen waarvan het de sprongen in mogelijkheden op dat moment niet onderkende, en 2) dat het binnenkort zou kunnen voldoen aan zijn eigen interne definitie van RSI (vetgedrukte nadruk van ons, hieronder):
Bovendien kan ons toenemende gebruik van AI-systemen om ons eigen onderzoek en ontwikkeling te versnellen ertoe leiden dat de mogelijkheden van onze modellen sneller vooruitgaan dan ons vermogen om overeenkomstige veiligheids-, afstemmings- en beveiligingsmaatregelen te ontwikkelen, valideren en implementeren. Als gevolg hiervan hebben we in het verleden geen significante versnelling in ons ontwikkelingstempo vastgesteld, en zullen we dit in de toekomst wellicht ook niet onderkennen, totdat deze heeft plaatsgevonden.
Onze interne schattingen en onze verwachtingen met betrekking tot toekomstige modellen, in plaats van onze huidige modellen, geven bijvoorbeeld aan dat we binnenkort mogelijk zullen voldoen aan de definitie van ons Responsible Scaling Policy van “dramatisch versnelde vooruitgang die kan worden toegeschreven aan AI.” We hebben geen van onze huidige modellen aangemerkt als een model dat deze drempel overschrijdt, en we blijven de onderliggende gegevens beoordelen.
Anthropic zei echter ook in de indiening dat geen van zijn modellen deze RSI-drempel al heeft overschreden en dat het belooft om mensen in de nabije toekomst in het R&D-proces te houden. "We verwachten niet dat we Claude veilig kunnen gebruiken om volledig autonoom opeenvolgende generaties frontier-modellen te ontwerpen en bouwen zonder betekenisvol menselijk toezicht of begrip, als en wanneer dat technisch mogelijk wordt. Dienovereenkomstig overwegen we updates van ons Responsible Scaling Policy om mensen de controle te houden over de ontwikkeling van frontier-modellen bij Anthropic."
Sceptici zouden erop kunnen wijzen dat een S-1 functioneert als zowel onthulling als marketing, en dat beweringen dat hij dicht bij een model staat dat zo krachtig is dat het zichzelf kan bouwen in de laatste categorie zou kunnen vallen.
Niettemin lijdt het geen twijfel dat de capaciteiten van Claude, vooral op het gebied van coderen, wiskunde en cyberbeveiliging, dit jaar met grote sprongen zijn gegroeid. Als Anthropic denkt dat de mogelijkheid van RSI dichtbij is, moeten we het misschien geloven en dienovereenkomstig handelen – misschien regeren.