Default
Door Remote - 03 Jul 2026
In het kort
De foutopsporingsscore van BridgeBench voor Claude Fable 5 daalde van 86,2 naar 25,9 na de herinvoering ervan op 1 juli, maar de ineenstorting kwam doordat de veiligheidsclassificator de meeste taken naar Opus 4.8 stuurde, en niet doordat het model dommer werd.
Arena.AI heeft duizenden blinde stemmen op menselijke voorkeuren uitgevoerd en vond dat de prestaties van Fable 5 grotendeels vlak waren ten opzichte van de versie van juni, waarbij sommige categorieën (document en experttekst) zelfs verbeterden na herstel.
Anthropic heeft erkend dat zijn nieuwe classificaties valse positieven zullen opleveren bij routinematig coderen en debuggen, en zegt dat het systeem in de loop van de tijd zal worden verfijnd, maar heeft geen tijdlijn gegeven.
Claude Fable 5 kwam op 1 juli weer online en het oordeel op sociale media was niet aardig: kapot, generfeerd, lobotomie, ondermaats presterend, niet hetzelfde model.
Ik gebruik Fable 5 de hele dag en ga gewoon door met wat ik deed met Opus
De bevindingen zijn waar
Het is volledig generfeerd
De politiek heeft de civiele technologische vooruitgang opnieuw vernietigd https://t.co/Ed3jrqOxbK
— BharadwajC (@bwjbuild) 2 juli 2026
De kritiek van gebruikers was daverend. Vervolgens publiceerden twee benchmarks – BridgeBench AI en Arena AI – dezelfde dag gegevens en kwamen tot tegengestelde conclusies. De een constateerde een ernstige kwaliteitsverslechtering van de resultaten, de ander constateerde dat de verschillen zo klein waren dat ze misschien niet relevant genoeg waren om opgemerkt te worden.
Beiden hebben op hun eigen manier gelijk.
De korte versie: het model werd niet dommer. De poortwachter ervoor werd veel agressiever. Dat onderscheid maakt veel uit, afhankelijk van waar je Fable voor gebruikt.
Wat BridgeBench feitelijk heeft gemetenBridgeMind, een AI-evaluatieplatform, heeft zijn volledige codeersuite opnieuw uitgevoerd ten opzichte van de versie van 1 juli van Fable 5 op de dag dat deze terugkwam.
BridgeBench test codeertaken uit de echte wereld in verschillende categorieën, waaronder foutopsporing, refactoring en weerstand tegen hallucinaties, en scoorde 0-100 op basis van hoe goed het model elke categorie voltooit. De resultaten waren somber op papier: debugging daalde van 86,2 naar 25,9, refactoring van 73,6 naar 38,4 en de hallucinatieresistentie van 75,9 naar 61,7.
FABEL 5 KOMT NERFED TERUG.
We hebben de versie van 1 juli van Claude Fable 5 opnieuw uitgevoerd op BridgeBench.
De resultaten zijn wreed:
Foutopsporing: 86.2 → 25.9
Refactoring: 73,6 → 38,4
Hallucinatie: 75,9 → 61,7
De nieuwe vangrails voeren veel te veel taken uit en vallen terug op het Opus… pic.twitter.com/tcUDDXpZMF
— BridgeMind (@bridgemindai) 2 juli 2026
Het addertje onder het gras zit in de methodologie. Van de twaalf TypeScript-foutopsporingstaken bereikten er slechts drie daadwerkelijk Fable 5. De overige negen werden onderschept door de nieuwe veiligheidsclassificator van Anthropic en omgeleid naar Claude Opus 4.8 - en BridgeBench scoort elke terugval als nul, omdat het model dat antwoordde niet het model was dat werd geëvalueerd.
De classifier, ingezet als voorwaarde voor het herstel van Fable, was getraind om de door Amazon gerapporteerde jailbreaktechniek te blokkeren, een techniek die ervoor zorgde dat Fable 5 softwarekwetsbaarheden kon identificeren en demonstreren. Het werkt. Het vangt ook veel dingen op die niet zouden moeten. Het debuggen van TypeScript lijkt voor de classifier voldoende op 'beveiligingswerk' dat de fallback voortdurend wordt geactiveerd.
Wat Arena.AI feitelijk heeft gemetenArena.AI, een LLM benchmarking- en vergelijkingsplatform, stelde dezelfde vraag door een andere lens. Het platform verzamelt duizenden blinde menselijke voorkeurstemmen in meerdere categorieën (tekst, visie, document, code en agent) en rangschikt modellen met behulp van Elo-scores, het van schaken afgeleide beoordelingssysteem dat zich aanpast aan statistische onzekerheid over duizenden onderlinge matchups. Wanneer twee modellen het anoniem tegen elkaar opnemen en mensen een winnaar kiezen, weerspiegelt de score de daadwerkelijk waargenomen kwaliteit, en niet de infrastructuurroutering.
De community heeft zich afgevraagd hoe Claude Fable 5 zich verhoudt vóór en na de laatste herimplementatie.
We hebben duizenden stemmen verzameld over het nieuwe eindpunt in Arenas - Tekst, Visie, Document, Code en Agent - en hier is een vroeg scorevoorbeeld.
Tot nu toe zien de scores er vooral uit... https://t.co/FKDaPpz10e pic.twitter.com/1nJDHqnlIj
— Arena.ai (@arena) 2 juli 2026
Uit de voor-en-na-vergelijking bleek dat Fable 5 grotendeels stand hield. De frontendcode is gedaald van 1650 naar 1623 Elo. Een verschil dat Arena opmerkte, ligt binnen het betrouwbaarheidsinterval omdat de gegevens zich blijven opstapelen. Documentprestaties verbeterden met 34 punten. Expertteksten gingen met 25 omhoog. Creatief schrijven steeg iets met 9. De categorieën die daalden: Coderen op -18, harde aanwijzingen op -3 – zijn precies waar de classificator de prompt het meest waarschijnlijk zal onderscheppen voordat Fable kan antwoorden.
Met andere woorden: wanneer Fable 5 de taak daadwerkelijk afhandelt, presteert het nog steeds als Fable 5. De frustratie over X gaat niet over een slechter model, maar meer over het betalen voor een model dat vaak niet degene is die antwoordt.
Wie heeft er last van, wie niet Algemene gebruikers die creatief schrijven, documentanalyse, onderzoek doen en tekstquery's op expertniveau uitvoeren, zullen waarschijnlijk weinig tot geen verschil merken. Dat zijn de categorieën waarin Arena.AI vlakke of verbeterde prestaties laat zien. Als er enige verbetering is, is deze mogelijk te klein om op te merken, vooral bij subjectieve, kwalitatieve taken zoals creatief schrijven, waarbij het moeilijk is om de resultaten volledig te meten.
Dus in principe zullen schrijvers, onderzoekers en analisten de Fable 5 krijgen die ze verwachtten. Ontwikkelaars zijn een ander verhaal.
Iedereen die op het gebied van de beveiliging werkt – codeergeheugenbeheer, alles wat te maken heeft met woorden als ‘kwetsbaarheid’, ‘uitbuiten’, ‘aan de haak slaan’ of zelfs ‘repareren’ – zal regelmatig op de terugval stuiten.
De kloof tussen de ineenstorting van BridgeBench en de stabiliteit van Arena komt neer op het taaktype. BridgeBench laadt zijn suite met precies het soort codereparatie- en foutopsporingsprompts die de nieuwe classificatie activeren. De menselijke kiezers van Arena vragen om een veel bredere mix van dingen, en de meeste daarvan zien er niet uit als exploitcode voor een veiligheidslaag.
Anthropic heeft gezegd dat de classificaties in de loop van de tijd zullen verbeteren, waarbij ze erkennen dat ze momenteel een te breed net uitwerpen. Het oorspronkelijke verbod kwam nadat Amazon-onderzoekers een techniek hadden gevonden om Fable softwarekwetsbaarheden te laten identificeren en aantonen – en de Amerikaanse overheid behandelde dat als een bedreiging voor de nationale veiligheid. De oplossing was om de classificator conservatief genoeg te maken om dat en alles eromheen op te vangen, en deze later af te stemmen.
Anthropic heeft geen streefdatum gegeven voor wanneer dat zal gebeuren.
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!
De foutopsporingsscore van BridgeBench voor Claude Fable 5 daalde van 86,2 naar 25,9 na de herinvoering ervan op 1 juli, maar de ineenstorting kwam doordat de veiligheidsclassificator de meeste taken naar Opus 4.8 stuurde, en niet doordat het model dommer werd.
Arena.AI heeft duizenden blinde stemmen op menselijke voorkeuren uitgevoerd en vond dat de prestaties van Fable 5 grotendeels vlak waren ten opzichte van de versie van juni, waarbij sommige categorieën (document en experttekst) zelfs verbeterden na herstel.
Anthropic heeft erkend dat zijn nieuwe classificaties valse positieven zullen opleveren bij routinematig coderen en debuggen, en zegt dat het systeem in de loop van de tijd zal worden verfijnd, maar heeft geen tijdlijn gegeven.
Claude Fable 5 kwam op 1 juli weer online en het oordeel op sociale media was niet aardig: kapot, generfeerd, lobotomie, ondermaats presterend, niet hetzelfde model.
Ik gebruik Fable 5 de hele dag en ga gewoon door met wat ik deed met Opus
De bevindingen zijn waar
Het is volledig generfeerd
De politiek heeft de civiele technologische vooruitgang opnieuw vernietigd https://t.co/Ed3jrqOxbK
— BharadwajC (@bwjbuild) 2 juli 2026
De kritiek van gebruikers was daverend. Vervolgens publiceerden twee benchmarks – BridgeBench AI en Arena AI – dezelfde dag gegevens en kwamen tot tegengestelde conclusies. De een constateerde een ernstige kwaliteitsverslechtering van de resultaten, de ander constateerde dat de verschillen zo klein waren dat ze misschien niet relevant genoeg waren om opgemerkt te worden.
Beiden hebben op hun eigen manier gelijk.
De korte versie: het model werd niet dommer. De poortwachter ervoor werd veel agressiever. Dat onderscheid maakt veel uit, afhankelijk van waar je Fable voor gebruikt.
Wat BridgeBench feitelijk heeft gemetenBridgeMind, een AI-evaluatieplatform, heeft zijn volledige codeersuite opnieuw uitgevoerd ten opzichte van de versie van 1 juli van Fable 5 op de dag dat deze terugkwam.
BridgeBench test codeertaken uit de echte wereld in verschillende categorieën, waaronder foutopsporing, refactoring en weerstand tegen hallucinaties, en scoorde 0-100 op basis van hoe goed het model elke categorie voltooit. De resultaten waren somber op papier: debugging daalde van 86,2 naar 25,9, refactoring van 73,6 naar 38,4 en de hallucinatieresistentie van 75,9 naar 61,7.
FABEL 5 KOMT NERFED TERUG.
We hebben de versie van 1 juli van Claude Fable 5 opnieuw uitgevoerd op BridgeBench.
De resultaten zijn wreed:
Foutopsporing: 86.2 → 25.9
Refactoring: 73,6 → 38,4
Hallucinatie: 75,9 → 61,7
De nieuwe vangrails voeren veel te veel taken uit en vallen terug op het Opus… pic.twitter.com/tcUDDXpZMF
— BridgeMind (@bridgemindai) 2 juli 2026
Het addertje onder het gras zit in de methodologie. Van de twaalf TypeScript-foutopsporingstaken bereikten er slechts drie daadwerkelijk Fable 5. De overige negen werden onderschept door de nieuwe veiligheidsclassificator van Anthropic en omgeleid naar Claude Opus 4.8 - en BridgeBench scoort elke terugval als nul, omdat het model dat antwoordde niet het model was dat werd geëvalueerd.
De classifier, ingezet als voorwaarde voor het herstel van Fable, was getraind om de door Amazon gerapporteerde jailbreaktechniek te blokkeren, een techniek die ervoor zorgde dat Fable 5 softwarekwetsbaarheden kon identificeren en demonstreren. Het werkt. Het vangt ook veel dingen op die niet zouden moeten. Het debuggen van TypeScript lijkt voor de classifier voldoende op 'beveiligingswerk' dat de fallback voortdurend wordt geactiveerd.
Wat Arena.AI feitelijk heeft gemetenArena.AI, een LLM benchmarking- en vergelijkingsplatform, stelde dezelfde vraag door een andere lens. Het platform verzamelt duizenden blinde menselijke voorkeurstemmen in meerdere categorieën (tekst, visie, document, code en agent) en rangschikt modellen met behulp van Elo-scores, het van schaken afgeleide beoordelingssysteem dat zich aanpast aan statistische onzekerheid over duizenden onderlinge matchups. Wanneer twee modellen het anoniem tegen elkaar opnemen en mensen een winnaar kiezen, weerspiegelt de score de daadwerkelijk waargenomen kwaliteit, en niet de infrastructuurroutering.
De community heeft zich afgevraagd hoe Claude Fable 5 zich verhoudt vóór en na de laatste herimplementatie.
We hebben duizenden stemmen verzameld over het nieuwe eindpunt in Arenas - Tekst, Visie, Document, Code en Agent - en hier is een vroeg scorevoorbeeld.
Tot nu toe zien de scores er vooral uit... https://t.co/FKDaPpz10e pic.twitter.com/1nJDHqnlIj
— Arena.ai (@arena) 2 juli 2026
Uit de voor-en-na-vergelijking bleek dat Fable 5 grotendeels stand hield. De frontendcode is gedaald van 1650 naar 1623 Elo. Een verschil dat Arena opmerkte, ligt binnen het betrouwbaarheidsinterval omdat de gegevens zich blijven opstapelen. Documentprestaties verbeterden met 34 punten. Expertteksten gingen met 25 omhoog. Creatief schrijven steeg iets met 9. De categorieën die daalden: Coderen op -18, harde aanwijzingen op -3 – zijn precies waar de classificator de prompt het meest waarschijnlijk zal onderscheppen voordat Fable kan antwoorden.
Met andere woorden: wanneer Fable 5 de taak daadwerkelijk afhandelt, presteert het nog steeds als Fable 5. De frustratie over X gaat niet over een slechter model, maar meer over het betalen voor een model dat vaak niet degene is die antwoordt.
Wie heeft er last van, wie niet Algemene gebruikers die creatief schrijven, documentanalyse, onderzoek doen en tekstquery's op expertniveau uitvoeren, zullen waarschijnlijk weinig tot geen verschil merken. Dat zijn de categorieën waarin Arena.AI vlakke of verbeterde prestaties laat zien. Als er enige verbetering is, is deze mogelijk te klein om op te merken, vooral bij subjectieve, kwalitatieve taken zoals creatief schrijven, waarbij het moeilijk is om de resultaten volledig te meten.
Dus in principe zullen schrijvers, onderzoekers en analisten de Fable 5 krijgen die ze verwachtten. Ontwikkelaars zijn een ander verhaal.
Iedereen die op het gebied van de beveiliging werkt – codeergeheugenbeheer, alles wat te maken heeft met woorden als ‘kwetsbaarheid’, ‘uitbuiten’, ‘aan de haak slaan’ of zelfs ‘repareren’ – zal regelmatig op de terugval stuiten.
De kloof tussen de ineenstorting van BridgeBench en de stabiliteit van Arena komt neer op het taaktype. BridgeBench laadt zijn suite met precies het soort codereparatie- en foutopsporingsprompts die de nieuwe classificatie activeren. De menselijke kiezers van Arena vragen om een veel bredere mix van dingen, en de meeste daarvan zien er niet uit als exploitcode voor een veiligheidslaag.
Anthropic heeft gezegd dat de classificaties in de loop van de tijd zullen verbeteren, waarbij ze erkennen dat ze momenteel een te breed net uitwerpen. Het oorspronkelijke verbod kwam nadat Amazon-onderzoekers een techniek hadden gevonden om Fable softwarekwetsbaarheden te laten identificeren en aantonen – en de Amerikaanse overheid behandelde dat als een bedreiging voor de nationale veiligheid. De oplossing was om de classificator conservatief genoeg te maken om dat en alles eromheen op te vangen, en deze later af te stemmen.
Anthropic heeft geen streefdatum gegeven voor wanneer dat zal gebeuren.
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!