Default
Door Remote - 15 Jul 2026
In het kort
PrismML's Bonsai 27B is een AI-model met 27 miljard parameters, gecomprimeerd tot 3,9 GB – klein genoeg om op een iPhone 17 Pro Max te draaien met 11 tokens per seconde, de eerste keer dat een model met dat vermogen het geheugenbudget van een smartphone vrijmaakt.
De ternaire variant behoudt 94,6% van de volledige precisie-benchmarkprestaties en presteert beter dan conventionele "2-bit" Qwen-builds die bijna twee keer zo groot zijn en instorten bij wiskunde- en codeertaken onder de 4 bits.
Apple voert volgens CNBC vroege gesprekken met PrismML over de onderliggende compressietechnologie, waarbij het bedrijf zich richt op een gecomprimeerd Gemma-model als volgende in de pijplijn.
I-modellen verbruiken veel geheugen. Een AI-model met 27 miljard parameters, dat volgens industrienormen als middelgroot wordt beschouwd, heeft ongeveer 54 GB geheugen nodig om met halve precisie te kunnen werken. De meeste laptops kunnen dat niet aan. Sommige desktop-rigs kunnen dat ook niet.
Eerder deze week bracht PrismML er een uit van 3,9 GB, klein genoeg om op een iPhone te passen.
Parameters zijn het aantal draaiknoppen en aanpassingen die een model aankan. Hoe meer parameters, hoe compacter en capabeler een model is.
Bonsai 27B is het eerste model uit de 27B-klasse dat het geheugenplafond van een consumentensmartphone opruimt, met een snelheid van 11 tokens per seconde op een iPhone 17 Pro Max. (Tokens zijn de basiseenheid van informatie die AI-modellen kunnen verwerken en produceren.) De ternaire variant, met 5,9 GB, haalt ongeveer 26 tokens per seconde op een M5 Pro-laptop. Beide zijn gratis onder Apache 2.0.
De compressiemethode, gebaseerd op de intellectuele eigendom van Caltech, reduceert het gewicht van elk model van 16 bits drijvende-kommaprecisie naar een enkel teken: +1 of -1 in de binaire versie, een van de drie waarden in de ternaire versie. Elke groep van 128 gewichten deelt een schaalfactor van 16 bits, waardoor de binaire variant uitkomt op 1,125 bits per gewicht: 14 keer kleiner dan het origineel met volledige precisie. Het ternaire model voegt een nulstatus toe voor iets meer expressieve kracht en blijft steken op 1,71 bits.
In eenvoudiger bewoordingen betekent dit dat een ternair AI-model slechts drie instellingen gebruikt voor elke interne waarde (negatief, nul of positief), terwijl een standaard AI kan kiezen uit ongeveer 65.000 instellingen.
PrismML deed dat zonder veel van de uitvoerkwaliteit te verliezen.
Wat dit anders maakt dan conventionele 'low-bit'-modellen is dat niets een ontsnappingsmogelijkheid met hogere precisie krijgt: inbedding, aandacht en de volledige taalmodelkop zijn allemaal van begin tot eind gecomprimeerd. De meeste gekwantiseerde builds houden bepaalde gevoelige lagen op volledige precisie, waardoor ze uiteindelijk groter worden als compromis voor een betere kwaliteit. Bonsai speelt dat spel niet.
Dit is de tweede grote release in de familie. In maart bracht PrismML Bonsai 8B uit, een model van 1,15 GB dat bewees dat de 1-bit-architectuur kon overleven met 8 miljard parameters zonder dat de redenering instortte. De sprong naar 27 miljard is waar de inzet verandert – die schaal is waar een aanhoudende gedachtegang, betrouwbaar gereedschapsgebruik en meerstaps agentisch gedrag feitelijk consequent naar voren komen – de dingen die kleinere modellen nog steeds morrelen.
BenchmarksOver 15 benchmarks geëvalueerd in de denkmodus op NVIDIA H100 GPU's (waaronder kennis, wiskunde, coderen en gereedschapsgebruik) scoort Ternary Bonsai 27B gemiddeld 80,49, of 94,6% van het model met volledige precisie. De 1-bit variant haalt 76.11.
Over het algemeen presteren de modellen op benchmarks veel beter dan Gemma 4 of Qwen 3.6 in termen van hoeveel potentieel ze bieden voor hun formaat.
De modellen zijn redelijk goed voor wat ze bieden, en gezien de weinige middelen die ze nodig hebben, tillen ze kleine hardware (smartphones en lagere pc's) naar een ander niveau qua mogelijkheden. AIME25 en AIME26, gemodelleerd naar het American Invitational Mathematics Examination, scoren 93,7% voor Ternary Bonsai 27B versus 95,3% voor de veel grotere Qwen 3.6B. Bonsai scoort 86 punten in codig versus 88 voor Qwen 3.6 en 77% op algemene kennis versus 83 voor Qwen 3.6.
Het model maakt ook gebruik van een hybride aandachtsruggengraat waarbij ongeveer 75% van de lagen lineair is in plaats van volledige kwadratische aandacht. Die architectuur maakt een contextvenster van 262K token praktisch op het apparaat, iets wat een standaard aandachtsstapel onbetaalbaar zou maken op telefoonhardware.
We hebben het getest. We hebben Bonsai 27B zelf laten draaien. Codering vergt iteratie: single-shot prompts zullen niet concurreren met cloud frontier-modellen. Lokaal en vrij zijn maakt dat irrelevant. Voor ons Zombie Type-spel, een first-person type-horror-browserspel, zorgden twee vibe-coderingsrondes voor een zuivere botsingsdetectie, de juiste scorelogica en afbeeldingen die bij elkaar bleven. Het model begrijpt de structuur al vroeg; de tweede passage verfijnt in plaats van herbouwt.
Interessant genoeg zagen sommige modellen (zoals de skeletten) er uitgebreider uit dan die uit GPT 5.6 Sol. Het betekent niet dat het op wat voor manier dan ook beter is, alleen dat het bij deze taak een schattig skelet opleverde, terwijl de AI-koning een slechtere stilistische keuze maakte.
Het spel is hier beschikbaar om te testen.
Creatief schrijven is een meer gekwalificeerd verhaal en de criteria zijn subjectiever.
Globaal gesproken zijn de resultaten niet bijzonder fantasierijk als je een zero-shot-prompt in gedachten hebt.
Dat gezegd hebbende, produceert Bonsai verhalen met consistente interne logica, tempo en boog - beter, of vergelijkbaar met Claude Haiku of zelfs Sonnet met minder inspanning en vergelijkbare aanwijzingen. Voor een model dat volledig op je eigen hardware draait zonder API-kosten is dat veel te zeggen.
Het verhaal dat het creëerde, is te vinden in onze Github-repository.
PrismML levert naast het model ook een speculatieve decoderingslaag van DSpark: een lichtgewicht tekenprogramma dat blokken kandidaat-tokens voorstelt, die het hoofdmodel in één enkele doorgang verifieert in plaats van token per token te genereren. Op een H100 die een doorvoerverbetering van 1,37x toevoegt zonder verandering in de uitvoerkwaliteit, omdat bij verificatie de exacte uitvoerverdeling behouden blijft. Op Apple Silicon is het nog niet standaard ingeschakeld, maar voor GPU-bediening is het een echte winst.
De interesse van Apple voegt een commerciële dimensie toe. PrismML CEO Babak Hassibi bevestigde tegenover CNBC dat het bedrijf in vroege gesprekken is met Apple, dat de compressietechnologie evalueert voor mogelijk gebruik op het apparaat.
Hassibi zei dat een gecomprimeerd Gemma-model het volgende in de pijplijn zit, gevolgd door grotere grensmodellen; 1-bit Bonsai 27B is nu gratis te downloaden onder Apache 2.0. Als je een inleiding nodig hebt over het lokaal draaien van dit soort modellen, bekijk dan onze gids.
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!
PrismML's Bonsai 27B is een AI-model met 27 miljard parameters, gecomprimeerd tot 3,9 GB – klein genoeg om op een iPhone 17 Pro Max te draaien met 11 tokens per seconde, de eerste keer dat een model met dat vermogen het geheugenbudget van een smartphone vrijmaakt.
De ternaire variant behoudt 94,6% van de volledige precisie-benchmarkprestaties en presteert beter dan conventionele "2-bit" Qwen-builds die bijna twee keer zo groot zijn en instorten bij wiskunde- en codeertaken onder de 4 bits.
Apple voert volgens CNBC vroege gesprekken met PrismML over de onderliggende compressietechnologie, waarbij het bedrijf zich richt op een gecomprimeerd Gemma-model als volgende in de pijplijn.
I-modellen verbruiken veel geheugen. Een AI-model met 27 miljard parameters, dat volgens industrienormen als middelgroot wordt beschouwd, heeft ongeveer 54 GB geheugen nodig om met halve precisie te kunnen werken. De meeste laptops kunnen dat niet aan. Sommige desktop-rigs kunnen dat ook niet.
Eerder deze week bracht PrismML er een uit van 3,9 GB, klein genoeg om op een iPhone te passen.
Parameters zijn het aantal draaiknoppen en aanpassingen die een model aankan. Hoe meer parameters, hoe compacter en capabeler een model is.
Bonsai 27B is het eerste model uit de 27B-klasse dat het geheugenplafond van een consumentensmartphone opruimt, met een snelheid van 11 tokens per seconde op een iPhone 17 Pro Max. (Tokens zijn de basiseenheid van informatie die AI-modellen kunnen verwerken en produceren.) De ternaire variant, met 5,9 GB, haalt ongeveer 26 tokens per seconde op een M5 Pro-laptop. Beide zijn gratis onder Apache 2.0.
De compressiemethode, gebaseerd op de intellectuele eigendom van Caltech, reduceert het gewicht van elk model van 16 bits drijvende-kommaprecisie naar een enkel teken: +1 of -1 in de binaire versie, een van de drie waarden in de ternaire versie. Elke groep van 128 gewichten deelt een schaalfactor van 16 bits, waardoor de binaire variant uitkomt op 1,125 bits per gewicht: 14 keer kleiner dan het origineel met volledige precisie. Het ternaire model voegt een nulstatus toe voor iets meer expressieve kracht en blijft steken op 1,71 bits.
In eenvoudiger bewoordingen betekent dit dat een ternair AI-model slechts drie instellingen gebruikt voor elke interne waarde (negatief, nul of positief), terwijl een standaard AI kan kiezen uit ongeveer 65.000 instellingen.
PrismML deed dat zonder veel van de uitvoerkwaliteit te verliezen.
Wat dit anders maakt dan conventionele 'low-bit'-modellen is dat niets een ontsnappingsmogelijkheid met hogere precisie krijgt: inbedding, aandacht en de volledige taalmodelkop zijn allemaal van begin tot eind gecomprimeerd. De meeste gekwantiseerde builds houden bepaalde gevoelige lagen op volledige precisie, waardoor ze uiteindelijk groter worden als compromis voor een betere kwaliteit. Bonsai speelt dat spel niet.
Dit is de tweede grote release in de familie. In maart bracht PrismML Bonsai 8B uit, een model van 1,15 GB dat bewees dat de 1-bit-architectuur kon overleven met 8 miljard parameters zonder dat de redenering instortte. De sprong naar 27 miljard is waar de inzet verandert – die schaal is waar een aanhoudende gedachtegang, betrouwbaar gereedschapsgebruik en meerstaps agentisch gedrag feitelijk consequent naar voren komen – de dingen die kleinere modellen nog steeds morrelen.
BenchmarksOver 15 benchmarks geëvalueerd in de denkmodus op NVIDIA H100 GPU's (waaronder kennis, wiskunde, coderen en gereedschapsgebruik) scoort Ternary Bonsai 27B gemiddeld 80,49, of 94,6% van het model met volledige precisie. De 1-bit variant haalt 76.11.
Over het algemeen presteren de modellen op benchmarks veel beter dan Gemma 4 of Qwen 3.6 in termen van hoeveel potentieel ze bieden voor hun formaat.
De modellen zijn redelijk goed voor wat ze bieden, en gezien de weinige middelen die ze nodig hebben, tillen ze kleine hardware (smartphones en lagere pc's) naar een ander niveau qua mogelijkheden. AIME25 en AIME26, gemodelleerd naar het American Invitational Mathematics Examination, scoren 93,7% voor Ternary Bonsai 27B versus 95,3% voor de veel grotere Qwen 3.6B. Bonsai scoort 86 punten in codig versus 88 voor Qwen 3.6 en 77% op algemene kennis versus 83 voor Qwen 3.6.
Het model maakt ook gebruik van een hybride aandachtsruggengraat waarbij ongeveer 75% van de lagen lineair is in plaats van volledige kwadratische aandacht. Die architectuur maakt een contextvenster van 262K token praktisch op het apparaat, iets wat een standaard aandachtsstapel onbetaalbaar zou maken op telefoonhardware.
We hebben het getest. We hebben Bonsai 27B zelf laten draaien. Codering vergt iteratie: single-shot prompts zullen niet concurreren met cloud frontier-modellen. Lokaal en vrij zijn maakt dat irrelevant. Voor ons Zombie Type-spel, een first-person type-horror-browserspel, zorgden twee vibe-coderingsrondes voor een zuivere botsingsdetectie, de juiste scorelogica en afbeeldingen die bij elkaar bleven. Het model begrijpt de structuur al vroeg; de tweede passage verfijnt in plaats van herbouwt.
Interessant genoeg zagen sommige modellen (zoals de skeletten) er uitgebreider uit dan die uit GPT 5.6 Sol. Het betekent niet dat het op wat voor manier dan ook beter is, alleen dat het bij deze taak een schattig skelet opleverde, terwijl de AI-koning een slechtere stilistische keuze maakte.
Het spel is hier beschikbaar om te testen.
Creatief schrijven is een meer gekwalificeerd verhaal en de criteria zijn subjectiever.
Globaal gesproken zijn de resultaten niet bijzonder fantasierijk als je een zero-shot-prompt in gedachten hebt.
Dat gezegd hebbende, produceert Bonsai verhalen met consistente interne logica, tempo en boog - beter, of vergelijkbaar met Claude Haiku of zelfs Sonnet met minder inspanning en vergelijkbare aanwijzingen. Voor een model dat volledig op je eigen hardware draait zonder API-kosten is dat veel te zeggen.
Het verhaal dat het creëerde, is te vinden in onze Github-repository.
PrismML levert naast het model ook een speculatieve decoderingslaag van DSpark: een lichtgewicht tekenprogramma dat blokken kandidaat-tokens voorstelt, die het hoofdmodel in één enkele doorgang verifieert in plaats van token per token te genereren. Op een H100 die een doorvoerverbetering van 1,37x toevoegt zonder verandering in de uitvoerkwaliteit, omdat bij verificatie de exacte uitvoerverdeling behouden blijft. Op Apple Silicon is het nog niet standaard ingeschakeld, maar voor GPU-bediening is het een echte winst.
De interesse van Apple voegt een commerciële dimensie toe. PrismML CEO Babak Hassibi bevestigde tegenover CNBC dat het bedrijf in vroege gesprekken is met Apple, dat de compressietechnologie evalueert voor mogelijk gebruik op het apparaat.
Hassibi zei dat een gecomprimeerd Gemma-model het volgende in de pijplijn zit, gevolgd door grotere grensmodellen; 1-bit Bonsai 27B is nu gratis te downloaden onder Apache 2.0. Als je een inleiding nodig hebt over het lokaal draaien van dit soort modellen, bekijk dan onze gids.
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer. Uw e-mail Download het! Download het!