Default
Door Remote - 01 Nov 2026
In het kort
Volgens de analyse van Epoch AI van 29 mei liggen de modellen met een open gewicht sinds januari 2026 gemiddeld vier maanden achter op de beste gesloten modellen.
Ollama en LM Studio zijn gratis, kleine modellen hebben ongeveer 8 GB VRAM of Mac Unified Memory nodig, en LM Studio kan volledig offline werken.
De grootste open modellen, zoals Alibaba's Qwen 3.8-Max met 2,4 biljoen parameters, gaan veel verder dan consumentenhardware, en gesloten modellen wonnen 24 van de 31 tests in Alibaba's eigen vergelijking.
Open-weight AI-modellen lopen nu gemiddeld slechts vier maanden achter op de beste gesloten modellen, en een groeiend aantal daarvan draait op hardware die je waarschijnlijk al bezit.
'Open-weight' betekent dat het bedrijf de gewichten publiceert, de bestanden die alles bevatten wat het model heeft geleerd, zodat iedereen ze kan downloaden en uitvoeren. Twee gratis programma's, Ollama en LM Studio, doen de rest, en de downloads van Gemma 4 in Ollama's bibliotheek variëren van ongeveer 4,6 GB tot 20 GB.
Met open modellen hoeft u geen $ 20 per maand te betalen voor een AI-abonnement of uw gesprekken naar de servers van iemand anders te sturen om een capabele chatbot te krijgen. In deze handleiding wordt uitgelegd hoe u AI-modellen rechtstreeks op uw computer kunt downloaden en uitvoeren, welke hardware u nodig heeft en hoe u aan de slag kunt gaan met gratis tools zoals Ollama en LM Studio.
Of u nu geld wilt besparen, uw gesprekken privé wilt houden of wilt experimenteren met AI-modellen die u zelf kunt aanpassen: het opzetten van een lokale AI-assistent kan eenvoudiger zijn dan u denkt.
Waarom een AI-model op uw eigen machine gebruiken? Een cloudchatbot stuurt elke prompt naar de servers van een bedrijf, en een rechtbank beval OpenAI om ChatGPT-logboeken te bewaren, inclusief verwijderde, zoals Decrypt rapporteerde in een recensie van op privacy gerichte AI-tools. Een lokaal model bewaart het gesprek op uw computer en niemand kan het zonder uw toestemming gebruiken.
Myriad: Welk bedrijf zal als volgende naar de beurs gaan? Klik om uw voorspelling te doen. De documentatie van LM Studio zegt dat de app "volledig offline kan werken, zorg er wel voor dat u eerst enkele modelbestanden ophaalt", en dat documenten die aan een chat zijn gekoppeld, ook volledig offline kunnen worden gebruikt.
Abonnementen op betaalde chatbots kosten ongeveer $ 20 per maand, terwijl de software hier gratis is. De kosten verschuiven naar hardware die u mogelijk al heeft.
Licenties bepalen wat u met gedownloade gewichten kunt doen. De R1-serie van DeepSeek valt onder de MIT-licentie en op de modelkaart staat dat de modellen "commercieel gebruik ondersteunen, eventuele aanpassingen en afgeleide werken toestaan", terwijl Gemma 4 van Google en gpt-oss van OpenAI worden geleverd onder Apache 2.0.
Als u modellen uitvoert op een open-sourcelicentie zoals Apache of MIT, bent u vrij om een model te gebruiken, aan te passen en te doen wat u maar wilt. Dit betekent dat gebruikers toegang hebben tot verbeterde en aangepaste versies van een specifiek model die beter aansluiten bij hun behoeften. Misschien heb je een model nodig dat goed is in de geneeskunde, dus het maakt je niet uit hoe goed het codeert. Dit personalisatieniveau is alleen beschikbaar in op maat gemaakte modellen.
Wat uw hardware daadwerkelijk kan uitvoeren Modellen worden qua parameters aangepast, de interne getallen worden tijdens de training aangepast en de download groeit ermee mee. Het model moet passen in het videogeheugen van je grafische kaart, bekend als VRAM, of in het uniforme geheugen van een Mac, dat de processor en de grafische chip delen.
Als algemene regel geldt dat je minimaal 8 GB VRAM nodig hebt, waar gecomprimeerd kleiner in past. Serieuze gebruikers zouden echter een gaming-GPU moeten kopen met 24 GB VRAM of meer, door GPU's op elkaar te stapelen of door specifieke AI-racks of machines met uniform geheugen te kopen, zoals de Mac Mini of de Nvidia DGX Spark.
Kwantisering verkleint een model door elk gewicht met minder bits op te slaan. In de documentatie van Hugging Face wordt beschreven dat het gewichten en activeringen weergeeft "met gegevenstypen met lage precisie, zoals 8-bit integer (int8) in plaats van de gebruikelijke 32-bit drijvende komma (float32)", waardoor het geheugengebruik wordt verminderd ten koste van enige nauwkeurigheid.
De systeemvereisten van LM Studio adviseren 16 GB of meer RAM op Apple Silicon Macs met macOS 14 of nieuwer, hoewel Macs van 8 GB kleinere modellen aankunnen. Op Windows wordt minimaal 16 GB RAM en 4 GB speciaal VRAM aanbevolen, met ondersteuning voor AVX2-processors, en Intel-gebaseerde Macs worden niet ondersteund.
De bibliotheek van Ollama vermeldt de Gemma 4 26B van 16 tot 19 GB en de 31B-versie van 19 tot 20 GB. OpenAI's gpt-oss-20b heeft slechts 16 GB geheugen nodig, en gpt-oss-120b werkt volgens OpenAI binnen 80 GB.
Hoe Ollama en LM Studio in te stellenLM Studio is waarschijnlijk de beste keuze omdat het een mooi gepolijste grafische gebruikersinterface biedt. Ollama daarentegen is gericht op ontwikkelaars en meer ervaren gebruikers die liever in een terminal (CLI) werken.
Voor LM Studio downloadt u het installatieprogramma voor uw besturingssysteem vanaf lmstudio.ai, zoekt u naar een model in de app, downloadt u de gewichten en opent u een chat. De app zoekt naar Hugging Face, de publieke hub waar open modellen worden gepubliceerd.
Voor Ollama-, macOS- en Linux-gebruikers installeren ze met de opdracht curl -fsSL https://ollama.com/install.sh | sh en Windows-gebruikers voeren irm https://ollama.com/install.ps1 | uit iex in PowerShell, beide vermeld op de downloadpagina van Ollama.
Als u ollama pull gemma4:e2b typt, downloadt u een model en ollama run gemma4:e2b opent een chat en /bye sluit af, volgens de snelstart van Ollama. Het programma opent ook een lokale API op http://localhost:11434, zodat andere apps op uw computer het model kunnen gebruiken.
Modelnamen die eindigen op ':cloud', zoals gemma4:cloud, zijn cloudmodellen die in de cloud van Ollama draaien en niet hoeven te worden gedownload. Sla deze dus over als het om privacy gaat. Dat gezegd hebbende, is dit een goede tweede optie voor degenen die krachtigere modellen nodig hebben: de oproepen en prompts die via de API worden afgehandeld, worden niet opgeslagen op de servers van de providers en worden niet gebruikt om modellen te trainen.
De Multi-Token Prediction-drafters van Google voor Gemma 4, beschikbaar op Ollama onder Apache 2.0, versnellen het genereren tot drie keer met behulp van speculatieve decodering, waarbij een klein model verschillende tokens vooruit voorstelt en het grote model ze samen controleert.
Google zei dat "als het doelmodel het eens is met het concept, het de hele reeks in één enkele doorgang accepteert", en het doelmodel voegt in diezelfde doorgang een eigen extra token toe.
Lokale modellen krijgen zoekopdrachten op internet en toegang tot bestanden via MCP-servers, een afkorting van Model Context Protocol, en LM Studio heeft ondersteuning toegevoegd in versie 0.3.17, volgens de Decrypt-handleiding.
Waar lokale modellen nog steeds verliezen van de cloudHet viermaands gemiddelde beschrijft de meest capabele open modellen, en de grootste zijn ver voorbij de consumentenhardware. Alibaba's Qwen3.8-Max heeft in totaal 2,4 biljoen parameters, waarvan er op elk moment 95 miljard actief zijn, vergeleken met de 80 GB geheugen waarin gpt-oss-120b draait.
Wanneer een model uit VRAM naar systeem-RAM stroomt, kunnen de reacties een stuk langzamer zijn en hebben grotere contextvensters meer geheugen nodig. De kleine modellen van Gemma 4 bieden een contextvenster van 128 KB, de hoeveelheid tekst die een model in één keer kan verwerken, en de grotere 256 KB.
Clouddiensten hebben deze planning niet nodig, en de grensmodellen die erachter schuilgaan, hebben nog steeds de leiding in de zwaarste tests.
Als je AI privé wilt gebruiken, raadde onze eigen recensie 'xPrivo aan met een zelfgehost lokaal model voor het dagelijkse opstellen dat je machine niet mag verlaten', en Kagi 'als je webherstel nodig hebt en de API-oproep-afweging accepteert.'
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer.
E-mailadres Word gratis lid Sluit u aan bij meer dan 72.000 lezers
Maak een account aan om uw artikelen op te slaan. Voeg toe op Google Voeg Decrypt toe als uw favoriete bron om meer van onze verhalen op Google te zien.
Volgens de analyse van Epoch AI van 29 mei liggen de modellen met een open gewicht sinds januari 2026 gemiddeld vier maanden achter op de beste gesloten modellen.
Ollama en LM Studio zijn gratis, kleine modellen hebben ongeveer 8 GB VRAM of Mac Unified Memory nodig, en LM Studio kan volledig offline werken.
De grootste open modellen, zoals Alibaba's Qwen 3.8-Max met 2,4 biljoen parameters, gaan veel verder dan consumentenhardware, en gesloten modellen wonnen 24 van de 31 tests in Alibaba's eigen vergelijking.
Open-weight AI-modellen lopen nu gemiddeld slechts vier maanden achter op de beste gesloten modellen, en een groeiend aantal daarvan draait op hardware die je waarschijnlijk al bezit.
'Open-weight' betekent dat het bedrijf de gewichten publiceert, de bestanden die alles bevatten wat het model heeft geleerd, zodat iedereen ze kan downloaden en uitvoeren. Twee gratis programma's, Ollama en LM Studio, doen de rest, en de downloads van Gemma 4 in Ollama's bibliotheek variëren van ongeveer 4,6 GB tot 20 GB.
Met open modellen hoeft u geen $ 20 per maand te betalen voor een AI-abonnement of uw gesprekken naar de servers van iemand anders te sturen om een capabele chatbot te krijgen. In deze handleiding wordt uitgelegd hoe u AI-modellen rechtstreeks op uw computer kunt downloaden en uitvoeren, welke hardware u nodig heeft en hoe u aan de slag kunt gaan met gratis tools zoals Ollama en LM Studio.
Of u nu geld wilt besparen, uw gesprekken privé wilt houden of wilt experimenteren met AI-modellen die u zelf kunt aanpassen: het opzetten van een lokale AI-assistent kan eenvoudiger zijn dan u denkt.
Waarom een AI-model op uw eigen machine gebruiken? Een cloudchatbot stuurt elke prompt naar de servers van een bedrijf, en een rechtbank beval OpenAI om ChatGPT-logboeken te bewaren, inclusief verwijderde, zoals Decrypt rapporteerde in een recensie van op privacy gerichte AI-tools. Een lokaal model bewaart het gesprek op uw computer en niemand kan het zonder uw toestemming gebruiken.
Myriad: Welk bedrijf zal als volgende naar de beurs gaan? Klik om uw voorspelling te doen. De documentatie van LM Studio zegt dat de app "volledig offline kan werken, zorg er wel voor dat u eerst enkele modelbestanden ophaalt", en dat documenten die aan een chat zijn gekoppeld, ook volledig offline kunnen worden gebruikt.
Abonnementen op betaalde chatbots kosten ongeveer $ 20 per maand, terwijl de software hier gratis is. De kosten verschuiven naar hardware die u mogelijk al heeft.
Licenties bepalen wat u met gedownloade gewichten kunt doen. De R1-serie van DeepSeek valt onder de MIT-licentie en op de modelkaart staat dat de modellen "commercieel gebruik ondersteunen, eventuele aanpassingen en afgeleide werken toestaan", terwijl Gemma 4 van Google en gpt-oss van OpenAI worden geleverd onder Apache 2.0.
Als u modellen uitvoert op een open-sourcelicentie zoals Apache of MIT, bent u vrij om een model te gebruiken, aan te passen en te doen wat u maar wilt. Dit betekent dat gebruikers toegang hebben tot verbeterde en aangepaste versies van een specifiek model die beter aansluiten bij hun behoeften. Misschien heb je een model nodig dat goed is in de geneeskunde, dus het maakt je niet uit hoe goed het codeert. Dit personalisatieniveau is alleen beschikbaar in op maat gemaakte modellen.
Wat uw hardware daadwerkelijk kan uitvoeren Modellen worden qua parameters aangepast, de interne getallen worden tijdens de training aangepast en de download groeit ermee mee. Het model moet passen in het videogeheugen van je grafische kaart, bekend als VRAM, of in het uniforme geheugen van een Mac, dat de processor en de grafische chip delen.
Als algemene regel geldt dat je minimaal 8 GB VRAM nodig hebt, waar gecomprimeerd kleiner in past. Serieuze gebruikers zouden echter een gaming-GPU moeten kopen met 24 GB VRAM of meer, door GPU's op elkaar te stapelen of door specifieke AI-racks of machines met uniform geheugen te kopen, zoals de Mac Mini of de Nvidia DGX Spark.
Kwantisering verkleint een model door elk gewicht met minder bits op te slaan. In de documentatie van Hugging Face wordt beschreven dat het gewichten en activeringen weergeeft "met gegevenstypen met lage precisie, zoals 8-bit integer (int8) in plaats van de gebruikelijke 32-bit drijvende komma (float32)", waardoor het geheugengebruik wordt verminderd ten koste van enige nauwkeurigheid.
De systeemvereisten van LM Studio adviseren 16 GB of meer RAM op Apple Silicon Macs met macOS 14 of nieuwer, hoewel Macs van 8 GB kleinere modellen aankunnen. Op Windows wordt minimaal 16 GB RAM en 4 GB speciaal VRAM aanbevolen, met ondersteuning voor AVX2-processors, en Intel-gebaseerde Macs worden niet ondersteund.
De bibliotheek van Ollama vermeldt de Gemma 4 26B van 16 tot 19 GB en de 31B-versie van 19 tot 20 GB. OpenAI's gpt-oss-20b heeft slechts 16 GB geheugen nodig, en gpt-oss-120b werkt volgens OpenAI binnen 80 GB.
Hoe Ollama en LM Studio in te stellenLM Studio is waarschijnlijk de beste keuze omdat het een mooi gepolijste grafische gebruikersinterface biedt. Ollama daarentegen is gericht op ontwikkelaars en meer ervaren gebruikers die liever in een terminal (CLI) werken.
Voor LM Studio downloadt u het installatieprogramma voor uw besturingssysteem vanaf lmstudio.ai, zoekt u naar een model in de app, downloadt u de gewichten en opent u een chat. De app zoekt naar Hugging Face, de publieke hub waar open modellen worden gepubliceerd.
Voor Ollama-, macOS- en Linux-gebruikers installeren ze met de opdracht curl -fsSL https://ollama.com/install.sh | sh en Windows-gebruikers voeren irm https://ollama.com/install.ps1 | uit iex in PowerShell, beide vermeld op de downloadpagina van Ollama.
Als u ollama pull gemma4:e2b typt, downloadt u een model en ollama run gemma4:e2b opent een chat en /bye sluit af, volgens de snelstart van Ollama. Het programma opent ook een lokale API op http://localhost:11434, zodat andere apps op uw computer het model kunnen gebruiken.
Modelnamen die eindigen op ':cloud', zoals gemma4:cloud, zijn cloudmodellen die in de cloud van Ollama draaien en niet hoeven te worden gedownload. Sla deze dus over als het om privacy gaat. Dat gezegd hebbende, is dit een goede tweede optie voor degenen die krachtigere modellen nodig hebben: de oproepen en prompts die via de API worden afgehandeld, worden niet opgeslagen op de servers van de providers en worden niet gebruikt om modellen te trainen.
De Multi-Token Prediction-drafters van Google voor Gemma 4, beschikbaar op Ollama onder Apache 2.0, versnellen het genereren tot drie keer met behulp van speculatieve decodering, waarbij een klein model verschillende tokens vooruit voorstelt en het grote model ze samen controleert.
Google zei dat "als het doelmodel het eens is met het concept, het de hele reeks in één enkele doorgang accepteert", en het doelmodel voegt in diezelfde doorgang een eigen extra token toe.
Lokale modellen krijgen zoekopdrachten op internet en toegang tot bestanden via MCP-servers, een afkorting van Model Context Protocol, en LM Studio heeft ondersteuning toegevoegd in versie 0.3.17, volgens de Decrypt-handleiding.
Waar lokale modellen nog steeds verliezen van de cloudHet viermaands gemiddelde beschrijft de meest capabele open modellen, en de grootste zijn ver voorbij de consumentenhardware. Alibaba's Qwen3.8-Max heeft in totaal 2,4 biljoen parameters, waarvan er op elk moment 95 miljard actief zijn, vergeleken met de 80 GB geheugen waarin gpt-oss-120b draait.
Wanneer een model uit VRAM naar systeem-RAM stroomt, kunnen de reacties een stuk langzamer zijn en hebben grotere contextvensters meer geheugen nodig. De kleine modellen van Gemma 4 bieden een contextvenster van 128 KB, de hoeveelheid tekst die een model in één keer kan verwerken, en de grotere 256 KB.
Clouddiensten hebben deze planning niet nodig, en de grensmodellen die erachter schuilgaan, hebben nog steeds de leiding in de zwaarste tests.
Als je AI privé wilt gebruiken, raadde onze eigen recensie 'xPrivo aan met een zelfgehost lokaal model voor het dagelijkse opstellen dat je machine niet mag verlaten', en Kagi 'als je webherstel nodig hebt en de API-oproep-afweging accepteert.'
Dagelijkse debriefing NieuwsbriefBegin elke dag met de belangrijkste nieuwsverhalen van dit moment, plus originele artikelen, een podcast, video's en meer.
E-mailadres Word gratis lid Sluit u aan bij meer dan 72.000 lezers
Maak een account aan om uw artikelen op te slaan. Voeg toe op Google Voeg Decrypt toe als uw favoriete bron om meer van onze verhalen op Google te zien.