Naar de inhoud
NLEN
Illustratie: Lokale LLM's op Apple Silicon: unified memory, MLX en Ollama vergeleken

Lokale LLM's op Apple Silicon: unified memory, MLX en Ollama vergeleken

Door Ivo Donker — samengesteld met AI-ondersteuning · 7 augustus 2026

Op een Mac met Apple Silicon is de geheugenlogica voor lokale taalmodellen anders dan op een pc met losse videokaart: er is geen aparte VRAM-bank, de GPU deelt het werkgeheugen met de rest van het systeem. Deze gids legt uit wat unified memory voor je modelkeuze betekent, hoe je de drie gangbare routes (Ollama, MLX en LM Studio) vergelijkt en waar je op moet letten; gecontroleerd op 2026-08-07.

Binnen de pijler "Instap & installatie" van deze gids-canon neemt macOS een specifieke positie in. Waar traditionele systemen vereisen dat je de capaciteit van een grafische kaart afweegt tegen het systeemgeheugen, vereist de Mac een integrale kijk op het totale werkgeheugen. In de opbouw van je lokale AI-omgeving volgt dit artikel een gestructureerde route: route kiezen -> installeren -> gebruiken -> koppelen -> beheren/serveren. Als je de basisvoorwaarden van hardware nog niet kent, raadpleeg dan de hardware-ondergrens voor lokale LLM's om te bepalen welke fysieke specificaties nodig zijn voordat unified memory de VRAM-berekening vervangt. Voor wie meteen wil beginnen met de daadwerkelijke uitrol van Ollama op macOS, biedt de Ollama macOS-installatiegids de stapsgewijze instructies om de software op te zetten.

Uitgangspunt en hardware-ondergrens

De voorbeelden en geheugenberekeningen in dit artikel gaan uit van een Apple Silicon Mac (een M2, M3 of M4-generatie) uitgerust met minimaal 16 GB unified memory. Met deze opstelling kun je een taalmodel van 7 tot 8 miljard parameters in een 4-bit kwantisatie (Q4) stabiel en met voldoende contextruimte draaien. Voor het snel uitproberen van eenvoudige taken volstaat een M1-Mac met 8 GB werkgeheugen, mits je kiest voor een kleiner model van 3 tot 4 miljard parameters in Q4-formaat.

Bij het selecteren van een geschikte Mac-configuratie is het cruciaal om te begrijpen dat de minimale vereisten op macOS direct gekoppeld zijn aan wat het besturingssysteem zelf opneemt. Op een machine met 8 GB RAM blijft na aftrek van macOS en standaard desktoptoepassingen vaak slechts 4 tot 5 GB over voor de GPU en het geladen model. Een 16 GB configuratie biedt de nodige ademruimte om zowel het model, de KV-cache van het contextvenster als je dagelijkse applicaties zonder geheugendruk naast elkaar te laten draaien.

Unified memory: hoe de VRAM-redenering op macOS verandert

Op een traditionele x86-architectuur (Windows of Linux) bevindt het videogeheugen (VRAM) zich fysiek op de videokaart, gescheiden van het systeemgeheugen (RAM). De processor (CPU) en de grafische chip (GPU) moeten gegevens uitwisselen via de PCIe-bus, wat een duidelijke bottleneck vormt. Als een taalmodel niet volledig op de videokaart past, moet een deel van de berekeningen op de CPU plaatsvinden, met een drastische val in generatiesnelheid als gevolg.

Apple Silicon maakt gebruik van een unified memory-architectuur (UMA). Hierbij delen de CPU, de GPU en de Neural Engine één fysiek geheugenblok dat op dezelfde chip-package is geïntegreerd. Dit heeft directe gevolgen voor het draaien van lokale LLM's:

De onderstaande tabel geeft het verschil weer in geheugenopbouw tussen een conventionele pc en een Apple Silicon Mac:

Eigenschap Traditionele PC (Windows/Linux) Apple Silicon Mac (macOS)
Geheugenstructuur Gescheiden RAM (systeem) en VRAM (GPU) Gedeeld Unified Memory (CPU/GPU/Neural Engine)
Fysieke locatie VRAM Dedicated GDDR6/HBM op grafische kaart Geïntegreerd LPDDR-geheugen op de chip-package
Datatransport CPU-GPU Via PCIe-bus (beperkte bandbreedte) Interne bus met hoge bandbreedte op de SoC
Uitbreidbaarheid RAM en GPU zijn afzonderlijk te upgraden Niet uitbreidbaar; vastgesoldeerd bij productie
Grootste bottleneck Capaciteit van het dedicated VRAM op de videokaart Totale geheugenbandbreedte van de specifieke M-chip variant

Drie routes voor lokale LLM's op macOS vergeleken

Om een lokaal taalmodel op een Mac uit te voeren, bestaan er drie primaire routes. Elke route gebruikt de hardware op een eigen manier, heeft een specifieke installatievorm en kent duidelijke beperkingen.

1. Ollama (GGUF via llama.cpp en Metal)

Ollama is de meest toegankelijke methode om lokaal modellen te draaien op macOS. Onder de motorkap maakt Ollama gebruik van llama.cpp, een sterk geoptimaliseerde C/C++ inference engine die op macOS direct gebruikmaakt van Apple's Metal API voor hardwareversnelling.

Wanneer kiezen: Kies voor Ollama wanneer je snel wilt starten via de terminal, een op-en-top volwassen ecosysteem zoekt en het model via een lokale REST API wilt aanroepen voor integraties. Lees de instapgids voor Ollama op macOS voor een volledige beschrijving van de installatie en achtergronddienst op het systeem.

Modelformaat: Ollama gebruikt het GGUF-formaat. Dit formaat bundelt alle modelgewichten, metadata en kwantisatie-informatie in één enkel bestand, wat uitwisseling tussen Linux, Windows en macOS heel eenvoudig maakt.

Beperking: Ollama draait als een geabstraheerde achtergronddienst. Hoewel dit het gebruik vereenvoudigt, heb je minder directe controle over specifieke Metal-instellingen of laag-per-laag allocatie dan wanneer je rechtstreeks met de nieuwste ontwikkelversies van llama.cpp of MLX werkt.

2. MLX (Apple Silicon native framework)

MLX is een open-source framework dat door het AI-onderzoeksteam van Apple specifiek is ontwikkeld voor Apple Silicon. Het is ontworpen om de architectuur van de M-chips optimaal te benutten via Python-bindings die sterk lijken op PyTorch.

Wanneer kiezen: Kies voor MLX (via de Python-bibliotheek mlx-lm) wanneer je maximale generatiesnelheid wilt behalen op Apple Silicon, modellen wilt fine-tunen of eigen Python-scripts en pipelines bouwt.

Modelformaat: MLX vereist modellen die specifiek zijn geconverteerd naar het MLX-formaat. Een grote verzameling hiervan is beschikbaar op Hugging Face onder de organisatie mlx-community.

Beperking: Het ecosysteem is jonger en kleiner dan dat van GGUF/llama.cpp. Niet elk nieuw open-weight model is direct beschikbaar in MLX-formaat, en de tooling voor eenvoudige REST-servers is minder alomtegenwoordig dan bij Ollama.

Om MLX te gebruiken op de commandoregel voer je de onderstaande opdrachten uit in de terminal:

pip install mlx-lm
python -m mlx_lm.generate --model mlx-community/Llama-3.2-3B-Instruct-4bit --prompt "Vat de voordelen van unified memory samen in drie punten."

3. LM Studio (Grafische interface met Metal)

LM Studio is een desktopprogramma dat een volledige grafische schil biedt rondom de lokale uitvoering van modellen via Metal-versnelling. Het stelt gebruikers in staat om rechtstreeks vanuit de applicatie te zoeken naar GGUF-bestanden op Hugging Face, deze te downloaden en er een chatinterface mee te starten.

Wanneer kiezen: Kies voor LM Studio als je liever niet met de terminal werkt, visueel wilt experimenteren met parameters zoals temperatuur en system prompts, of een lokale OpenAI-compatibele API-server wilt starten vanuit een grafische omgeving.

Beperking: LM Studio is closed-source software. De broncode is niet inzichtelijk, en de applicatie gebruikt meer systeemgeheugen op de achtergrond dan een lichtgewicht commandoregel-tool zoals Ollama.

Als je LM Studio wilt inzetten op een dedicated Mac die zonder beeldscherm draait, raadpleeg dan de gids voor LM Studio als headless server voor instructies over het opzetten van een netwerkdienst.

Modelkeuze en geheugenbudgettering

Omdat het werkgeheugen op een Mac gedeeld wordt tussen het besturingssysteem, de geopende applicaties en het taalmodel, is een accurate geheugenberekening noodzakelijk. De hoeveelheid RAM in je Mac is de bepalende factor voor welk model je kunt draaien.

Een taalmodel heeft geheugen nodig voor twee hoofdcomponenten: de statische modelgewichten en de dynamische context-cache (KV-cache). Zie de toelichting over kwantisatie-technieken om te begrijpen hoe het verlagen van de precisie (van bijvoorbeeld 16-bit naar 4-bit) de bestandsgrootte van gewichten drastisch vermindert zonder veel kwaliteitsverlies.

Bij het bepalen van het benodigde werkgeheugen hanteren we de volgende vuistregels voor modellen in 4-bit kwantisatie (Q4):

Om te bepalen welke specifieke modelarchitectuur (zoals Llama, Mistral of Qwen) het beste past bij jouw beoogde taken, bekijk je de gids voor het kiezen van een lokaal model waarin de functionele verschillen tussen modelfamilies worden toegelicht.

Context en geheugenbeslag

Naast de geheugenruimte voor de modelgewichten moet je rekening houden met de dynamische geheugenbelasting van de context-cache (de Key-Value of KV-cache). Naarmate de invoertekst en de gegenereerde antwoorden langer worden, groeit de hoeveelheid geheugen die nodig is om de eerdere tokens te onthouden.

Op een Mac wordt dit geheugen direct onttrokken aan hetzelfde gedeelde werkgeheugen. Bij een contextvenster van 8.192 tokens bij een 8B model kost de KV-cache vaak minder dan 1 GB extra geheugen. Schaal je hetzelfde model op naar een contextvenster van 32.768 of 128.000 tokens, dan kan de KV-cache meerdere gigabytes extra aan RAM opeisen.

Raadpleeg de handleiding voor context-window optimalisatie om te leren hoe je de contextlengte in balans houdt met de beschikbare hardware-ruimte. Om de fundamentele werking van deze geheugenafdruk te begrijpen, bekijk je de achtergrondpagina over het contextvenster waarin de technische opbouw van de KV-cache nader wordt geanalyseerd.

Praktische installatiestappen met Ollama op macOS

Om te demonstreren hoe snel een lokaal model op een Mac operationeel is, volgt hier de samenvatting van de standaard uitrol via Ollama:

  1. Download het installatiebestand voor macOS vanaf de officiële Ollama-website of installeer de applicatie via Homebrew met het commando brew install --cask ollama.
  2. Start de Ollama-applicatie op. Hiermee wordt de achtergronddienst geïnitialiseerd en wordt de Metal-ondersteuning automatisch geconfigureerd voor jouw specifieke M-chip.
  3. Open de Terminal-app en haal het gewenste model op uit de bibliotheek met het commando: 
    ollama pull llama3.2
  4. Start een directe interactieve chatsessie in de terminal door het volgende commando in te voeren: 
    ollama run llama3.2

Na deze stappen draait het model volledig lokaal op je Mac en is de REST API op de achtergrond beschikbaar via http://localhost:11434 voor verdere integraties met andere software.

Nederlandstalige AI-taken testen op Apple Silicon

Bij het inzetten van lokale taalmodellen voor Nederlandstalige taken is de kwaliteit van het gekozen model doorslaggevend. Kleinere modellen (3B tot 8B) die voornamelijk zijn getraind op Engelstalige data vertonen in het Nederlands soms grammaticale fouten of Anglicismen.

Een praktische testvraag voor een lokaal geladen 8B-model op macOS kan er als volgt uitzien:

ollama run llama3.2 "Vat de onderstaande tekst samen in drie heldere opsommingstekens in het Nederlands: De uitrol van lokale taalmodellen op Apple Silicon maakt gebruik van unified memory. Hierdoor hoeven gewichten niet meer via trage PCIe-bussen te worden getransporteerd, maar heeft de GPU direct toegang tot het systeemgeheugen. Dit zorgt voor een efficiënte verwerking van tekst op compacte hardware."

Bij uitvoering op een M2 of M3 Mac met 16 GB RAM genereert de Metal-backend het antwoord vrijwel direct. Het model levert een samenvatting op zoals:

Om de kwaliteit van Nederlandstalige antwoorden verder te verhogen bij modellen die moeite hebben met de taalstructuur, raadpleeg je de gids voor betere Nederlandstalige AI-output waarin instructies en system prompt-technieken worden behandeld.

Documenten koppelen en RAG op de Mac

Een veelvoorkomende toepassing voor een lokaal draaiend taalmodel is Retrieval-Augmented Generation (RAG). Hierbij doorzoekt de Mac eerst een lokale verzameling documenten (zoals PDF's of tekstbestanden) via een embeddings-model, waarna de relevante tekstfragmenten naar het taalmodel worden gestuurd als context.

Omdat zowel het embeddings-model als het taalmodel op het gedeelde unified memory worden geladen, moet je rekening houden met de gecombineerde geheugenafdruk. Een lokaal embeddings-model (zoals bge-m3 of nomic-embed-text) vereist doorgaans 0,5 tot 1 GB extra RAM. Raadpleeg de gids voor lokale RAG op de Mac om je eigen documenten en bestanden veilig te koppelen aan een lokaal draaiend taalmodel op macOS.

Voor wie een uitgebreidere RAG-architectuur wil opzetten die losstaat van de specifieke macOS-snelstart, biedt het overzicht voor lokaal documenten doorzoeken aanvullende informatie over vector-databases en indexeringsstrategieën.

Zwakke punten en systeembeperkingen van macOS

Hoewel Apple Silicon een zeer efficiënt platform is voor het uitvoeren van lokale taalmodellen, kent het platform duidelijke beperkingen waar je vooraf rekening mee moet houden:

Gebruik de meetgids voor inferentiesnelheid om zelf het exacte aantal tokens per seconde op jouw specifieke Mac-configuratie te berekenen en de invloed van de geheugenbandbreedte objectief vast te stellen.

Privacy, veiligheid en energieverbruik

Het lokaal draaien van taalmodellen op een Mac biedt maximale privacy. Wanneer je gebruikmaakt van Ollama, MLX of LM Studio, worden alle berekeningen volledig lokaal op de M-chip uitgevoerd. Er worden geen tekstprompts, gegenereerde antwoorden of geüploade documenten naar externe servers of cloudleveranciers verzonden.

Het uitbreiden van je lokale AI-omgeving brengt specifieke privacyvraagstukken met zich mee. Raadpleeg de gids voor privacyvriendelijke AI voor een overzicht van beveiligingsinstellingen en het afschermen van datastromen op lokale systemen.

Wat betreft energieverbruik behoort Apple Silicon tot de meest efficiënte hardware op de markt. Een Mac Mini of MacBook Pro trekt onder volle AI-belasting (wanneer de CPU- en GPU-kernen maximaal worden ingezet) doorgaans slechts enkele tientallen watts aan vermogen uit het stopcontact. Dit staat in schril contrast met traditionele desktop-pc's met een dedicated videokaart, die onder belasting honderden watts verbruiken.

Voor een gedetailleerde analyse van de operationele kosten en de impact op de stroomrekening bij het continu laten draaien van een lokale server, bekijk je het artikel over stroomverbruik bij lokale AI waarin de verbruikscijfers per systeemprofiel op een rij worden gezet.

Conclusie en peildatum

Apple Silicon biedt met unified memory een zeer krachtige architectuur voor het lokaal uitvoeren van taalmodellen. Door het vervallen van de harde scheiding tussen RAM en VRAM kun je op een Mac relatief grote modellen draaien, mits je kiest voor de juiste route en een realistisch geheugenbudget opstelt. Ollama blijft de meest toegankelijke instap voor algemeen gebruik, terwijl MLX maximale prestaties biedt voor Python-ontwikkelaars en LM Studio een prettige grafische werkomgeving levert.

Dit artikel is gecontroleerd op 2026-08-07. De ontwikkeling van lokale AI-software op macOS vordert snel. Versies van Ollama, mlx-lm en LM Studio worden regelmatig bijgewerkt, waardoor prestaties en functionaliteiten kunnen wijzigen. Zie de genoemde controledatum daarom als de geldende peildatum voor de beschreven functies en softwareversies.