Ollama installeren en je eerste lokale model draaien op macOS

Gepubliceerd in de Lokale LLM-gids • Geen externe cloud vereist

Het lokaal draaien van Large Language Models (LLM's) biedt volledige privacy, werkt zonder internetverbinding en geeft je directe controle over open-source modellen. Met Ollama is dit op macOS verrassend eenvoudig geworden. Deze gids leidt je stap voor stap door het installatieproces en toont hoe je direct via de terminal communiceert met je eigen lokale model.

Verken ook onze centrale LLM Hub voor een overzicht van de nieuwste ontwikkelingen en hardware-architecturen.

Hardware-eisen en Systeemvereisten

Voordat je begint, is het belangrijk om te controleren of je Mac geschikt is voor het lokaal draaien van taalmodellen. Omdat modellen volledig in het geheugen (RAM of Unified Memory) gelden, is geheugencapaciteit de belangrijkste bottleneck:

Apple Silicon (M1, M2, M3, M4): Sterk aanbevolen. De geïntegreerde GPU deelt het geheugen (unified memory) wat zorgt voor uitstekende prestaties.
Geheugen (RAM): Voor kleinere modellen van 7B tot 8B parameters (zoals Llama 3 of Mistral in 4-bit/8-bit quantisatie) heb je minimaal 8 GB RAM nodig; 16 GB of meer wordt sterk aanbevolen voor een soepele werking.
Intel Macs: Ondersteund, maar presteren doorgaans aanzienlijk trager tenzij er een dedicated grafische kaart aanwezig is.

Stap 1: Ollama downloaden en installeren

Ollama levert een kant-en-klare applicatie voor macOS die op de achtergrond als service draait en een lokale API opzet.

Ga naar de officiële website van Ollama (ollama.com) en download de macOS-installer.
Open het gedownloade archief en sleep de Ollama-applicatie naar je Programma's (Applications) map.
Start de applicatie vanuit je Programma's. Je ziet tijdelijk een klein lama-icoontje verschijnen in de menubalk bovenin je scherm, wat aangeeft dat de service actief is.

Stap 2: Verifiëren via de Terminal

Om te controleren of Ollama correct functioneert en of de opdrachtregel-tool toegankelijk is, open je de standaard Terminal app (of iTerm2) op je Mac.

Typ het volgende commando om de geïnstalleerde versie te controleren:

ollama --version

Tip: Als de terminal meldt dat het commando niet wordt herkend, zorg er dan voor dat je de Ollama-app minimaal één keer hebt gestart en dat de CLI-symlinks correct zijn ingesteld via de instellingen van de app.

Stap 3: Je eerste model downloaden en starten

Ollama maakt het mogelijk om met een enkele opdracht een open-source model op te halen en direct een interactieve chatsessie te starten. We gebruiken hier als voorbeeld Llama 3.

Voer het volgende commando in je terminal in:

ollama run llama3

De terminal zal het model automatisch downloaden (dit kan afhankelijk van je internetverbinding even duren, aangezien het model enkele gigabytes groot is). Zodra het downloaden is voltooid, verandert je prompt en kun je direct beginnen met chatten:

>>> Schrijf een korte begroeting in het Nederlands.
Hallo! Hoe kan ik je vandaag van dienst zijn?

Handige Terminal Commando's

Tijdens het werken met Ollama kun je de volgende commando's gebruiken:

/bye of Ctrl + D: Sluit de actieve chatsessie af.
/show info: Toont technische details over het actieve model.
ollama list: Toont een overzicht van alle modellen die lokaal op je Mac zijn opgeslagen.
ollama rm [modelnaam]: Verwijdert een lokaal model om schijfruimte vrij te maken.