# Lokale Vision-Modellen Draaien voor Beeldanalyse [Naar de inhoud](#lm-inhoud)Netwerk/NL[EN](/en/)[Hubhub.llmnet.nlModellen vergelijken op taak, taal, kosten en licentie.](https://hub.llmnet.nl/)[Communitycommunity.llmnet.nlPrompttechnieken, patronen en systeemprompts.](https://community.llmnet.nl/)[APIapi.llmnet.nlLLM's robuust in software: rate limits, routing, structured output.](https://api.llmnet.nl/)[Consultancyconsultancy.llmnet.nlAI invoeren in een organisatie, van pilot tot productie.](https://consultancy.llmnet.nl/)[Nieuwsnieuws.llmnet.nlOntwikkelingen in AI, geduid voor Nederland.](https://nieuws.llmnet.nl/)[Benchmarkbenchmark.llmnet.nlZelf meten wat AI-kwaliteit is, voor jouw taken.](https://benchmark.llmnet.nl/)[Vacaturesvacatures.llmnet.nlAI-rollen, salarissen en carrièrepaden in Nederland.](https://vacatures.llmnet.nl/)[Lerenleren.llmnet.nlAI-concepten in gewoon Nederlands, van beginner tot bouwer.](https://leren.llmnet.nl/)[Gidsgids.llmnet.nlAI privé draaien op eigen Mac, pc, NAS of thuisserver.](https://gids.llmnet.nl/)[Directorydirectory.llmnet.nlHet AI-ecosysteem in kaart: tools, modellen, bedrijven.](https://directory.llmnet.nl/)[Radarradar.llmnet.nlSignalen uit X, onderzoek en communities voor indie developers.](https://radar.llmnet.nl/)[Appsapps.llmnet.nlReviews van AI-apps en open-source repo's, met tips voor wie zelf bouwt.](https://apps.llmnet.nl/)[llmnet.nl — hoofdsite](https://llmnet.nl/)[](https://x.com/intent/post?url=https%3A%2F%2Fgids.llmnet.nl%2Flokale-vision-modellen-draaien-voor-beeldanalyse&text=Lokale%20Vision-Modellen%20Draaien%20voor%20Beeldanalyse)[](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Fgids.llmnet.nl%2Flokale-vision-modellen-draaien-voor-beeldanalyse)[](https://www.reddit.com/submit?url=https%3A%2F%2Fgids.llmnet.nl%2Flokale-vision-modellen-draaien-voor-beeldanalyse&title=Lokale%20Vision-Modellen%20Draaien%20voor%20Beeldanalyse)[](#)[](https://x.com/intent/post?url=https%3A%2F%2Fgids.llmnet.nl%2Flokale-vision-modellen-draaien-voor-beeldanalyse&text=Lokale%20Vision-Modellen%20Draaien%20voor%20Beeldanalyse)[](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Fgids.llmnet.nl%2Flokale-vision-modellen-draaien-voor-beeldanalyse)[](https://www.reddit.com/submit?url=https%3A%2F%2Fgids.llmnet.nl%2Flokale-vision-modellen-draaien-voor-beeldanalyse&title=Lokale%20Vision-Modellen%20Draaien%20voor%20Beeldanalyse)[](#) # Lokale Vision-Modellen Draaien voor Beeldanalyse Door Ivo Donker — samengesteld met AI-ondersteuning (Claude & Gemini) Hardware-richtlijn voor deze gids: Voor compacte vision-modellen (7B tot 11B parameters, 4-bit kwantisatie) is een GPU met minimaal 8 GB tot 12 GB VRAM of een Mac met minstens 16 GB unified memory aan te bevelen. Zeer lichte edge-modellen (circa 2B parameters) functioneren al vanaf 4 GB VRAM. Binnen het stappenplan van lokale AI — van het selecteren van basiscomponenten tot geavanceerde automatisering — valt visuele verwerking onder de pijler toepassingen en modaliteiten. Zodra tekstgebaseerde modellen soepel functioneren, ontstaat in veel organisaties direct de behoefte om documentstromen te digitaliseren. Belangrijke informatie bevindt zich immers zelden in zuivere platte tekst, maar zit opgeslagen in gescande PDF-bestanden, handgeschreven notities, grafieken, diagrammen, screenshots en facturen. Het zelf hosten van visuele modellen brengt specifieke infrastructurele vraagstukken met zich mee rond geheugenreservering, afbeeldingsresoluties en contextbeheer. Wie de onderliggende werkplek nog moet inrichten, vindt in de gids over [hardware voor lokale LLM's](https://gids.llmnet.nl/hardware-voor-lokale-llm) een grondige vergelijking van videokaarten, geheugenbandbreedte en systeemconfiguraties. Visuele taalmodellen (Vision-Language Models of VLM's) overbruggen de kloof tussen computervisie en natuurlijke taalverwerking. In plaats van enkel een label toe te kennen aan een afbeelding, combineren ze een visuele encoder met een decoderend autoregressief taalmodel. Hierdoor kunnen ze direct redeneren over visuele relaties, complexe documentstructuren ontleden en vragen over afbeeldingen beantwoorden. Een conceptuele verkenning van deze verschuiving is te vinden in de analyse over [waarom multimodale modellen de volgende stap zijn](https://nieuws.llmnet.nl/multimodale-modellen). ## De architectuur van een lokaal vision-model Een lokaal vision-language model is opgebouwd uit drie fundamentele bouwstenen: de visuele encoder, de projectielaag en het autoregressieve taalmodel. De visuele encoder (veelal een Vision Transformer zoals ViT of een SigLIP-netwerk) splitst een ingevoerde afbeelding op in een tweedimensionaal raster van kleine beeldfragmenten, zogeheten patches (vaak 14x14 of 16x16 pixels). Elk van deze patches wordt via lineaire projecties en aandachtsmechanismen omgezet in een continue numerieke vector. Vervolgens vertaalt de projectielaag (zoals een meerlaagse perceptron of een cross-attention bridge) deze visuele vectoren naar de inbeddingsruimte van het taalmodel. Het taalmodel behandelt deze getransformeerde beeldvectoren exact op dezelfde wijze als reguliere teksttokens. Wanneer we een afbeelding van 1024x1024 pixels invoeren, levert dit honderden tot duizenden visuele tokens op. Deze tokens vullen onmiddellijk een aanzienlijk deel van het contextvenster voordat de gebruiker zelfs maar een vraag heeft gesteld. Bij het toepassen van kwantisatietechnieken op VLM's worden de gewichten van het taalmodel en de projectielagen gecomprimeerd naar bijvoorbeeld 4-bit of 8-bit precisie. Meer over de technische werking van gewichtscompressie en bit-reducties lees je in het overzichtsartikel over [kwantisatie en GGUF-bestandsformaten](https://gids.llmnet.nl/kwantisatie-uitgelegd). In de meeste lokale architecturen blijft de visuele encoder zelf overigens draaien in 16-bit precisie (FP16 of BF16), omdat compressie van de encoder direct leidt tot verlies van fijnmazige details in kleine letters en complexe lijnpatronen. ## Hardware-eisen en VRAM-berekening voor beeldanalyse De berekening van het benodigde videogeheugen voor een vision-model wijkt fundamenteel af van een traditioneel tekstmodel. Naast de statische opslag van de modelgewichten in VRAM moet er rekening worden gehouden met drie dynamische factoren: het basisgeheugen van de vision encoder, het geheugen voor de patches en de KV-cache voor de resulterende reeks visuele tokens. Modelarchitectuur | Parameters | Formaat / Kwantisatie | Minimaal VRAM (Inferentie) | Optimale Gebruikstoepassing | Moondream2 | 1.86B | GGUF Q8_0 / FP16 | 3,5 GB | Snelle categorisatie, basislabels, edge-apparaten | MiniCPM-V 2.6 | 8B | GGUF Q4_K_M / Int4 | 6,5 GB | Dense document-OCR, tabellen, meertalige scans | Qwen2-VL-Instruct | 7B | GGUF Q4_K_M / AWQ | 7,5 GB | Hoge resolutie beelden, objectdetectie, schema's | Llama-3.2-Vision | 11B | GGUF Q4_K_M | 9,5 GB | Complexe redeneringen, grafieken, diagrammen | Qwen2-VL-Instruct | 72B | GGUF Q4_K_M | 44,0 GB | Zeer complexe technische tekeningen, enterprise OCR | Moderne modellen hanteren dynamische resolutietechnieken. In plaats van een document rigide te verkleinen naar een vast formaat (waarbij kleine lettertypes onleesbaar worden), snijden architecturen zoals Qwen2-VL en MiniCPM-V grote afbeeldingen op in meerdere deelsegmenten of tegels. Een A4-document dat gescand is op 300 DPI resulteert al snel in vier tot negen afzonderlijke tegels, plus één verkleinde totaalafbeelding voor de globale context. Hierdoor kan een enkele pagina tussen de 2000 en 6000 contexttokens opeisen. Wie meerdere pagina's tegelijk wil analyseren, ziet de KV-cache exponentieel groeien. Een ruime marge bovenop het basisgewicht van het model is dan ook noodzakelijk om runtime out-of-memory (OOM) fouten tijdens de verwerking te voorkomen. ## Installatie en configuratie via Ollama Voor individuele werkplekken en snelle lokale integraties biedt Ollama de meest laagdrempelige route om met vision-modellen te werken. De software bundelt de gewichten van het taalmodel, de vision encoder en de bijbehorende projectielaag in één enkel manifestbestand. Het downloaden en opstarten verloopt daardoor via vertrouwde commando's. # Download en start het 8B MiniCPM-V model ollama run minicpm-v # Of kies voor Llama 3.2 Vision met 11 miljard parameters ollama run llama3.2-vision:11b Voor een directe interactie via de commandline kan een lokaal afbeeldingspad simpelweg worden toegevoegd aan het invoercommando. De runtime leest het bestand, verwerkt de binaire data en stuurt de geëxtraheerde vectoren direct door naar de inferentieketen: ollama run minicpm-v "Wat zijn de belangrijkste posten op deze factuur? /pad/naar/factuur.png" In ontwikkelomgevingen en geautomatiseerde workflows verloopt de communicatie via de ingebouwde REST API. Hierbij wordt de afbeelding omgezet naar een base64-string en verzonden binnen de JSON-structuur naar het chat-eindpunt: curl http://localhost:11434/api/chat -d '{ "model": "minicpm-v", "messages": [ { "role": "user", "content": "Beschrijf de meetwaarden in dit screenshot:", "images": ["iVBORw0KGgoAAAANSUhEUgAAAAEAAAABCAQAAAC1HAwCAAAAC0lEQVR42mNk+A8AAQUBAScY44YAAAAASUVORK5CYII="] } ], "stream": false }' Deze eenvoudige interface maakt het mogelijk om vision-functionaliteit snel te integreren in lokale scripts, interne dashboards en bestandsmonitors zonder ingewikkelde afhankelijkheden. ## Productie-opstellingen met vLLM Wanneer grote batches documenten moeten worden verwerkt of wanneer meerdere gebruikers gelijktijdig verzoeken indienen, bereikt een sequentiële engine zijn grenzen. In productieomgevingen biedt een gespecialiseerde inferentieserver zoals vLLM aanzienlijke voordelen door het toepassen van PagedAttention en continue dynamische batching. # Start een OpenAI-compatibele vLLM server met een vision-model vllm serve Qwen/Qwen2-VL-7B-Instruct \ --trust-remote-code \ --max-model-len 8192 \ --gpu-memory-utilization 0.90 \ --limit-mm-per-prompt image=4 De configuratieoptie --limit-mm-per-prompt image=4 reserveert geheugenslots zodat een enkele prompt maximaal vier afbeeldingen tegelijk mag bevatten. Dit is met name waardevol voor taken waarbij voor-en-na situaties worden vergeleken, of waarbij een contract van meerdere pagina's in één context moet worden beoordeeld. Doordat de server een OpenAI-compatibele API nabootst, kunnen bestaande applicaties, libraries en orkestratielagen direct overschakelen naar de lokale server door uitsluitend de basis-URL en de modelsleutel aan te passen. Dit maakt een naadloze overgang van commerciële cloud-API's naar interne hosting mogelijk. ## Gestructureerde data extraheren via JSON-schema's De belangrijkste zakelijke toepassing van lokale vision-modellen is het omzetten van ongestructureerde visuele documenten — zoals vrachtbrieven, identiteitsbewijzen, inspectierapporten en kassabonnen — naar gevalideerde JSON-objecten. Zonder sturing produceren vision-modellen vaak omslachtige tekstuele toelichtingen die lastig betrouwbaar te parsen zijn in backend-systemen. Door formele grammatica's en JSON-schema's af te dwingen, kan de modeluitvoer strikt worden ingekaderd. Technische details over het instellen van restrictieve outputfilters worden uitgebreid behandeld in de handleiding over [gestructureerde JSON outputs bij lokale LLM's](https://gids.llmnet.nl/structured-outputs-lokale-llm). Onderstaand Python-voorbeeld demonstreert hoe een documentafbeelding lokaal wordt geanalyseerd en via Pydantic direct wordt gevalideerd tegen een strikt datamodel: import base64 import json import urllib.request from pydantic import BaseModel, Field class FactuurRegel(BaseModel): omschrijving: str aantal: int bedrag_excl_btw: float class FactuurData(BaseModel): leverancier: str factuurnummer: str regels: list[FactuurRegel] totaalbedrag: float def analyseer_document(afbeelding_pad: str) -> FactuurData: with open(afbeelding_pad, "rb") as f: afbeelding_base64 = base64.b64encode(f.read()).decode("utf-8") payload = { "model": "minicpm-v", "messages": [ { "role": "user", "content": "Extraheer alle gegevens van deze factuur exact volgens het schema.", "images": [afbeelding_base64] } ], "format": FactuurData.model_json_schema(), "stream": False } req = urllib.request.Request( "http://localhost:11434/api/chat", data=json.dumps(payload).encode("utf-8"), headers={"Content-Type": "application/json"} ) with urllib.request.urlopen(req) as resp: resultaat = json.loads(resp.read().decode("utf-8")) gevalideerd = FactuurData.model_validate_json(resultaat["message"]["content"]) return gevalideerd ## Prestaties op Nederlandstalige documenten Veel gangbare open-weight vision-modellen zijn primair getraind op grote Engelstalige en Aziatische datasets. Bij het verwerken van specifieke Nederlandse documenten vraagt dit extra aandacht. Denk aan juridische documenten met typisch Nederlands jargon, notariële aktes, documenten met samengestelde woorden of afkortingen zoals 't.a.v.', 'i.o.m.', 'KVK' en 'BSN'. Oudere multimodale architecturen hebben de neiging om vage of onduidelijke Nederlandse tekst automatisch te 'corrigeren' naar fonetisch lijkende Engelse woorden. Moderne meertalige modellen zoals Qwen2-VL en MiniCPM-V 2.6 presteren op dit vlak aanzienlijk consistenter. Ze behouden de exacte letterlijke transcriptie en herkennen ook Nederlandse datumformaten (zoals '14 augustus 2026') en getalnotaties waarbij komma's en punten voor decimalen en duizendtallen worden omgedraaid. Om de nauwkeurigheid bij complexe Nederlandse teksten verder te optimaliseren, helpt het om de systeemprompt en de instructies zorgvuldig in te richten. Zie het artikel over [AI beter laten presteren in het Nederlands](https://gids.llmnet.nl/beter-nederlands) voor praktische strategieën rond prompting, terminologie en stijlconsistentie. ## Privacy, compliance en de AVG bij visuele verwerking Visuele data brengt aanzienlijk grotere compliance- en privacyrisico's met zich mee dan reguliere tekstbestanden. Een scan of foto bevat vaak onbedoeld gevoelige neveninformatie, zoals pasfoto's (biometrische gegevens conform AVG artikel 9), handgeschreven handtekeningen, burgerservicenummers, barcodes of toevallig vastgelegde persoonsgegevens op de achtergrond. Wanneer zulke beelden worden verzonden naar externe clouddiensten, passeren ze netwerkgrenzen en worden ze tijdelijk opgeslagen op systemen van derden. Dit compliceert het naleven van privacywetgeving en vereist uitgebreide verwerkersovereenkomsten. Door de modellen lokaal binnen de eigen infrastructuur te draaien, blijft de volledige datastroom binnen het eigen netwerk. Om te waarborgen dat de verwerking voldoet aan alle wettelijke normen, is het raadzaam om de stappen te doorlopen in de [AVG privacy-checklist voor organisaties](https://gids.llmnet.nl/avg-privacy-checklist). Daarin staat beschreven hoe tijdelijke afbeeldingscaches in RAM moeten worden gewist, hoe logbestanden worden geanonimiseerd en hoe bewaartermijnen strikt worden gehandhaafd. ## Beperkingen, faalmodi en optimalisaties Ondanks de indrukwekkende mogelijkheden van moderne vision-modellen moeten ontwikkelaars rekening houden met een aantal specifieke faalmechanismen tijdens het ontwerpen van geautomatiseerde verwerkingsstraten: Hallucinaties bij kleine lettergroottes: Zodra tekens op een afbeelding minder dan 12 tot 14 pixels hoog zijn, kan de vision encoder de visuele kenmerken niet meer eenduidig onderscheiden. Het model begint dan statistisch te gokken, wat gevaarlijk is bij cijferreeksen zoals rekeningnummers of bedragen. Optimalisatie: Snijd documenten vooraf op in logische zones (cropping) of verhoog de scanresolutie naar 300 DPI alvorens het bestand aan te bieden. Gekantelde of geroteerde afbeeldingen: Veel modellen hebben moeite met tekst die 90 of 180 graden gedraaid is, of met documenten die onder een schuine hoek zijn gefotografeerd. Optimalisatie: Bouw een lichte preprocessing-stap in met een computer vision bibliotheek (zoals OpenCV) om oriëntatie en rotatie automatisch te corrigeren (deskewing) op basis van documentranden of EXIF-metadata. Tokenverzadiging door overmatige resoluties: Het ongefilterd doorsturen van ruwe 4K-foto's naar een model leidt tot enorme contextgroottes en trage reactietijden, zonder dat dit extra informatieve waarde oplevert. Optimalisatie: Schaal beelden vóór verwerking terug naar de effectieve resolutiegrens van het model (bijvoorbeeld 1024x1024 of 1344x1344 pixels) om de verwerkingssnelheid hoog en het VRAM-gebruik voorspelbaar te houden. ## Implementatiestrategie Het zelf draaien van vision-modellen biedt organisaties en ontwikkelaars een krachtig instrument om documentprocessen, kwaliteitscontroles en data-extractie volledig binnenshuis te automatiseren. De stap van tekst naar beeld vraagt om een doordachte afweging tussen resolutie, contexttokens en beschikbaar videogeheugen, maar vereist dankzij moderne kwantisatietechnieken geen onbetaalbare datacenter-infrastructuur meer. De meest solide aanpak bestaat uit een stapsgewijze uitrol: begin met een compact model binnen Ollama om de herkenningskwaliteit op representatieve documenten te evalueren. Zodra de extractieresultaten aan de nauwkeurigheidseisen voldoen, kan de pipeline worden uitgebreid met formele JSON-schema's voor betrouwbare backend-koppeling. Voor schaalbare bulkverwerking vormt een overstap naar vLLM vervolgens het logische sluitstuk van een performante, privacyvriendelijke architectuur.