# GPU Passthrough Configureren in Proxmox voor LLM's [Naar de inhoud](#lm-inhoud)Netwerk/NL[EN](/en/)[Hubhub.llmnet.nlModellen vergelijken op taak, taal, kosten en licentie.](https://hub.llmnet.nl/)[Communitycommunity.llmnet.nlPrompttechnieken, patronen en systeemprompts.](https://community.llmnet.nl/)[APIapi.llmnet.nlLLM's robuust in software: rate limits, routing, structured output.](https://api.llmnet.nl/)[Consultancyconsultancy.llmnet.nlAI invoeren in een organisatie, van pilot tot productie.](https://consultancy.llmnet.nl/)[Nieuwsnieuws.llmnet.nlOntwikkelingen in AI, geduid voor Nederland.](https://nieuws.llmnet.nl/)[Benchmarkbenchmark.llmnet.nlZelf meten wat AI-kwaliteit is, voor jouw taken.](https://benchmark.llmnet.nl/)[Vacaturesvacatures.llmnet.nlAI-rollen, salarissen en carrièrepaden in Nederland.](https://vacatures.llmnet.nl/)[Lerenleren.llmnet.nlAI-concepten in gewoon Nederlands, van beginner tot bouwer.](https://leren.llmnet.nl/)[Gidsgids.llmnet.nlAI privé draaien op eigen Mac, pc, NAS of thuisserver.](https://gids.llmnet.nl/)[Directorydirectory.llmnet.nlHet AI-ecosysteem in kaart: tools, modellen, bedrijven.](https://directory.llmnet.nl/)[Radarradar.llmnet.nlSignalen uit X, onderzoek en communities voor indie developers.](https://radar.llmnet.nl/)[llmnet.nl — hoofdsite](https://llmnet.nl/)[](https://x.com/intent/post?url=https%3A%2F%2Fgids.llmnet.nl%2Fllm-gpu-passthrough-proxmox&text=GPU%20Passthrough%20Configureren%20in%20Proxmox%20voor%20LLM%27s)[](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Fgids.llmnet.nl%2Fllm-gpu-passthrough-proxmox)[](https://www.reddit.com/submit?url=https%3A%2F%2Fgids.llmnet.nl%2Fllm-gpu-passthrough-proxmox&title=GPU%20Passthrough%20Configureren%20in%20Proxmox%20voor%20LLM%27s)[](#)[](https://x.com/intent/post?url=https%3A%2F%2Fgids.llmnet.nl%2Fllm-gpu-passthrough-proxmox&text=GPU%20Passthrough%20Configureren%20in%20Proxmox%20voor%20LLM%27s)[](https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Fgids.llmnet.nl%2Fllm-gpu-passthrough-proxmox)[](https://www.reddit.com/submit?url=https%3A%2F%2Fgids.llmnet.nl%2Fllm-gpu-passthrough-proxmox&title=GPU%20Passthrough%20Configureren%20in%20Proxmox%20voor%20LLM%27s)[](#) # GPU Passthrough Configureren in Proxmox VE voor LLM's Door Ivo Donker — samengesteld met AI-ondersteuning (Claude & Gemini) Routepositie: Dit artikel bevindt zich in de fase beheren en serveren binnen de gids-route. Voordat je begint met virtualisatie op de host, is het raadzaam om de basisafwegingen te doorlopen die worden beschreven in de handleiding over [welke hardware je nodig hebt om LLM's lokaal te draaien](https://gids.llmnet.nl/hardware-voor-lokale-llm). Geteste hardware-ondergrens: Deze handleiding is geverifieerd op een Proxmox VE 8.2 host met een AMD Ryzen 9 7950X CPU, 128GB DDR5 ECC RAM en een NVIDIA RTX 4090 (24GB VRAM) gekoppeld aan een Ubuntu Server 24.04 virtuele machine via VFIO passthrough. ## Inleiding tot Virtualisatie van AI-hardware Wanneer je een lokale AI-infrastructuur opzet binnen een virtuele omgeving, loop je al snel tegen de beperkingen aan van hypervisor-abstractie. Standaard deelt Proxmox VE de rekenkracht van de grafische kaart niet rechtstreeks met virtuele machines (VM's). Om de maximale inferentiesnelheid te behalen voor grote taalmodellen, is directe hardwaretoegang noodzakelijk. Dit proces, bekend als PCIe Passthrough of VFIO (Virtual Function I/O), zorgt ervoor dat een virtuele machine exclusieve controle krijgt over de fysieke GPU. Het correct instellen van deze functionaliteit vereist diepgaande configuratie van de onderliggende Linux-kernel, de BIOS/UEFI instellingen van het moederbord en de specifieke parameters van de virtuele machine. Hoewel dit complexer is dan een installatie op een dedicated besturingssysteem, biedt het enorme voordelen op het gebied van resource-isolatie en serverbeheer. Wie dieper wil begrijpen hoe de rekenmodellen intern gegevens verwerken tijdens deze processen, kan de theoretische achtergrond nalezen over [het attention-mechanisme in AI begrijpelijk uitgelegd](https://leren.llmnet.nl/attention-uitgelegd). Een belangrijk zwak punt van deze architectuur is de inflexibiliteit. Zodra een GPU via passthrough aan één specifieke VM wordt toegewezen, kan de Proxmox-host deze kaart niet meer gebruiken voor andere containers of GUI-taken. Dit betekent dat je zorgvuldig moet plannen welke workloads op de host draaien en welke resources gereserveerd blijven voor de inferentiemachine. Bovendien vereist het opzetten van een stabiele productieserver vaak dat je latere stappen zoals [vLLM configureren voor hoge doorvoer op Linux](https://gids.llmnet.nl/vllm-server-configureren) naadloos laat aansluiten op deze virtualisatielaag. ## Stap 1: IOMMU en BIOS-virtualisatie activeren De fundamentele technologie achter PCIe passthrough is IOMMU (Input-Output Memory Management Unit). Dit systeem stelt de kernel in staat om geheugenadressen van fysieke apparaten te mappen naar de virtuele adressen van een specifieke VM. Zonder een correct geconfigureerde IOMMU-groep is directe hardwaretoegang onmogelijk. Log in op het BIOS van je Proxmox-server tijdens het opstarten en zorg ervoor dat de volgende instellingen actief zijn: - Intel-systemen: Activeer Intel VT-d (Virtualization Technology for Directed I/O). - AMD-systemen: Activeer AMD-Vi (AMD IOMMU). - Algemeen: Zorg dat Above 4G Decoding en SR-IOV (indien ondersteund door het moederbord) zijn ingeschakeld. Nadat je deze instellingen in het moederbord hebt opgeslagen, moet je de Linux-kernel van Proxmox instrueren om IOMMU te initialiseren via de bootloader (GRUB of systemd-boot). Bewerk het configuratiebestand afhankelijk van het gebruikte opstartsysteem. Voor systemen met GRUB pas je /etc/default/grub aan en voeg je de juiste parameters toe aan de kernelregels. Een veelvoorkomend obstakel hierbij is dat bepaalde oudere BIOS-versies opties verbergen, waardoor een firmware-update noodzakelijk kan zijn voordat de IOMMU-functionaliteit feilloos reageert op de kernelparameters. ## Stap 2: Kernelparameters en VFIO-modules configureren Om te voorkomen dat de Proxmox-host zelf de grafische kaart in beslag neemt tijdens het opstarten, moeten we de GPU en de bijbehorende audio-controller isoleren met behulp van VFIO-drivers. Dit dwingt de host om de standaard open-source of propriëtaire drivers te negeren voor deze specifieke PCIe-adressen. Open de terminal van je Proxmox-host en voeg de benodigde kernelmodules toe aan /etc/modules: vfio vfio_iommu_type1 vfio_pci vfio_virqfd Identificeer vervolgens het Vendor ID en Device ID van je grafische kaart met behulp van het commando lspci -nnk. Noteer de ID's van zowel de GPU als de ingebouwde HDMI/DisplayPort audio-controller, aangezien deze vaak in dezelfde IOMMU-groep zijn gekoppeld. Maak een configuratiebestand aan in /etc/modprobe.d/vfio.conf en geef de ID's op: options vfio-pci ids=10de:2820,10de:22af Vergeet niet om na deze wijzigingen de initramfs te vernieuwen met het commando update-initramfs -u -k all en de server te herstarten. Een veelvoorkomend zwak punt in deze fase is dat gebruikers vergeten de audio-controller mee te nemen in de VFIO-configuratie, wat resulteert in IOMMU-conflicten en opstartfouten van de VM. ## Stap 3: IOMMU-groepen controleren en isolatie verifiëren Voordat je een virtuele machine configureert, is het cruciaal om te verifiëren of de GPU zich in een geïsoleerde IOMMU-groep bevindt. Als de GPU dezelfde IOMMU-groep deelt met essentiële moederbordcomponenten of de primaire netwerkkaart, kun je de GPU niet veilig doorgeven zonder de stabiliteit van de host in gevaar te brengen. Je kunt een bash-script uitvoeren om de IOMMU-groepen te inspecteren: #!/bin/bash for d in /sys/kernel/iommu_groups/*/devices/*; do n=${d#*/iommu_groups/*}; n=${n%%/*} printf 'IOMMU Group %s ' "$n" lspci -nns "${d##*/}" done Als uit deze uitvoer blijkt dat jouw grafische kaart een groep deelt met andere onmisbare apparaten, dien je in de BIOS te zoeken naar een andere PCIe-slotoptie. Vaak lost het verplaatsen van de videokaart naar het bovenste PCIe x16-slot direct isolatieproblemen op. Voor gedetailleerde stappen over het inrichten van een schone Linux-omgeving kun je de handleiding raadplegen over [lokale LLM's draaien op Linux](https://gids.llmnet.nl/lokale-llm-op-linux). ## Stap 4: De Virtuele Machine aanmaken en inrichten Nu de hostskant gereed is, kun je de virtuele machine aanmaken binnen Proxmox VE. Voor het draaien van zware taalmodellen verdient een op Linux gebaseerde gastomgeving (zoals Ubuntu Server of Debian) de voorkeur vanwege de efficiënte geheugenallocatie en brede ondersteuning voor AI-frameworks. Let bij het instellen van de hardware-eigenschappen van de VM op de volgende randvoorwaarden: - OS Type: Stel dit in op de juiste Linux-distributie. - BIOS: Kies voor OVMF (UEFI) in plaats van SeaBIOS, omdat moderne GPU's UEFI vereisen voor initialisatie. - Machine: Gebruik bij voorkeur het q35 chipset, aangezien dit moderne PCIe-topologieën beter ondersteunt dan de verouderde i440fx standaard. - CPU Cores: Wijs een realistische hoeveelheid vCPU's toe en zet de CPU-emulatie op host om instructiesets zoals AVX-512 direct door te geven. Zorg er tevens voor dat je voldoende virtueel RAM reserveert en vink bij het aanmaken van de harde schijf de optie voor Discard en SSD emulation aan om I/O-bottlenecks te minimaliseren. ## Stap 5: PCIe Device toevoegen aan de Proxmox VM Nadat de basis-VM is aangemaakt, kun je de grafische hardware fysiek koppelen via de Proxmox webinterface of via de configuratiebestanden in /etc/pve/qemu-server/[VM-ID].conf. Ga in de webinterface naar de betreffende VM, selecteer Hardware en klik op Add -> PCI Device. Selecteer hier je grafische kaart. Vink de volgende opties aan voor maximale compatibiliteit: - All Functions: Zorg dat zowel de GPU als de bijbehorende audio-chip tegelijk worden doorgegeven. - Primary GPU: Vink dit aan als dit de enige of de hoofd-GPU van de VM is (vereist voor consoles en directe output, al draaien de meeste LLM-servers headless). - PCI-Express: Activeer dit vinkje zodat de VM de PCIe-generatie correct herkent. Als je dit handmatig in het configuratiebestand wilt vastleggen, ziet de regel er doorgaans als volgt uit: hostpci0: 0000:01:00,pcie=1,x-vga=1 Een zwak punt van deze configuratie is dat bepaalde consumenten-GPU's (met name specifieke NVIDIA GeForce-kaarten) een 'Error 43' kunnen genereren onder Windows-VM's, of complex gedrag vertonen bij een herstart van de host. Onder Linux-VM's komt dit probleem aanzienlijk minder vaak voor, mits de hypervisor-signaturen in de VM-configuratie correct zijn verborgen. ## Stap 6: Drivers installeren en werking verifiëren in de VM Start de virtuele machine op en log in via SSH of de console. Nu de hardware fysiek zichtbaar is voor het gastbesturingssysteem, moeten de juiste stuurprogramma's en runtime-bibliotheken worden geïnstalleerd om de AI-modellen aan te sturen. Voor NVIDIA-hardware betekent dit het installeren van de officiële drivers en de CUDA-toolkit. Voer de volgende stappen uit op een Ubuntu-gast: sudo apt update && sudo apt upgrade -y sudo apt install build-essential nvidia-driver-550 nvidia-cuda-toolkit -y Na een herstart van de virtuele machine kun je verifiëren of de GPU correct door de kernel wordt herkend door het commando nvidia-smi uit te voeren. Dit moet een overzicht geven van je grafische kaart, het beschikbare VRAM en de actieve driverversie. Als dit commando faalt of aangeeft dat er geen NVIDIA-apparaten zijn gevonden, is de VFIO-koppeling op de host niet correct doorgegeven of blokkeert een conflict met open-source drivers (nouveau) de initialisatie. ## Stap 7: Energieverbruik en operationele kosten bewaken Het inzetten van een dedicated GPU binnen een virtuele omgeving brengt continue operationele kosten met zich mee. Omdat de grafische kaart in een passthrough-opstelling direct onder de fysieke spanning van de host blijft staan, draait het stroomverbruik op de achtergrond door, zelfs wanneer er geen actieve inferentietaken worden uitgevoerd. Het is daarom noodzakelijk om het energiegebruik nauwlettend in de gaten te houden om te voorkomen dat de energierekening onverwacht oploopt. Een uitgebreide analyse van de stroomkosten en praktische meetmethodes vind je in de gids over [wat het stroomverbruik van lokale AI kost](https://gids.llmnet.nl/stroomverbruik-lokale-ai). Reken bij doorlopend servergebruik op een aanzienlijke baseline aan wattage voor uitsluitend het in stand houden van de PCIe-verbinding en het koelsysteem. © 2026 llmnet.nl gids. Alle rechten voorbehouden. Vrij van externe tracking en scripts.