Jan AI installeren en lokaal configureren op Windows

Binnen de route van kiezen → installeren → gebruiken → koppelen → beheren bevindt dit artikel zich direct bij de installatie- en configuratiefase op Windows-systemen. Voordat we de interface inrichten, is het raadzaam om eerst te controleren welke hardware nodig is voor lokale LLM's zodat het werkgeheugen en de grafische kaart goed aansluiten bij de gewenste modelgrootte. Daarnaast biedt de algemene Windows-installatiegids een breder overzicht van architecturen en alternatieve runtimes op dit besturingssysteem.

Jan AI is een opensource desktopapplicatie die de functionaliteit van cloudgebaseerde AI-chatbots nabootst, maar alle berekeningen en opslag lokaal uitvoert. Wie zoekt naar een overzicht van vergelijkbare programma's vindt in het overzicht van lokale LLM-tools een directe vergelijking tussen Jan, LM Studio en desktopclients rondom Ollama.

1. Architectuur en werking van Jan AI op Windows

Jan AI combineert een moderne desktopinterface met een modulaire C++ backend. Onder de motorkap maakt de applicatie gebruik van een geoptimaliseerde inference engine die gebouwd is op basis van llama.cpp. Hierdoor kan het programma GGUF-bestanden direct inlezen en berekeningen routeren naar CPU-instructiesets of grafische API's zoals Nvidia CUDA en Khronos Vulkan.

Wanneer de lokale API-server wordt ingeschakeld, start Jan een achtergrondproces dat fungeert als een OpenAI-compatibele proxy. Alle gespreksgeschiedenis, modelconfiguraties en prompts worden gestructureerd opgeslagen als platte JSON-bestanden en Markdown in de gebruikersmap van Windows. Er is geen zware externe database-engine vereist, waardoor het back-uppen of verplaatsen van sessies neerkomt op eenvoudig bestandsbeheer.

2. Systeemeisen en hardwareversnelling instellen

De reactiesnelheid van lokale modellen hangt direct af van hoe de grafische adapter wordt aangesproken. De software ondersteunt twee belangrijke versnellingspaden op Windows:

Voor systemen met een Nvidia GPU is de CUDA-backend de meest efficiënte keuze. Voor systemen met AMD Radeon-kaarten of Intel-videokaarten levert de applicatie een Vulkan-runtime mee. Hoewel Vulkan een fractie meer CPU-overhead kent bij het verwerken van lange prompts, maakt het hardwareversnelling mogelijk op een breed scala aan grafische hardware onder Windows.

3. Installatiestappen via installer en Windows Package Manager

De applicatie kan handmatig worden gedownload of geautomatiseerd worden geïnstalleerd met behulp van de Windows Package Manager (winget). Het gebruik van winget maakt consistent beheer en updates via PowerShell mogelijk.

# Installatie via Windows Package Manager
winget install Jan.Jan

# Controleren of het pakket geregistreerd staat
winget list Jan.Jan

Bij een handmatige installatie voert men het installatieprogramma uit en selecteert men het gewenste installatiepad. Mocht Windows Defender SmartScreen een melding geven bij een nieuw uitgebracht installatiebestand, controleer dan de SHA256-hash van het bestand tegen de officiële controlesom van de bron voordat de installatie wordt voortgezet.

4. Modellen downloaden, kwantisatie kiezen en importeren

In de ingebouwde modelbibliotheek kunnen modellen direct worden geselecteerd in het GGUF-formaat. Om te begrijpen hoe compressie ervoor zorgt dat modellen binnen het beschikbare videogeheugen passen, legt het overzicht over kwantisatie uit hoe 4-bit en 8-bit formaten het geheugengebruik verlagen met behoud van tekstkwaliteit.

Voor gangbare consumentenhardware zijn modellen uit bekende open families zoals Llama, Mistral en Qwen geschikt voor uiteenlopende taken van algemene tekstanalyse tot programmeren. Reeds gedownloade GGUF-bestanden kunnen ook handmatig worden geïmporteerd via de lokale mappenstructuur:

# Standaardlocatie voor modellen in de gebruikersmap
%USERPROFILE%\jan\models\

# Voorbeeld van de mappenstructuur per model:
# C:\Users\<gebruiker>\jan\models\aangepast-model\
#   ├── model.gguf
#   └── model.json

In het configuratiebestand model.json worden parameters zoals de contextgrootte en de structuur van de instructie-template vastgelegd, zodat de backend de invoer correct formatteert.

5. Runtime-configuratie: GPU-lagen en contextlengte optimaliseren

Om maximale rekensnelheid te behalen, moeten zoveel mogelijk modellagen naar het videogeheugen van de GPU worden verplaatst (GPU-offloading). In de instellingen kan worden geschakeld tussen CPU, Vulkan en CUDA.

Bij actieve GPU-versnelling kan het aantal lagen dat naar de grafische kaart wordt gestuurd nauwkeurig worden ingesteld via de schuifregelaar voor GPU-lagen. Past het model volledig in het videogeheugen, dan worden alle lagen toegewezen aan de GPU. Is het geheugen ontoereikend, dan kan een deel van de lagen worden verplaatst naar het systeemgeheugen via de CPU.

Het contextvenster bepaalt hoeveel tokens aan eerdere context en documenttekst tegelijk kunnen worden verwerkt. Raadpleeg de handleiding voor contextlengte optimaliseren om te voorkomen dat een te ruim ingestelde contextbuffer leidt tot geheugenfouten. Binnen Jan kan de configuratie per model worden aangepast:

{
  "sources": [
    {
      "filename": "model.gguf"
    }
  ],
  "id": "lokaal-model",
  "object": "model",
  "name": "Lokaal Instructiemodel",
  "format": "gguf",
  "settings": {
    "ctx_len": 8192,
    "ngl": 33,
    "temperature": 0.7,
    "top_p": 0.95,
    "stream": true
  },
  "parameters": {
    "max_tokens": 4096
  }
}

6. Lokale API-server activeren en integreren met Windows-apps

De applicatie bevat een lokale HTTP-server die compatibel is met de OpenAI-endpoints. Hierdoor kan Jan fungeren als lokale engine voor editors zoals VS Code, notitie-applicaties of automatiseringsscripts.

Na het inschakelen van de server in de instellingen luistert deze standaard op poort 1337 van de localhost. De werking kan eenvoudig worden gecontroleerd via PowerShell:

# Lokale API testen via PowerShell
curl.exe -X POST http://127.0.0.1:1337/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "lokaal-model",
    "messages": [
      {"role": "system", "content": "Je bent een behulpzame assistent."},
      {"role": "user", "content": "Wat is het voordeel van een lokaal model?"}
    ],
    "temperature": 0.7
  }'

7. Privacy, telemetrie en dataveiligheid op Windows

Het voornaamste motief om taalmodellen op een eigen Windows-pc te draaien is het waarborgen van gegevensprivacy. Wie gevoelige bedrijfsinformatie, broncode of privégegevens verwerkt, kan via de gids voor privacyvriendelijke AI nagaan welke maatregelen helpen om de gegevensstromen volledig lokaal te houden.

Tijdens het genereren van antwoorden verlaten gegevens de lokale machine niet. Wel kan een desktopapplicatie opties bevatten voor geanonimiseerde crashrapportages. Om een geïsoleerde werkomgeving in te richten, zijn de volgende stappen aan te raden:

1. Open de privacy-instellingen binnen het programma en schakel optionele telemetrie en automatische crashrapportages uit.
2. Zorg in Windows Defender Firewall dat de lokale API-poort uitsluitend luistert op de loopback-adapter (127.0.0.1) en geen inkomende verbindingen vanaf externe netwerken accepteert.
3. Alle conversatiedata en modelinstellingen blijven bewaard in de lokale gebruikersmap en worden niet gesynchroniseerd naar clouddiensten.

8. Beperkingen en prestatieafwegingen in de praktijk

Hoewel een grafische desktopinterface de drempel om lokaal te starten aanzienlijk verlaagt, brengt het ook enkele functionele afwegingen met zich mee ten opzichte van puur command-line beheer via tools als llama.cpp of Ollama:

Een grafische gebruikersinterface verbruikt continu wat extra werkgeheugen voor het renderen van vensters en interactieve elementen. Daarnaast zijn geavanceerde parameters voor bemonstering en caching vaak toegankelijker in speciale server-omgevingen dan in een vereenvoudigde consumenteninterface. Voor puur interactief chatten en basale lokale API-koppelingen biedt de desktopopzet echter het meeste bedieningsgemak.

9. Probleemoplossing bij veelvoorkomende Windows-fouten

Tijdens het inrichten of laden van modellen kunnen specifieke fouten optreden. Hieronder staan de meest voorkomende situaties en herstelstappen:

Model laadt niet of sluit direct af met een geheugenfout

Wanneer een model crasht zodra het geladen wordt, is het aantal toegewezen GPU-lagen meestal te hoog voor het beschikbare videogeheugen. Verlaag in de instellingen van het model het aantal GPU-lagen stapsgewijs totdat het model stabiel in het geheugen past, of kies een compactere contextlengte.

Ontbrekende C++ runtime-bibliotheken

De onderliggende C++ inferentiemodule vereist de aanwezigheid van de Microsoft Visual C++ Redistributable bibliotheken. Mochten er foutmeldingen verschijnen over ontbrekende DLL-bestanden, installeer dan het actuele runtime-pakket:

# Visual C++ runtimes installeren via winget
winget install Microsoft.VCRedist.2015+.x64

Geen GPU-activiteit tijdens generatie

Wanneer de reactietijd erg traag is en de processor zwaar wordt belast terwijl de grafische kaart inactief blijft, staat de hardwareversnelling vermoedelijk op CPU-modus ingesteld of ontbreekt de juiste driverondersteuning. Controleer of het juiste versnellingspad (CUDA of Vulkan) actief staat in de runtime-instellingen en herstart het programma.

Conclusie en vervolgstappen

Jan AI biedt een toegankelijke, privacygerichte manier om open taalmodellen lokaal op een Windows-systeem te draaien. Door de flexibele ondersteuning van zowel CUDA als Vulkan kan bestaande hardware optimaal worden benut voor tekstverwerking en analyse. Zodra de basisinstallatie operationeel is, kan de lokale REST-API eenvoudig worden gekoppeld aan externe productiviteitsapplicaties en ontwikkeltools binnen de eigen werkomgeving.