AI op je eigen server: open modellen voor gevoelige bedrijfsdata

Wat lokale AI je oplevert

• Je data blijft binnen: documenten, klantgegevens en mails worden verwerkt op een server in de EU die van jou is. Er gaat niets naar een externe AI-leverancier.
• Voorspelbare kosten: je betaalt voor de server, niet per vraag of per woord. Meer gebruik betekent geen hogere rekening van een AI-leverancier.
• Niet afhankelijk van één leverancier: veel open modellen hebben een ruime licentie, zoals Apache 2.0 of MIT. Prijs- of voorwaardewijzigingen van een cloudleverancier raken je niet.
• Een eerlijk beeld van de kwaliteit: een lokaal model is niet voor elke taak even goed als het grootste cloudmodel. Daarom test ik eerst op jouw eigen voorbeelden, en kiezen we per taak.

Wat je met lokale AI koppelt

• Gevoelige documenten samenvatten en indelen
• Klantvragen of tickets voorsorteren
• Een kennisbank-AI op je eigen documenten
• Embeddings maken voor zoeken op betekenis
• Een terugvalroute als een cloudmodel niet beschikbaar is

Hoe de koppeling werkt

Ollama draait het model op een server in de EU die van jou is. In n8n roept de Ollama-node dat model aan, net als een cloudmodel. Moeten veel mensen of processen tegelijk een model gebruiken, dan kan een modelserver zoals vLLM het overnemen; die biedt een OpenAI-compatibele API. Voor zware taken kan een cloudmodel bijspringen via dezelfde gateway, zodat jij per taak kiest wat lokaal blijft.

Welke modellen draaien lokaal

Een selectie uit de officiële Ollama-bibliotheek. De groottes zijn de varianten die daar beschikbaar zijn; welke past, hangt af van de taak en de hardware.

Model	Van	Groottes in Ollama	Licentie
Qwen3	Alibaba (Qwen)	0.6B tot 235B	Apache 2.0 (o.a. Qwen3-8B)
Llama 3.3	Meta	70B	Llama 3.3 Community License
Llama 3.1 / 3.2	Meta	1B tot 405B	Zie de licentie van Meta per versie
Gemma 3	Google	270M tot 27B	Gemma-gebruiksvoorwaarden
Phi-4	Microsoft	14B	MIT
gpt-oss	OpenAI	20B en 120B	Apache 2.0
DeepSeek-R1	DeepSeek	1.5B tot 671B	MIT (afgeleide versies volgen hun basismodel)
Mistral	Mistral AI	7B	Apache 2.0
Granite	IBM	2B tot 30B	Apache 2.0

Feiten over de API van lokale AI

Gecontroleerd op 2 november 2026 tegen de officiële documentatie. Limieten, prijzen en versies veranderen; de bron staat per regel erbij.

Feit	Wat de documentatie zegt	Bron
Authenticatie	Lokaal geen. Ollama luistert standaard alleen op 127.0.0.1:11434; toegang van buiten loopt via een proxy met een token of wachtwoord.	Ollama: FAQ
Limieten	Geen limiet. De capaciteit stel je in met het aantal parallelle aanvragen (standaard 1) en een wachtrij van 512; is die vol, dan krijg je 503.	Ollama: FAQ
Versie	De API is niet strikt geversioneerd, maar bewust stabiel. Afschaffingen zijn zeldzaam en worden aangekondigd; het oude /api/embeddings is vervangen door /api/embed.	Ollama: API
Compatibiliteit	OpenAI-compatibele /v1-endpoints en een Anthropic-compatibel /v1/messages, zodat bestaande code en gateways werken.	Ollama: API
Kosten	Lokaal gratis (open source); je betaalt voor de server. De cloudvariant van Ollama heeft een eigen prijs.	Ollama: Cloud
n8n	Ingebouwde subnodes Ollama Chat Model, Ollama Model en Embeddings Ollama.	n8n-documentatie

Wat jij nodig hebt

• Een server in de EU met genoeg geheugen voor het gekozen model: een klein model draait op een gewone server, een groot model of veel gebruik vraagt een GPU
• Voorbeelden van echte taken om de kwaliteit vooraf te testen
• Een besluit wie het model mag gebruiken en via welke toegang
• Bij veel gelijktijdig gebruik: ruimte voor een modelserver zoals vLLM

Waar het vaak misgaat, en hoe ik dat voorkom

• Hardware: de grootte van het model bepaalt hoeveel geheugen en rekenkracht nodig is. Dat reken ik vooraf voor je uit.
• Kwaliteit: een klein lokaal model is niet voor elke taak goed genoeg. Ik test het op jouw voorbeelden voordat het live gaat.
• Beheer: een lokaal model moet worden bijgewerkt en bewaakt, net als elke andere dienst.
• Snelheid: zonder geschikte hardware is een lokaal model traag. Taken die geen haast hebben, lopen dan in de nacht.

Uit de praktijk

Holos33, mijn eigen app, gebruikt de Qwen-familie via een eigen, modelonafhankelijke gateway. Een ander model aansluiten is daar een configuratiekeuze, geen herbouw.

Wat het kost

Een proces met lokale AI bouw ik als één afgebakend proces voor een vaste prijs, vanaf €750. Onderhoud en bewaking zijn een maandbedrag: n8n-beheer vanaf €250 per maand, serverbeheer €145 per server. De server zelf huur of koop je; ik reken vooraf uit wat nodig is. Alle prijzen en wat erin zit →

Wat ik niet doe

• Ik zet een lokaal model niet open op internet zonder toegangscontrole.
• Ik beloof geen cloudkwaliteit van een klein lokaal model; ik test eerst op jouw voorbeelden.
• Hardware koop of huur je zelf; ik reken vooraf uit wat nodig is.

Veelgestelde vragen over lokale AI koppelen

Wat is het verschil met ChatGPT?

ChatGPT draait bij OpenAI. Een lokaal model draait op je eigen server; je gegevens blijven daar. Voor veel bedrijfstaken is een goed gekozen open model ruim voldoende.

Welke modellen kunnen lokaal draaien?

Onder meer de Qwen-familie, Llama van Meta en Mistral, via Ollama. Welke past, hangt af van de taak en de hardware.

Heb ik een eigen GPU nodig?

Niet altijd. Kleine modellen draaien op een gewone server; voor grotere modellen of veel gebruik is een GPU-server verstandig.

Hoeveel vragen tegelijk kan een lokaal model aan?

Standaard verwerkt Ollama één aanvraag tegelijk en zet hij de rest in een wachtrij van 512. Voor meer gelijktijdigheid stel ik dat hoger in of zet ik een modelserver zoals vLLM in, afhankelijk van de hardware.

Kan ik later overstappen op een ander model?

Ja. Ollama biedt OpenAI-compatibele endpoints en n8n praat via een gateway; een ander model is dan een instelling, geen herbouw. Zo werkt het ook in Holos33.