Zo gebruik je AI zonder dat je data je computer verlaat

Overzicht

Voor alle advocaten, accountants, HR-managers, IM’s met klantdata. Als jij AI niet gebruikt omdat je niet weet waar je data naartoe gaat: wat kan er lokaal? En hoe gebruik je cloud AI om tools te bouwen die je computer nooit meer verlaten?
Regelmatig plaatsen we een blog waar we dieper ingaan op een onderwerp binnen AI. Geen saaie opsomming maar praktische inzichten van AdoptAI die het zo compleet mogelijk heeft verpakt tot een hapklaar pakketje zodat je direct aan de slag kunt.

Je hebt een contract dat je wilt laten samenvatten. Je opent Claude. En dan stop je. Want: waar gaat dit naartoe? Mag dit? En je IT-afdeling heeft gezegd: niet doen.
Het is de meest gestelde vraag die we krijgen bij AdoptAI. En het antwoord is genuanceerder dan je denkt. Want ja, er zijn risico's. Maar nee, het is niet zo simpel als "alles is onveilig" of "betalen lost alles op." En er is een tussenweg die de meeste mensen nog niet kennen.

In deze blog pakt AdoptAI het hele verhaal aan. Van wat er technisch met je data gebeurt tot het zelf draaien van AI op je laptop. Met een conclusie waar we extra tijd voor hebben genomen, omdat we vonden dat het te belangrijk was om over te slaan.

Wat gebeurt er echt met je data?

Even de basis. Want de meeste mensen hebben de juiste intuïtie ("dit voelt spannend") maar kunnen niet precies uitleggen waarom.

Als je iets typt in ChatGPT, Claude of Copilot, gaat die tekst naar een server. Meestal in de VS. Jouw laptop is een thin client: een dun apparaat dat zo snel mogelijk verbinding maakt met een datacenter ergens anders, waar de echte rekenkracht zit. Dat datacenter staat niet bij jou thuis. Het staat ergens in de buurt van Zeewolde en het staat de hele dag te loeien.

Wat er met je data gebeurt hangt af van drie dingen:

Betaal je of niet? Bij de gratis versie van ChatGPT mag OpenAI je data gebruiken om modellen te trainen. Bij de betaalde versie niet (mits je het uitzet, het is een opt-out). Claude traint niet op je input bij betaalde versies. Copilot hangt af van je tenant-configuratie.

Wordt het gelogd? Zelfs als er niet op getraind wordt, wordt je input vaak wel opgeslagen. Niet per se versleuteld. Dat betekent dat bij een datalek, bij een juridisch verzoek, of bij een beleidswijziging van het bedrijf, die data er nog is.

Wie kan erbij? Jouw account bevat inmiddels maanden aan gesprekken plus een memory die alles over je weet. OpenAI lanceerde vorige week Advanced Security voor persoonlijke ChatGPT-accounts. Dat doen ze niet voor niets.

AdoptAI’s samenvatting: de intuïtie klopt. Niet omdat je buurman meeleest. Maar omdat er meer data over je verzameld wordt dan ooit, de analyseerbaarheid door AI exponentieel toeneemt, en het aantal datalekken door AI-aanvallen alleen maar gaat groeien.

Waarom lokale AI?

Privacy is de voor de hand liggende reden, maar het is niet de enige.

Kosten. Cloud AI kost geld per vraag. Lokale AI kost geld per laptop. Als je een multipurpose machine hebt (werk, gaming, video) en veel AI gebruikt, kan lokaal goedkoper uitpakken.

Energie. Je hebt controle over waar je stroom vandaan komt. Lokale AI kan van je zonnepanelen komen. En de kleine modellen gebruiken sowieso minder dan de grote cloud-modellen.

Weerbaarheid. Als je glasvezel wordt doorgeknipt of de dienst een storing heeft, werkt lokale AI gewoon door. Je bent niet afhankelijk van een verbinding.

Compliance. Voor veel organisaties (zorg, juridisch, overheid) mag data simpelweg niet naar externe servers. Lokale AI lost dat op. Niet automatisch ("je installeert het niet zomaar op een bedrijfslaptop"), maar het maakt meer mogelijk.

Autonomie. Prijzen gaan omhoog. Providers kunnen beleid wijzigen. Lokale AI is van jou.

Maar AdoptAI is ook eerlijk over de keerzijde. Als iedereen superkrachtige AI lokaal draait, verliest de maatschappij een stuk grip. Geen moderatie, geen vangrails. Een tiener met problemen die praat met een lokale AI waar niemand op kan ingrijpen. Het moet een mix worden.

Wat lokale AI kan (en wat niet)

Dit is het stuk waar je eerlijk over moet zijn, want anders koop je een dure laptop en ben je teleurgesteld.

Wat wél kan: e-mailtriage, samenvattingen schrijven, spel- en grammaticacontrole, sparren over een gesprek, teksten redigeren, documenten scannen (OCR), korte verhalen schrijven, foto's analyseren. "Bijna alles wat GPT-4 kon", zegt Wietse. Maar dan trager en met minder kennis.

Wat niet kan: complexe research, grote documenten doorzoeken (needle in a haystack), feitelijke vragen betrouwbaar beantwoorden, geavanceerde code schrijven, multimodale taken op hoog niveau. De lokale modellen zijn "babygarnalen": klein, gesnoeid, met weinig feitenkennis.

"Taalmodellen zijn geen databases." Zet je oude ChatGPT-antennes weer aan.

Wat je nodig hebt

Modellen. Er zijn vier grote open-source families: Gemma (Google), GPT-OSS (OpenAI), Qwen (Alibaba) en Mistral (Europa). AdoptAI’s go-to: Gemma 4 31B in een 4-bit quant. Die is goed in Nederlands en schrijft redelijk.

Even over die termen. Parameters zijn een maat voor hoe slim het model is. Meer parameters = groter = krachtiger = duurder om te draaien. De quant is een vorm van compressie: hoe lager het getal, hoe kleiner het model, hoe minder slim, maar hoe beter het past op je laptop. Een 4-bit quant is een goed compromis.

Hardware. Hier wordt het serieus. Het draait om VRAM (geheugen). Zonder genoeg VRAM past het model niet of loopt je laptop vast.
AdoptAI's advies: als je toch een nieuwe laptop koopt, zorg voor meer RAM dan je denkt nodig te hebben. 32 of 64 GB. Als de baas betaalt: 128 GB.

Software. LM Studio is de aanrader. Gratis, beschikbaar voor Mac en Windows, met een soort "app store" voor modellen. Alternatieven: Ollama, Jan, Osaurus. Op smartphone: Locally AI (iOS) of Google AI Edge Gallery (Android).

Change management en draagvlak creëren

Change management is cruciaal om AI succesvol te integreren in een KMO. AI-implementatie verandert processen, taken en soms zelfs de cultuur. Zonder goed beheer van deze veranderingen ontstaat weerstand bij medewerkers, wat de adoptie ernstig vertraagt.

Het creëren van draagvlak is daarom essentieel. Dit begint met transparante communicatie over wat AI betekent voor de organisatie en de individuele medewerker. Door medewerkers te betrekken bij het traject en hun zorgen serieus te nemen, ontstaat er meer vertrouwen en bereidheid om met AI te werken.

Effectief change management omvat ook training, coaching en het vieren van kleine successen. Zo wordt AI niet gezien als een bedreiging, maar als een hulpmiddel dat het werk vergemakkelijkt en de organisatie versterkt. Het inzetten op een gestructureerde aanpak maakt het verschil bij de implementatie.

LM Studio opzetten

1. Download LM Studio via lmstudio.ai
2. Open de app. Ga naar modellen. Er staat nog niks.
3. Zoek op "Gemma 4" (of "GPT-OSS" als je tool calling wilt)
4. Let op: kies de MLX-versie als je een Mac hebt, GGUF voor Windows/Linu
5. Download het model (Gemma 4 31B is ~18 GB)
6. Laad het model in. LM Studio waarschuwt als je te weinig geheugen hebt.
7. Begin met een klein contextwindow (4.000 tokens is prima om te testen)
8. Stel je eerste vraag. Je bent nu offline aan het chatten.

⚠️ Over contextwindows. Het model neemt ruimte in je geheugen in. De rest is beschikbaar voor context (hoe veel tekst het tegelijk kan verwerken). Op een laptop met 24 GB RAM en een 18 GB model houd je niet veel over. Een A4'tje aan tekst lukt. Een boek niet.

💡 Meerdere modellen installeren. Gemma schrijft goed Nederlands. GPT-OSS is beter in tool calling (informatie ophalen). Het zijn collega's met verschillende specialisaties. Wissel naar behoefte.

Het hallucinatieprobleem oplossen: grounding

LM Studio ondersteunt MCP's (koppelingen naar de buitenwereld). Eén daarvan is DuckDuckGo. Als je die activeert, kan je lokale model zoeken op internet wanneer het feitelijke informatie nodig heeft. Het model draait nog steeds op je laptop. Alleen de zoekopdracht gaat even de deur uit, via DuckDuckGo, niet via Google of OpenAI.
Het resultaat: je lokale model geeft nu correcte antwoorden.

Dit is de hybride in het klein. Lokaal waar het kan, een klein beetje internet waar het moet.

De grote conclusie: cloud AI om te bouwen, lokale AI om te draaien

Dit is waar we extra tijd voor hebben genomen, omdat we vonden dat het te belangrijk was om over te slaan.
Het probleem met lokale AI is dat de modellen niet goed genoeg zijn om zelf software te bouwen. Claude, Codex, ChatGPT: die zijn daar wél goed in. Maar je wilt je gevoelige data niet naar die diensten sturen.

De oplossing: gebruik cloud AI om tooling te bouwen die daarna lokaal draait.

Hoe werkt dat? LM Studio heeft een developer mode. Als je die aanzet, maakt je lokale model zich beschikbaar als een endpoint: een toegangspunt waar andere apps op je laptop mee kunnen praten.

Vervolgens ga je naar Claude Code of Codex en vraag je: "Bouw een app die tekst kan redigeren via mijn lokale LM Studio endpoint." Cloud AI bouwt de app. De app roept daarna alleen nog je lokale model aan. Geen cloud meer nodig.

Wat AdoptAI hiermee bouwde

Een tekst-redigeerder voor Word. Een macOS-app die in je menubalk zit. Je selecteert tekst in Word (of elke andere app), drukt op een toetsencombinatie, en de tekst wordt geredigeerd door je lokale Gemma-model. Offline. In je tent in het bos.

Een document-scanner (OCR). Een app die een hele map met gescande gedichten omzet naar selecteerbare tekst. Gebouwd door Codex, draait op een lokaal Gemma-model dat goed is in beeldherkenning. Die app kan je jarenlang blijven gebruiken zonder ooit nog internet nodig te hebben.

Het patroon is steeds hetzelfde:
1. Zet LM Studio in developer mode en laad een model
2. Ga naar Claude Code of Codex (online)
3. Vertel wat je wilt bouwen en verwijs naar je lokale endpoint
4. Cloud AI bouwt de app
5. Zet je internet uit. De app werkt door.

"Je gebruikt een grote intelligentie om het gereedschap te bouwen. Vanaf de rest van de week ga je dat gereedschap lokaal gebruiken."

Dit is volgens ons de meest onderschatte mogelijkheid van dit moment. Je leest er weinig over. Maar het combineert het beste van twee werelden: de bouwkracht van cloud AI met de privacy van lokale AI.

Veelgestelde vragen

Ik werk in de zorg. Kan ik lokale AI gebruiken voor patiëntgesprekken?
Spraak naar tekst (transcriptie) is lokaal opgelost. Samenvatten ook. Voor een basisschool die rapportgesprekken wil transcriberen en samenvatten zonder cloud AI is dit nu technisch mogelijk. Het is vroeg en niet gebruiksvriendelijk, maar het kan. Vraag je softwareleverancier ernaar.

Kan ik niet gewoon Copilot gebruiken? Die belooft toch alles binnen de tenant te houden?
Dat hangt volledig af van je risico-assessment. Hoe afhankelijk wil je zijn van een Amerikaanse partij? Wat als je glasvezel eruit ligt? Wat als het beleid wijzigt? Het zijn dezelfde vragen als bij elk cloud-vraagstuk, maar dan on steroids, omdat je organisatie steeds meer op AI gaat leunen.

Wordt dit niet veel beter over een jaar?
Ja. De modellen worden krachtiger zonder groter te worden. De hardware wordt goedkoper. De apps worden gebruiksvriendelijker. Wietse vergelijkt het met de eerste elektrische auto's: je staat in de garage naar een prototype te kijken. Maar het lijntje naar boven kun je nu al tekenen.

Moet ik nu al een dure laptop kopen?
Niet per se. Als je toch in de markt bent: kies meer RAM dan je denkt nodig te hebben. Maar je kunt ook op je huidige laptop experimenteren met kleinere modellen. En op je smartphone kan het ook al, zij het beperkter.

Hoe weet ik welk model bij mijn laptop past?
Vraag het aan Claude of ChatGPT. Beschrijf je laptop (hoeveel RAM, welke chip) en vraag welk model past. Er is ook een Hugging Face MCP die automatisch modellen selecteert op basis van je hardware.

Samengevat: wat ga je nu doen?

Als je nieuwsgierig bent: Download LM Studio. Installeer Gemma 4 (of het meest gelikete model als je niet wilt kiezen). Zet je wifi uit. Stel een vraag. Voel hoe warm je laptop wordt. Dat is AI die op jouw machine draait.

Als je al met lokale AI speelt: Zet LM Studio in developer mode. Ga naar Claude Code of Codex en laat een simpele app bouwen die je lokale endpoint gebruikt. Een tekst-redigeerder, een samenvatter, een OCR-tool. Zet je internet uit. De app werkt door. Dat is de hybride.

Als je hier strategisch over nadenkt: Houd rekening met een scenario waarin lokale modellen over anderhalf jaar zo goed zijn als de cloud-modellen van nu. Wat betekent dat voor je beleid, je inkoop, je afhankelijkheden? Je hoeft nu niet alles om te gooien. Maar je kunt nu al beginnen met de vraag: wat hoeft eigenlijk niet naar de cloud?

Het gaat erom dat je ongeveer 30% meekrijgt en daarna gaat experimenteren. Het is vroeg. Het rammelt. Maar het is niet meer niets. En over een jaar is dit verhaal een stuk indrukwekkender.