Marktmannen wiki Lokale AI & Privacy

Lokale AI en Privacy (AI Report)

Laatst bijgewerkt: 30-06-2026

TL;DR: Voor wie met gevoelige (klant)data werkt: kleine open-source modellen draaien lokaal voor "bijna alles wat GPT-4 kon", en het meest onderschatte patroon is — gebruik cloud-AI om gereedschap te bóuwen dat daarna volledig lokaal dráait.

Masterclass van AI Report (Wietse Hage), gericht op advocaten, accountants, HR, zzp'ers met klantdata. Antwoord op de meest gestelde vraag: "waar gaat mijn data naartoe, en mag dit?" Genuanceerder dan "alles is onveilig" of "betalen lost alles op".

Wat er echt met je data gebeurt

Je tekst gaat naar een server (meestal VS); je laptop is een thin client. Drie factoren bepalen het risico: - Betaal je? Gratis ChatGPT mag op je data trainen; betaald niet (opt-out). Claude traint niet op input bij betaalde versies. Copilot hangt af van je tenant. - Wordt het gelogd? Ook zonder training wordt input vaak opgeslagen, niet per se versleuteld — bij een datalek, juridisch verzoek of beleidswijziging staat het er nog. - Wie kan erbij? Je account bevat maanden gesprekken plus een memory die alles weet.

De intuïtie ("dit voelt spannend") klopt: er wordt meer data over je verzameld dan ooit, de analyseerbaarheid groeit exponentieel, en AI-aanvallen/datalekken nemen toe.

Waarom lokaal (meer dan privacy)

Privacy, kosten (per laptop i.p.v. per vraag), energie (eigen stroom/zonnepanelen, kleine modellen verbruiken minder), weerbaarheid (werkt door zonder verbinding), compliance (zorg/juridisch/overheid: data mág niet naar externe servers) en autonomie (van jou, los van prijs-/beleidswijzigingen). Keerzijde die Wietse benoemt: massale lokale AI betekent ook minder maatschappelijke grip (geen moderatie/vangrails) — het moet een mix worden.

Wat lokaal kan (en niet)

  • Wél: e-mailtriage, samenvatten, spel-/grammaticacontrole, sparren, redigeren, OCR, korte verhalen, foto's analyseren — "bijna alles wat GPT-4 kon", maar trager en met minder kennis.
  • Niet: complexe research, grote documenten doorzoeken (needle in a haystack), feitelijke vragen betrouwbaar beantwoorden, geavanceerde code, multimodaal op hoog niveau.

⚠️ Taalmodellen zijn geen databases. Live-demo: een lokaal model gaf de juiste namen van Willem-Alexanders kinderen, maar verzon de exacte geboortedatums en bracht dat als feit. "Babygarnalen": klein, gesnoeid, weinig feitenkennis.

Wat je nodig hebt

  • Modellen — vier open-source families: Gemma (Google), GPT-OSS (OpenAI), Qwen (Alibaba), Mistral (Europa). Go-to: Gemma 4 31B in 4-bit quant (goed in Nederlands). Parameters = hoe slim/groot/duur; quant = compressie (lager = kleiner/minder slim, past beter). 4-bit is een goed compromis.
  • Hardware — draait om VRAM/geheugen. MacBook Pro M4 (24-128 GB, 24 GB krap maar werkbaar), Framework-laptop (tot 128 GB), Nvidia DGX Spark, of high-end telefoon voor basis-taken. Advies: koop méér RAM dan je denkt nodig te hebben (32/64, baas betaalt: 128 GB).
  • Software — LM Studio (gratis, Mac/Windows, "app store" voor modellen). Alternatieven: Ollama, Jan, Osaurus; mobiel: Locally AI (iOS), Google AI Edge Gallery (Android).

Opzet en grounding

LM Studio: model zoeken (MLX voor Mac, GGUF voor Windows/Linux), downloaden (Gemma 4 31B ≈ 18 GB), laden, klein contextwindow (4.000 tokens) om te testen — je chat nu offline. Houd rekening met contextruimte: op 24 GB RAM met een 18 GB model lukt een A4'tje, geen boek. Installeer meerdere modellen als "collega's" (Gemma schrijft NL, GPT-OSS beter in tool calling).

Hallucinatie oplossen met grounding: LM Studio ondersteunt MCP's; activeer DuckDuckGo en het lokale model zoekt op internet wanneer het feiten nodig heeft. Model draait lokaal, alleen de zoekopdracht gaat de deur uit (via DuckDuckGo). Hybride in het klein.

De grote conclusie: cloud om te bouwen, lokaal om te draaien

Lokale modellen zijn niet goed genoeg om zélf software te bouwen; Claude/Codex/ChatGPT wel — maar daar wil je geen gevoelige data heen sturen. Oplossing: gebruik cloud-AI om tooling te bouwen die daarna lokaal draait.

Patroon: 1. Zet LM Studio in developer mode en laad een model (het wordt een lokaal endpoint). 2. Ga naar Claude Code of Codex (online). 3. Vraag een app te bouwen die naar je lokale endpoint verwijst. 4. Cloud-AI bouwt de app. 5. Zet internet uit — de app werkt door.

Wietse's voorbeelden: een tekst-redigeerder in de macOS-menubalk (selecteer tekst → toetscombinatie → lokaal Gemma redigeert, offline) en een OCR-document-scanner. "Je gebruikt een grote intelligentie om het gereedschap te bouwen; daarna gebruik je dat gereedschap lokaal." Volgens AI Report de meest onderschatte mogelijkheid van dit moment.

Relevantie voor Marktmannen

Sluit direct aan op de cockpit-regel (geen live klantdata in dit OS) en op AVG-advies aan MKB-klanten in zorg/juridisch/financieel. Het bouw-vs-draai-patroon is een concrete adviesroute: bouw klant-tooling met cloud-AI, lever iets dat lokaal draait.

Open vragen

  • Is een lokaal-draaiende tool een verkoopbaar Marktmannen-aanbod voor AVG-gevoelige MKB-klanten, en tegen welke prijs/kwaliteit?
  • Welke minimale hardware adviseer je een klant die alleen triage/samenvatten/OCR lokaal wil?
  • Hoe verhoudt dit zich tot Copilot-in-tenant als "veilig genoeg"? (zie Microsoft Copilot Masterclass (AI Report))

Verwante concepten

Bronnen

#lokale-ai #privacy #lm-studio #open-source-modellen #avg #hybride #niet-technisch

Backlinks