Marktmannen wiki Lokale AI & Privacy

Lokale AI en Privacy (AI Report)

Laatst bijgewerkt

TL;DR: Voor wie met gevoelige (klant)data werkt: kleine open-weight modellen draaien volgens AI Report lokaal voor "bijna alles wat GPT-4 kon", en het meest onderschatte patroon is — gebruik cloud-AI om gereedschap te bóuwen dat daarna volledig lokaal dráait.

Masterclass van AI Report (Wietse Hage), gericht op advocaten, accountants, HR, zzp'ers met klantdata. Antwoord op de meest gestelde vraag: "waar gaat mijn data naartoe, en mag dit?" Genuanceerder dan "alles is onveilig" of "betalen lost alles op".

Wat er echt met je data gebeurt

Je tekst gaat naar een server (meestal VS); je laptop is een thin client. Drie factoren bepalen het risico: - Betaal je? Volgens AI Report mag gratis ChatGPT op je data trainen en betaald niet (opt-out), en hangt Copilot af van je tenant (beide niet geverifieerd). Voor Claude klopt "betaald = geen training" níet: bij Free, Pro en Max (ook Claude Code daarmee) worden chats voor training gebruikt als je dat toestaat (model-improvement-instelling), bij een safety-flag of bij expliciete opt-in; incognito-chats niet. Claude for Work en de API vallen onder aparte commerciële voorwaarden (stand 12-10-2026, Anthropic). - Wordt het gelogd? Ook zonder training wordt input vaak opgeslagen, niet per se versleuteld — bij een datalek, juridisch verzoek of beleidswijziging staat het er nog. - Wie kan erbij? Je account bevat maanden gesprekken plus een memory die alles weet.

De intuïtie ("dit voelt spannend") klopt: er wordt meer data over je verzameld dan ooit, de analyseerbaarheid groeit exponentieel, en AI-aanvallen/datalekken nemen toe.

Waarom lokaal (meer dan privacy)

Privacy, kosten (per laptop i.p.v. per vraag), energie (eigen stroom/zonnepanelen, kleine modellen verbruiken minder), weerbaarheid (werkt door zonder verbinding), compliance (zorg/juridisch/overheid: data mág niet naar externe servers) en autonomie (van jou, los van prijs-/beleidswijzigingen). Keerzijde die Wietse benoemt: massale lokale AI betekent ook minder maatschappelijke grip (geen moderatie/vangrails) — het moet een mix worden.

Wat lokaal kan (en niet)

  • Wél: e-mailtriage, samenvatten, spel-/grammaticacontrole, sparren, redigeren, OCR, korte verhalen, foto's analyseren — "bijna alles wat GPT-4 kon", maar trager en met minder kennis.
  • Niet: complexe research, grote documenten doorzoeken (needle in a haystack), feitelijke vragen betrouwbaar beantwoorden, geavanceerde code, multimodaal op hoog niveau.

⚠️ Taalmodellen zijn geen databases. Live-demo: een lokaal model gaf de juiste namen van Willem-Alexanders kinderen, maar verzon de exacte geboortedatums en bracht dat als feit. "Babygarnalen": klein, gesnoeid, weinig feitenkennis.

Wat je nodig hebt

Lijsten hieronder: stand mei 2026 volgens AI Report. - Modellen — vier open-weight families: Gemma (Google), GPT-OSS (OpenAI), Qwen (Alibaba), Mistral (Europa). Go-to: Gemma 4 31B in 4-bit quant (goed in Nederlands). Parameters = hoe slim/groot/duur; quant = compressie (lager = kleiner/minder slim, past beter). 4-bit is een goed compromis. Gemma 4 komt in vijf groottes (E2B, E4B, 12B, 31B, 26B A4B); voor 16-24 GB-machines zijn 12B (6,7 GB) en 26B A4B (14,4 GB) lichtere opties (Google, stand 12-10-2026). - Hardware — draait om VRAM/geheugen. MacBook Pro M4 (24-128 GB, 24 GB krap maar werkbaar), Framework-laptop (tot 128 GB), Nvidia DGX Spark, of high-end telefoon voor basis-taken. Advies: koop méér RAM dan je denkt nodig te hebben (32/64, baas betaalt: 128 GB). - Software — LM Studio (gratis voor lokaal gebruik, Mac/Windows/Linux, "app store" voor modellen; betaalde tiers zijn voor gehoste modellen). Alternatieven: Ollama, Jan, Osaurus; mobiel: Locally AI (iOS), Google AI Edge Gallery (Android).

Opzet en grounding

LM Studio: model zoeken (MLX voor Mac, GGUF voor Windows/Linux), downloaden (Gemma 4 31B ≈ 18 GB; volgens Google 17,5 GB geheugen bij 4-bit), laden, klein contextwindow (4.000 tokens) om te testen — je chat nu offline. Houd rekening met contextruimte: op 24 GB RAM met een 18 GB model lukt volgens Wietse een A4'tje, geen boek (de werkelijke ruimte hangt af van de KV-cache; Gemma 4 ondersteunt context tot 256K). Installeer meerdere modellen als "collega's" (Gemma schrijft NL, GPT-OSS beter in tool calling).

Hallucinatie oplossen met grounding: LM Studio ondersteunt MCP's (bevestigd in de LM Studio-docs); activeer volgens Wietse een DuckDuckGo-MCP en het lokale model zoekt op internet wanneer het feiten nodig heeft. Model draait lokaal, alleen de zoekopdracht gaat de deur uit (via DuckDuckGo). Hybride in het klein.

De grote conclusie: cloud om te bouwen, lokaal om te draaien

Lokale modellen zijn niet goed genoeg om zélf software te bouwen; Claude/Codex/ChatGPT wel — maar daar wil je geen gevoelige data heen sturen. Oplossing: gebruik cloud-AI om tooling te bouwen die daarna lokaal draait.

Patroon: 1. Zet LM Studio in developer mode en laad een model (het wordt een lokaal, OpenAI-compatibel endpoint). 2. Ga naar Claude Code of Codex (online). 3. Vraag een app te bouwen die naar je lokale endpoint verwijst. 4. Cloud-AI bouwt de app. 5. Zet internet uit — de app werkt door.

Wietse's voorbeelden: een tekst-redigeerder in de macOS-menubalk (selecteer tekst → toetscombinatie → lokaal Gemma redigeert, offline) en een OCR-document-scanner. "Je gebruikt een grote intelligentie om het gereedschap te bouwen; daarna gebruik je dat gereedschap lokaal." Volgens AI Report de meest onderschatte mogelijkheid van dit moment.

Relevantie voor Marktmannen

Sluit direct aan op de cockpit-regel (geen live klantdata in dit OS) en op AVG-advies aan MKB-klanten in zorg/juridisch/financieel. Het bouw-vs-draai-patroon is een concrete adviesroute: bouw klant-tooling met cloud-AI, lever iets dat lokaal draait.

Open vragen

  • Is een lokaal-draaiende tool een verkoopbaar Marktmannen-aanbod voor AVG-gevoelige MKB-klanten, en tegen welke prijs/kwaliteit?
  • Welke minimale hardware adviseer je een klant die alleen triage/samenvatten/OCR lokaal wil?
  • Hoe verhoudt dit zich tot Copilot-in-tenant als "veilig genoeg"? (zie Microsoft Copilot Masterclass (AI Report))

Verwante concepten

Bronnen

#privacy #modellen #niet-technisch

Backlinks