DSGVO & KI: Sicheres lokales Hosting für LLMs

Quer durch Europa müssen IT-Leiter den Nutzen von KI noch vor dem nächsten Budget-Zyklus belegen. Ein einziger falsch platzierter Prompt kann jedoch Kundendaten offenlegen, Bußgelder von bis zu 20 Millionen € oder 4 % des weltweiten Jahresumsatzes auslösen (Art. 83 DSGVO) und KI-Projekte zum Stillstand bringen. Die Frage lautet daher nicht mehr ob Sie generative KI einsetzen, sondern wo Sie sie betreiben.

Wo Cloud-first-LLMs mit der DSGVO kollidieren

Öffentliche Cloud-Plattformen bewerben EU-Regionen, doch entscheidende Daten geraten trotzdem außer Reichweite:

Transatlantische Spill-over. Support-Protokolle, Telemetriedaten oder Snapshots können an US-Teams gespiegelt werden. Nach dem US CLOUD Act können US-Anbieter verpflichtet werden, Daten herauszugeben, egal wo sie gespeichert sind (18 U.S.C. § 2713). Seit dem Angemessenheitsbeschluss der Europäischen Kommission vom 10. Juli 2023 dürfen personenbezogene Daten an US-Unternehmen übermittelt werden, die nach dem EU-US Data Privacy Framework zertifiziert sind (Europäische Kommission).
Unbegrenzte Aufbewahrung. „Service-Improvements“-Klauseln können es Anbietern erlauben, Prompts zu speichern und für künftige Modellversionen zu verwenden.
Schatten-Sub-Prozessoren. Jedes Plug-in erweitert die unbekannte Unterauftragskette und erschwert Artikel-28-Bewertungen.
Intransparente Audit-Daten. Dashboards liefern selten Feld-genaue Logs, was Artikel-30-Nachweise oder Betriebsratsprüfungen erschwert.
Zweck- und Speicherbegrenzungen. Sobald ein Ticket-Auszug in einem geteilten LLM landet, verlieren Sie die deterministische Kontrolle über Lebensdauer und Wiederverwendung.

Auf dem Weg von Ihrem Netz zum Anbieter kann ein einzelner Prompt an mehreren Stellen landen:

Wie ein Prompt bei einem Cloud-LLM das Unternehmen verlässt und wo DSGVO-Risiken liegen: US-Teams, gespeicherte Prompts, Unterauftragnehmer und fehlende Logs

Auch wenn das Modell in einer EU-Region läuft, hat der Prompt Ihr Netz verlassen. Logs und Telemetrie können unter dem US CLOUD Act an US-Teams gespiegelt werden, Prompts können gespeichert und für künftige Modellversionen genutzt werden, jedes Plug-in erweitert die Kette der Unterauftragnehmer und den Dashboards des Anbieters fehlen die feldgenauen Logs für Ihre Artikel-30-Nachweise.

Das Risiko ist real: 2023 schränkte Samsung die Nutzung von ChatGPT und ähnlichen Werkzeugen ein, nachdem Ingenieure internen Quellcode in ChatGPT kopiert hatten (TechCrunch). Liegen Daten einmal auf einem externen Server, kann ein Unternehmen sie kaum zurückholen oder löschen.

Fazit: Ein „GDPR-ready“-Label ersetzt keine vollständige Verantwortung, wenn Betriebsgeheimnisse und personenbezogene Daten involviert sind.

Was lokale KI über Compliance hinaus bringt

LLMs in EU-Rechenzentren oder im eigenen Rack bieten weit mehr als Rechtssicherheit:

Datenresidenz & Souveränität. Keine Grenzübertritte, keine Schrems-II-Probleme.
Granulare Beobachtbarkeit. Jeder Token, jede Vektor-Abfrage und jeder Dateihand-off wird revisionssicher geloggt.
Individuelles Fine-Tuning. Modelle lassen sich auf Ihre Terminologie anpassen, ohne Trainingsdaten aus der Hand zu geben.
Geringere Latenz. Anfragen laufen nicht zu einem Cloud-Anbieter und zurück, Agenten antworten schneller.
Kalkulierbare Kosten. Hardware ist ein fester Betrag; bei hohen Volumen kostet sie weniger als Pay-per-Token-Tarife (siehe unseren Kostenvergleich).
Nachhaltiger Betrieb. Abwärmenutzung oder Wasserkraft im eigenen Datacenter senken den CO₂-Fußabdruck.

Lokale Automatisierung mit Governance

Bei S&S Technologies kombinieren wir Open-Source-Modelle mit n8n, Matrix42, Jira und weiteren Service-Management-Tools zu privaten, regelkonformen KI-Services:

Lokale Modell-Instanzen. Jeder Mandant betreibt seine LLMs auf EU-Hardware oder On-Prem-Servern.
Verschlüsselte/Interne Vektor-Stores. Retrieval-Augmented Generation (RAG) bleibt in Ihrer Firewall; kein Klartext verlässt das Netz. Oder noch besser: selbst gehostete Vektor-Stores.
Versionierte Pipelines. Jeder Prompt, jede Antwort und jeder Transformationsschritt wird in n8n protokolliert - eine lückenlose Spur für Audits.
Passgenaue Hardware. Vom einzelnen RTX-4000-Edge-Node bis zum A100-Cluster dimensionieren wir die Hardware nach Workload und Budget.

Sie möchten tiefer in die Technik eintauchen? Lesen Sie unseren Leitfaden LLMs lokal ausführen.

Von der Datenanalyse zum laufenden System

Discovery & Mapping. Wir analysieren Datenflüsse, klassifizieren personenbezogene vs. geschäftskritische Daten und definieren Ziel-KPIs.
Referenzarchitektur. Drei-Schicht-Blueprint - Ingress-Gateway, Modell-Layer, Automatisierungs-Layer - passt in Ihre Netzsegmente.
Deployment. Je nach Use-Case via Kubernetes oder Docker auf On-Prem-Hardware oder EU-IaaS.
Integration. Low-Code-Workflows in n8n lauschen auf ERP- bzw. ITSM-Events, reichern Kontext an und rufen das LLM hinter einem Policy-Gateway auf.
Tuning & Guard-Rails. Modelle werden feinabgestimmt; Policy-Engine setzt PII-Maskierung, Rate-Limits und Inhaltsfilter.
Monitoring & Optimierung. Dashboards visualisieren Tokens, Latenz und Kosten, um die KPIs iterativ zu schärfen.

Zusammengesetzt sieht die Referenzarchitektur aus Schritt 2 so aus:

Referenzarchitektur, um ein LLM lokal und DSGVO-konform zu hosten: n8n, ein Policy-Gateway, ein lokales LLM und ein Vektor-Store im eigenen Netz

Matrix42, Jira oder das ERP schicken ihre Events an n8n. Die Workflows reichern den Kontext an und rufen das Modell nur über das Policy-Gateway auf. Das Gateway maskiert personenbezogene Daten und setzt Rate-Limits und Inhaltsfilter durch. Das lokale LLM und der Vektor-Store für RAG laufen auf Ihrer eigenen Hardware oder in einem EU-Rechenzentrum. Jeder Prompt, jede Antwort und jeder Schritt wird in n8n für Audits protokolliert.

Läuft die Agenten-Pipeline, kann ein Service Desk Tickets schneller zuordnen, ohne Daten jemals außerhalb der EU - oder noch besser, des eigenen Netzes - zu versenden.

Was spezialisierte KI-Agenten leisten

ITSM-Automatisierung. Incidents in Sekunden an die richtige Resolver-Gruppe routen, Logs zusammenfassen, Status-Updates erstellen.
ERP-Datenanreicherung. Lieferantennamen abgleichen, UID-Nummern prüfen, Anomalien markieren.
Wissensmanagement. Gelöste Tickets automatisch in hochwertige, getaggte Knowledge-Base-Artikel verwandeln.

Alle Use-Cases nutzen dieselbe Pipeline mit denselben Kontrollen.

Ein Selbsttest mit fünf Fragen

Machen Sie den 5-Punkte-Selbstcheck:

Verarbeiten wir heute personenbezogene Daten, die EU-Grenzen überschreiten?
Würden Betriebsrat oder Auditor externe KI-Logs ablehnen?
Stecken Geschäftsgeheimnisse in Tickets oder ERP-Notizen?
Benötigen wir deterministische Löschung und Versionskontrolle?
Würde die Automatisierung von Triage, Anreicherung oder Reporting Ihrem Team spürbar Aufwand sparen?

Bei drei oder mehr „Ja“ passt lokale KI wahrscheinlich besser zu Ihnen. Kontaktieren Sie unser Team, um zu starten.

Automatisieren. Optimieren. Skalieren.