Mit der zunehmenden Verbreitung Künstlicher Intelligenz (KI) in Unternehmen gewinnt die Frage nach einer datenschutzkonformen Entwicklung und Nutzung von KI-Systemen stark an Bedeutung. Die Datenschutzkonferenz (DSK) hat hierzu im Juni 2025 die „Orientierungshilfe zu empfohlenen technischen und organisatorischen Maßnahmen bei der Entwicklung und beim Betrieb von KI-Systemen” veröffentlicht. Dieses Dokument konkretisiert die Anforderungen der DSGVO für KI-bezogene Verarbeitungen und liefert einen praxisnahen Leitfaden für Hersteller, Entwickler und Anwender im Hinblick auf KI-Systeme.
Lebenszyklusorientierter Ansatz und Anwendungsbereich für KI-Systeme
Die DSK gliedert die Anforderungen an KI-Systeme entlang ihres gesamten Lebenszyklus:
- Designphase
- Entwicklungsphase
- Einführungsphase
- Betrieb und Monitoring
Jede Phase wird unter Berücksichtigung der sieben Gewährleistungsziele des Standard-Datenschutzmodells (SDM) bewertet:
- Datenminimierung
- Verfügbarkeit
- Vertraulichkeit
- Integrität
- Intervenierbarkeit
- Transparenz
- Nichtverkettung
Rechtliche Grundlagen und Verantwortlichkeiten für KI-Systeme
KI-Systeme unterliegen vollumfänglich der DSGVO. Insbesondere folgende Grundprinzipien sind relevant:
- Rechtmäßigkeit (Art. 6 DSGVO)
- Zweckbindung (Art. 5 Abs. 1 lit. b DSGVO)
- Datenminimierung (Art. 5 Abs. 1 lit. c DSGVO)
- Transparenz und Informationspflichten (Art. 13, 14 DSGVO)
- Betroffenenrechte (Art. 15-22 DSGVO)
- Datenschutz-Folgenabschätzung (Art. 35 DSGVO)
- Sicherheit der Verarbeitung (Art. 32 DSGVO)
Hersteller und Entwickler gelten in der Regel als Verantwortliche für die Phasen Design und Entwicklung. Nutzerorganisationen übernehmen die Verantwortung für Einführung und Betrieb.
1. Designphase
Die Designphase bildet die Grundlage für eine datenschutzkonforme Entwicklung von KI-Systemen. In diesem frühen Stadium werden wesentliche Entscheidungen über die Zielsetzung, die Architektur und die Datenverarbeitung des Systems getroffen. Das Ziel besteht darin, Datenschutzanforderungen von Anfang an angemessen zu berücksichtigen und umzusetzen.
Ein zentrales Element ist dabei die Transparenz. Verantwortliche müssen die Quellen der Trainingsdaten detailliert dokumentieren und deren rechtmäßige Herkunft sicherstellen. Die Erstellung sogenannter „Datasheets for Datasets” hat sich als bewährte Praxis etabliert. In diesen Datasheets werden u. a. Datenkategorien, Erhebungsmethoden, Zweck und Herkunft der Daten nachvollziehbar beschrieben.
Im Rahmen der Datenminimierung muss geprüft werden, welche Datenkategorien tatsächlich für die angestrebte Funktionalität des KI-Systems erforderlich sind. Es sind möglichst datensparsame Algorithmen zu wählen. Die Nutzung anonymisierter oder synthetischer Daten ist stets zu prüfen. Mithilfe von Pilotstudien und Voranalysen lässt sich der tatsächliche Bedarf an personenbezogenen Daten realistisch einschätzen.
Unter dem Gesichtspunkt der Nichtverkettung sind Risiken zu vermeiden, die aus der Verknüpfung von Daten aus unterschiedlichen Quellen entstehen könnten. Besonders kritisch ist der Einsatz von Proxy-Attributen, die indirekt auf sensible Merkmale schließen lassen.
Um die Betroffenenrechte (z. B. Auskunft, Berichtigung, Löschung) später effektiv umsetzen zu können, sollten schon in der Designphase organisatorische Prozesse und technische Maßnahmen für die Intervenierbarkeit definiert werden.
Zudem müssen die Anforderungen an Verfügbarkeit, Integrität und Vertraulichkeit berücksichtigt werden. Hierzu zählen der Aufbau robuster Backup-Konzepte, Maßnahmen zur Daten- und Systemintegrität sowie Vorkehrungen gegen Data Poisoning oder Backdoor-Angriffe. Zugriffskontrollmechanismen und Verschlüsselungsstrategien sollten ebenfalls bereits im Design spezifiziert werden.
2. Entwicklungsphase
In der Entwicklungsphase eines KI-Systems werden die in der Designphase definierten Anforderungen konkret technisch umgesetzt. In dieser Phase werden die KI-Algorithmen implementiert, die Trainingsdaten aufbereitet und das eigentliche Training sowie die Validierung der KI-Modelle durchgeführt.
Ein zentrales Anliegen der DSK-Orientierungshilfe ist in dieser Phase die Transparenz. Verantwortliche müssen den gesamten Trainingsprozess daher umfassend dokumentieren. Dazu gehört eine genaue Beschreibung der Trainingsdaten, der angewandten Trainingsmethoden und der Auswahlkriterien für die verwendeten Algorithmen. Auch alle Trainingsentscheidungen, die Einfluss auf die spätere Modellperformance und Datenverarbeitung haben, müssen nachvollziehbar protokolliert werden.
Im Sinne der Datenminimierung dürfen nur solche Daten verarbeitet werden, die für den definierten Trainingszweck zwingend erforderlich sind. Eine übermäßige oder spekulative Datensammlung ist unzulässig. Besonders bei modular aufgebauten „Compound-KI-Systemen” ist darauf zu achten, dass jede Komponente nur die für sie notwendigen Daten erhält.
Das Gewährleistungsziel der Nichtverkettung fordert, dass KI-Modelle ausschließlich für den in der Designphase festgelegten Zweck trainiert werden. Der unbeabsichtigte Erwerb zusätzlicher sensibler Informationen (etwa aus hochkorrelierenden Variablen) muss aktiv verhindert werden. Hierzu sind geeignete statistische und technische Prüfmechanismen zu implementieren.
Hinsichtlich der Intervenierbarkeit ist bereits während der Entwicklung sicherzustellen, dass spätere Löschungs- oder Korrekturanfragen technisch umsetzbar sind. Verfahren wie „Machine Unlearning” oder modulare Nachtrainierung ohne bestimmte Datensätze sollten daher frühzeitig berücksichtigt werden.
Bezüglich der Integrität müssen die Verantwortlichen sicherstellen, dass die Trainings-, Validierungs- und Testdaten korrekt, vollständig und frei von Manipulationen sind. Maßnahmen wie Data Validation, Bias Detection und Schutz gegen Data Poisoning und adversariale Angriffe (z. B. Evasion Attacks) sind zwingend erforderlich.
Auch die Vertraulichkeit spielt eine herausragende Rolle: Trainingsdaten und Modelle müssen gegen unbefugten Zugriff sowie gegen Angriffe wie Model Extraction oder Membership Inference Attacks geschützt werden. Gegebenenfalls sind Zwischenergebnisse zu anonymisieren oder zu aggregieren, um den Personenbezug zu minimieren.
3. Einführungsphase
Die Einführungsphase beschreibt den Übergang eines KI-Systems von der Entwicklungsumgebung zur produktiven Nutzung. In dieser Phase stehen insbesondere Fragen der datenschutzkonformen Verteilung und Konfiguration der Software im Mittelpunkt.
Ein wesentliches Ziel ist es, gegenüber den Anwendern und Betroffenen transparent zu sein. Die Verantwortlichen müssen über die Funktionsweise des KI-Systems, die verwendeten Datenquellen, die Systemarchitektur und die Einflussfaktoren für die Entscheidungsfindung informieren. Auch die Konfigurationsoptionen und deren datenschutzrelevante Auswirkungen müssen nachvollziehbar dokumentiert werden. Hierzu gehört auch die Offenlegung der ausgelieferten Elemente des KI-Systems (z. B. Modellparameter, Systemversionen, Konfigurationsdateien).
Im Hinblick auf die Datenminimierung ist sicherzustellen, dass nur die für den jeweiligen Einsatzzweck erforderlichen personenbezogenen Daten bereitgestellt und verarbeitet werden. Besonders relevant ist dabei die Unterscheidung zwischen parametrischen Modellen (z. B. neuronale Netze, die keine Rohdaten mehr enthalten) und nicht-parametrischen Modellen (z. B. k-Nächste-Nachbarn-Algorithmen, die weiterhin Trainingsdaten benötigen). Diese Unterschiede beeinflussen, welche Daten im Rahmen der Softwareverteilung übertragen werden dürfen.
Unter dem Aspekt der Vertraulichkeit sind angemessene Schutzmaßnahmen bei der Bereitstellung und Verteilung des KI-Systems zu treffen. Hierzu gehören insbesondere Verschlüsselungstechniken, Zugriffsbeschränkungen und die Kontrolle über den Empfängerkreis der Softwaredistribution. Wenn personenbezogene Trainingsdaten Bestandteil des ausgelieferten Systems sind, müssen auch diese besonderen Schutzmaßnahmen unterliegen.
Darüber hinaus ist zu beachten, dass die Systemauslieferung datenschutzrechtlich relevant sein kann, selbst wenn in dieser Phase keine aktive Verarbeitung personenbezogener Daten erfolgt, da sie die Grundlage für spätere Datenverarbeitungen bildet.
Insgesamt legt die Einführungsphase den Grundstein für eine datenschutzgerechte Betriebsumgebung des KI-Systems. Sie erfordert eine sorgfältige Planung, Dokumentation und technische Absicherung der ausgelieferten Softwarekomponenten.
Lese-Tipp: Berechtigte Interesse bei der Entwicklung von KI-Systemen: CNIL-Orientierungshilfe
4. Betrieb und Monitoring
Die Phase „Betrieb und Monitoring” beschreibt die aktive Nutzung eines KI-Systems sowie die laufende Überwachung seiner Funktionsweise und Datenschutzkonformität. Sie beginnt mit der Freigabe des KI-Systems für den produktiven Einsatz und umfasst alle laufenden Betriebs- und Wartungstätigkeiten.
Ein wesentliches Anliegen der DSK-Orientierungshilfe in dieser Phase ist die Transparenz. Verantwortliche müssen demnach alle Verarbeitungsvorgänge, Systemupdates und Modellanpassungen revisionssicher dokumentieren. Dies umfasst insbesondere die Protokollierung der verwendeten Daten, der KI-Modellversionen und der am System durchgeführten Änderungen. Auch die Entscheidungshistorie des KI-Systems sollte, soweit möglich, nachvollziehbar archiviert werden, insbesondere bei automatisierten Entscheidungen mit rechtlicher Wirkung.
Im Hinblick auf die Datenminimierung ist fortlaufend zu prüfen, ob die im Betrieb erhobenen und verarbeiteten personenbezogenen Daten noch für die festgelegten Zwecke erforderlich sind. Falls dies nicht der Fall ist, müssen die Daten gelöscht oder anonymisiert werden. Auch für die Rückkopplung von Nutzerfeedback zur Verbesserung des KI-Systems ist eine datensparsame Verarbeitung sicherzustellen.
Die Intervenierbarkeit muss zu jedem Zeitpunkt gewährleistet sein. Dazu gehört die Möglichkeit, Betroffenenrechte wie Auskunft, Berichtigung oder Löschung jederzeit effektiv umzusetzen. Technische Lösungen wie Filtersysteme oder Eingabe- und Ausgabekontrollen helfen dabei, ungewollte Modellausgaben zu verhindern oder zu korrigieren. Löschpflichten in Bezug auf im Modell enthaltene personenbezogene Daten (Machine Unlearning) sind ebenfalls umzusetzen, sofern dies technisch möglich ist.
Um die Integrität des KI-Systems zu gewährleisten, müssen Unternehmen sicherstellen, dass es nicht durch adversariale Angriffe (z. B. manipulierte Eingaben) oder unautorisierte Modelländerungen kompromittiert wird. Regelmäßige Tests, Validierungen und Risikobewertungen – etwa durch Red Teaming – sind wichtige Bestandteile eines sicheren Betriebs.
Auch die Vertraulichkeit ist im laufenden Betrieb von zentraler Bedeutung. Zugriffskontrollen, Verschlüsselung und Protokollierung sollen verhindern, dass Unbefugte Zugriff auf sensible Modellparameter oder personenbezogene Daten erhalten.Besonders bei der Nutzung von Retrieval-Augmented Generation (RAG)-Systemen ist genau zu überwachen, wer auf welche Datenquellen zugreifen darf.
Zusätzliche Aspekte für KI-Systeme
In Ergänzung zu den phasenbezogenen Anforderungen der DSK-Orientierungshilfe gibt es weitere wichtige Aspekte, die für die datenschutzkonforme Entwicklung und den Betrieb von KI-Systemen von Bedeutung sind.
Umgang mit Hochrisiko-KI-Systemen
Für sogenannte Hochrisiko-KI-Systeme im Sinne der KI-Verordnung (KI-VO) gelten erhöhte Anforderungen. Diese betreffen insbesondere die umfassende Dokumentation der eingesetzten Daten, Algorithmen und Modellentscheidungen sowie ein verbindliches Qualitätsmanagementsystem. Unternehmen müssen sicherstellen, dass die KI-Systeme die geforderten Konformitätsbewertungsverfahren durchlaufen haben. Regelmäßige Risikoanalysen und die Durchführung einer Datenschutz-Folgenabschätzung (DSFA) sind hierbei zwingend erforderlich.
Berücksichtigung von Drittanbietermodellen
Beim Einsatz von extern entwickelten oder vortrainierten KI-Modellen (z.B. Open-Source-LLMs oder API-basierte Dienste) müssen zusätzliche Sicherheits- und Datenschutzprüfungen erfolgen. Dazu gehören insbesondere:
- Eine Überprüfung der Herkunft und Qualität der Trainingsdaten
- Die Kontrolle auf mögliche Backdoor-Angriffe oder Data Poisoning
- Die vertragliche Absicherung der Datenschutzpflichten durch den Anbieter
- Die Evaluierung von Risiken der Modellextraktion oder Membership Inference Attacks
Unternehmen sollten sicherstellen, dass auch die Nachvollziehbarkeit und Transparenz dieser Drittanbietermodelle dokumentiert wird. Außerdem ist der Einsatz solcher Modelle regelmäßig auf DSGVO-Konformität zu prüfen.
Vertragsgestaltung
Die DSK empfiehlt, spezifische Datenschutzanforderungen bereits bei der Vertragsgestaltung mit Lieferanten und Dienstleistern zu berücksichtigen. Wichtige Vertragsbestandteile sollten unter anderem sein:
- Klare Definition der Verantwortlichkeiten (Controller-Processor-Verhältnis)
- Vorgaben zu technischen und organisatorischen Maßnahmen (TOMs)
- Audit- und Kontrollrechte des Auftraggebers
- Regelungen zur Datenrückgabe, -löschung und -portabilität
- Vereinbarungen über die Meldepflichten bei Datenschutzverletzungen
Gerade bei der Nutzung von AI-as-a-Service-Angeboten sind vertragliche Regelungen essenziell, um auch bei ausgelagerten Verarbeitungsprozessen ein angemessenes Datenschutzniveau sicherzustellen. Umgang mit Hochrisiko-KI-Systemen Für Hochrisiko-KI-Systeme nach der KI-VO gelten zusätzliche Dokumentations- und Qualitätsmanagementanforderungen.
Fazit und Empfehlungen für die Praxis
Die DSK-Orientierungshilfe bietet erstmals eine systematische, praxisnahe und rechtlich fundierte Guidance für den gesamten KI-Lebenszyklus. Sie stellt hohe Anforderungen an die Dokumentation, Technikgestaltung und organisatorische Prozesse. Unternehmen müssen frühzeitig Datenschutz in alle Phasen der KI-Entwicklung und -Nutzung integrieren.
Die Umsetzung der in der DSK-Orientierungshilfe definierten Anforderungen erfordert von Unternehmen eine strategische und strukturierte Vorgehensweise. Folgende Empfehlungen sollen Organisationen dabei unterstützen, die datenschutzrechtlichen Vorgaben praxisnah und effizient in ihre Prozesse zu integrieren:
- Erstellung eines KI-Datenschutz-Aktionsplans: Bereits vor Projektbeginn sollte ein detaillierter Plan entwickelt werden, der die notwendigen datenschutzrechtlichen Prüfungen, Maßnahmen und Verantwortlichkeiten festlegt. Dieser sollte alle Lebenszyklusphasen eines KI-Systems berücksichtigen.
- Frühe und wiederholte Durchführung von Datenschutz-Folgenabschätzungen (DSFA): Für alle KI-Projekte mit hohem Risiko ist eine DSFA durchzuführen. Dabei empfiehlt sich ein iterativer Ansatz: Erste Einschätzungen erfolgen bereits in der Designphase, weitere Aktualisierungen folgen in der Entwicklungs- und Betriebsphase.
- Einrichtung eines KI-Governance-Gremiums: Dieses interdisziplinäre Team aus Datenschutzbeauftragten, IT-Security-Spezialisten, KI-Entwicklern und Compliance-Verantwortlichen steuert die datenschutzrechtliche Begleitung von KI-Projekten, bewertet Risiken und koordiniert Maßnahmen.
- Schulungen und Awareness-Maßnahmen für Entwickler- und Produktteams: Die Sensibilisierung aller am KI-Projekt Beteiligten für datenschutzrechtliche Anforderungen ist essenziell. Dazu gehören Schulungen zu Themen wie Datenminimierung, Transparenzanforderungen, Risikobewertungen und Betroffenenrechten.
- Implementierung eines Monitoring- und Auditierungsprozesses: Unternehmen sollten kontinuierlich überwachen, ob ihre KI-Systeme den Datenschutzanforderungen entsprechen. Dazu gehören regelmäßige Audits der Datenverarbeitungsprozesse, Überprüfung der Wirksamkeit technischer Schutzmaßnahmen und ständige Evaluierung der Risiken.
- Dokumentation und Nachweisführung: Alle datenschutzrelevanten Entscheidungen, Maßnahmen und Prüfungen sollten nachvollziehbar dokumentiert werden, um den Anforderungen der Rechenschaftspflicht nach Art. 5 Abs. 2 DSGVO gerecht zu werden.
- Festlegung eines Incident-Response-Plans für KI-bezogene Datenschutzverletzungen: Da KI-Systeme spezifische Risiken bergen, sollte ein Notfallplan existieren, der bei Datenschutzvorfällen schnelle Reaktions- und Meldewege sowie geeignete Gegenmaßnahmen definiert.
Nächste Schritte mit Ailance - Integrated Risk Management
Möchten Sie die Anforderungen der DSK-Orientierungshilfe effizient und nachhaltig in Ihrem Unternehmen umsetzen? Unsere Software Ailance – Integrated Risk Management unterstützt Sie dabei, datenschutzrechtliche Risiken in allen Phasen des KI-Lebenszyklus zu erkennen, zu bewerten und zu steuern.
Mit Ailance können Sie:
Datenschutz-Folgenabschätzungen (DSFA) systematisch durchführen und dokumentieren
Technische und organisatorische Maßnahmen (TOMs) KI-spezifisch abbilden und nachverfolgen
Ihre Lieferanten- und Drittanbieter-Risiken effektiv managen
Audit- und Compliance-Dokumentationen für interne und externe Prüfungen erstellen
Betroffenenrechte und Incident-Response-Prozesse effizient verwalten
Vereinbaren Sie einen Termin mit uns, es lohnt sich!
German 
English 
Italian 
French