Replika verstößt massiv gegen DSGVO: Luka Inc. muss in Italien Millionen-Bußgeld zahlen

May 20, 2025

Kategorien:

Datenschutz in Europa

Die italienische Datenschutzbehörde Garante per la protezione dei dati personali hat das US-Unternehmen Luka Inc. mit einem Bußgeld in Höhe von 5 Millionen Euro sanktioniert. Luka Inc. soll mit seinem KI-gestützten Chatbot Replika gegen zentrale Datenschutzgrundsätze der DSGVO verstoßen haben. Die Entscheidung ist nicht nur wegen der Höhe der Sanktion bemerkenswert, sondern auch wegen ihrer detaillierten rechtlichen Auseinandersetzung mit den Herausforderungen generativer KI-Systeme und dem Schutz Minderjähriger.

Replika und seine Risiken

Replika ist ein KI-gestützter Chatbot, der über textbasierte und sprachliche Interaktion als emotionaler Begleiter, Freund oder romantischer Partner fungieren kann. Das System wurde insbesondere zur Förderung des emotionalen Wohlbefindens vermarktet. Es spricht dabei auch psychisch belastete oder sozial isolierte Personen an.

Technisch basiert Replika auf einem sogenannten Large Language Model (LLM). Dessen Leistungsfähigkeit wird durch die kontinuierliche Interaktion mit Nutzern verbessert. Diese Weiterentwicklung erfolgt unter Einsatz realer Nutzerdaten, darunter auch personenbezogene Informationen wie Kommunikationsinhalte, stimmliche Ausdrucksformen und ggf. Angaben zu mentalem Zustand oder emotionaler Verfassung. Aus datenschutzrechtlicher Sicht ist dies besonders heikel, da solche Daten häufig besonders sensibel sind und Rückschlüsse auf die Persönlichkeit, Stimmungslagen und Gewohnheiten der betroffenen Personen erlauben.

Kern der Vorwürfe gegen Luka Inc.: Drei gravierende Datenschutzverstöße

Fehlende Rechtsgrundlage für die Datenverarbeitung (Art. 5 Abs. 1 lit. a, Art. 6 DSGVO)
Die zum Zeitpunkt der Untersuchung gültige Datenschutzerklärung (Version vom 5. Juli 2022) wies keine differenzierte Zuordnung von Rechtsgrundlagen zu spezifischen Verarbeitungsvorgängen auf. Insbesondere die Verarbeitung zur Weiterentwicklung des LLM (Model Development) erfolgte ohne ausreichende rechtliche Basis. Dies verstößt gegen das Gebot der rechtmäßigen, fairen und transparenten Verarbeitung.

Unzureichende Informationspflichten (Art. 12, 13 DSGVO)
Die Datenschutzerklärung war ausschließlich auf Englisch verfügbar, was gegen Art. 12 Abs. 1 Satz 2 DSGVO verstößt. Die Norm verlangt, dass Informationen in einer klaren und leicht verständlichen Sprache bereitgestellt werden – auch für italienischsprachige Nutzer und Minderjährige. Tatsächlich enthielt die Datenschutzerklärung weder Angaben zur Speicherdauer noch klare Hinweise zur Nutzung personenbezogener Daten, zu Transfers außerhalb der EU oder zur Verarbeitung durch automatisierte Entscheidungsfindung. Daraus ergab sich eine erhebliche Intransparenz über Art und Umfang der Datenverarbeitung.

Fehlender Schutz Minderjähriger (Art. 5 Abs. 1 lit. c, Art. 24, 25 DSGVO)
Trotz expliziter Zielgruppenansprache (emotionale Unterstützung, romantische Beziehung) enthielt Replika keine wirksamen Mechanismen zur Altersverifikation. Minderjährige konnten den Dienst ungehindert nutzen, selbst wenn sie sich offen als unter 18 Jahre alt identifizierten. Die Datenschutzaufsicht beanstandete insbesondere die fehlende Implementierung technischer Schutzmaßnahmen wie ein robustes „Age-Gate“, ein effektives „Cooling-Off“-Verfahren oder sprachbasierte Erkennungsmethoden.

Sanktionen gegen Replika: Höhe, Begründung und weiterführende Maßnahmen

Die italienische Datenschutzbehörde verhängte gegen Luka Inc. ein Bußgeld in Höhe von 5 Millionen Euro. Grundlage für diese Sanktion war Art. 83 Abs. 5 DSGVO, der für besonders schwerwiegende Verstöße gegen zentrale datenschutzrechtliche Grundsätze die höchsten Bußgeldrahmen vorsieht. Bei der Bemessung der konkreten Höhe berücksichtigte die Behörde zudem die in Art. 83 Abs. 2 DSGVO genannten Kriterien. Diese umfassen unter anderem die Art, Schwere und Dauer des Verstoßes, die Zahl der betroffenen Personen, das Ausmaß des verursachten Schadens sowie das Verhalten des Verantwortlichen während des Verfahrens.

In diesem Fall wurden mehrere erschwerende Umstände festgestellt: Erstens lag eine strukturelle, systematische Missachtung grundlegender datenschutzrechtlicher Anforderungen vor – insbesondere im Hinblick auf Transparenz, Zweckbindung, Rechtsgrundlagen und technische Schutzmaßnahmen. Zweitens war eine große Anzahl von Nutzern betroffen, einschließlich vulnerabler Gruppen wie Minderjähriger. Drittens stellte die internationale Reichweite von Replika ein erhebliches Risiko für EU-Bürger dar, da keine angemessenen Vorkehrungen zum Schutz bei grenzüberschreitender Datenverarbeitung getroffen wurden.

Neben dem Bußgeld verpflichtete die italienische Behörde Luka Inc. zu konkreten Nachbesserungen. Dazu gehörte unter anderem die Bereitstellung einer vollständigen, leicht verständlichen Datenschutzerklärung in italienischer Sprache. Außerdem müssen die Informationen zu Datenübermittlungen in Drittländer sowie zu Speicherfristen und Verarbeitungszwecken deutlich transparenter und DSGVO-konform gestaltet werden.

Besonders im Fokus steht darüber hinaus die Implementierung eines wirksamen Systems zur Altersverifikation. Das soll künftig den Zugang für Minderjährige wirksam kontrollieren und altersgerechte Schutzvorkehrungen sicherstellen.

Lese-Tipp: KI-Kompetenzen und Unternehmenspflichten nach Art. 4 KI-VO

Bedeutung für die Praxis: Präzedenzfall für KI-Dienste in der EU

Die Entscheidung der italienischen Datenschutzbehörde gegen Luka Inc. hat über den Einzelfall hinaus grundlegende Bedeutung für den Umgang mit generativen KI-Systemen innerhalb der Europäischen Union. Sie macht deutlich, dass die DSGVO auch auf hochdynamische, technologiegetriebene Geschäftsmodelle uneingeschränkt Anwendung findet. Selbst dann, wenn der verantwortliche Anbieter seinen Sitz außerhalb der EU hat. Denn das Marktortprinzip (Art. 3 Abs. 2 DSGVO) sichert die Anwendbarkeit des europäischen Datenschutzrechts überall dort, wo personenbezogene Daten von in der EU ansässigen Personen verarbeitet werden.

Für die Datenschutzpraxis ergibt sich daraus ein klares Signal: KI-Anwendungen müssen von Beginn an so gestaltet werden, dass Datenschutz und Datensicherheit strukturell berücksichtigt werden. Dies gilt insbesondere bei Geschäftsmodellen, die gezielt auf emotionale oder psychologische Aspekte des Nutzerverhaltens abzielen. Die Berücksichtigung von Schutzmechanismen für Minderjährige, transparente Information über automatisierte Entscheidungsprozesse und die klare Abgrenzung der Zwecke der Datenverarbeitung sind zwingend erforderlich.

Der Fall Replika zeigt zudem, dass die Aufsichtsbehörden bereit sind, auch technisch komplexe Systeme einer gründlichen rechtlichen Analyse zu unterziehen und bei festgestellten Verstößen empfindliche Sanktionen zu verhängen. Dies dürfte auch andere Anbieter von Chatbots, virtuellen Assistenten oder digitalen Therapieangeboten dazu bewegen, ihre Prozesse und Datenschutzerklärungen einer kritischen Überprüfung zu unterziehen.

Nicht zuletzt ist mit der Entscheidung auch ein Appell an die internationale Regulierung verbunden: Während die DSGVO bereits einen hohen Schutzstandard etabliert, verdeutlicht der Fall die Notwendigkeit globaler Mindeststandards für Transparenz, Verantwortlichkeit und Schutzrechte im Bereich Künstlicher Intelligenz. Der Fall Luka Inc. könnte daher eine Vorreiterrolle für weitere Verfahren auf nationaler und europäischer Ebene einnehmen und als Blaupause für ein datenschutzkonformes KI-Ökosystem in Europa dienen.

Quelle: Bußgeldbescheid der italienische Datenschutzbehörde Garante per la protezione dei dati personali gegen Luka Inc.

Tags: