KI-Update: Neue KI-Funktionen in bestehender Software als Governance-Risiko

KI-Update mit Folgen: Warum neue KI-Funktionen in bestehender Software ein hohes Governance-Risiko darstellen.
Kategorien:
Bild von Marcus Belke

Marcus Belke

CEO of 2B Advice GmbH, driving innovation in privacy compliance and risk management and leading the development of Ailance, the next-generation compliance platform.

Künstliche Intelligenz hält still und leise als Update Einzug in Software, im Rahmen regulärer Versionsupdates. Für Datenschutz- und Compliance-Experten bedeutet das: Es passiert etwas Grundlegendes, ohne dass die etablierten Freigabeprozesse greifen. In mittelständischen Unternehmen wie in Großkonzernen herrscht daher ein mulmiges Gefühl: Welche neuen Datenflüsse und Risiken bringt dieses KI-Update mit sich? Gelten die ursprünglichen Governance-Prozesse für die Freigabe der Software immer noch? Diese Fragen markieren einen blinden Fleck in vielen Organisationen, denn KI kommt oft durch die Hintertür. Worauf Unternehmen bei KI-Updates achten sollten.

Governance-Blindspot: KI-Update ohne Freigabe

Bei der Einführung einer Software durchläuft man normalerweise aufwendige Prüfungen: Datenschutz-Folgenabschätzungen, IT-Sicherheitsaudits, Freigaben durch Gremien. Doch was passiert, wenn die seit Jahren genutzte Software via Update plötzlich neue KI-Funktionen erhält? Die ursprünglichen Prüfungen erfassen diese nachträglichen Änderungen nicht. Ursprungszweck und Datenflüsse können sich ändern, ohne dass jemand merkt, dass die damalige Freigabe eigentlich nicht mehr zum aktuellen Funktionsumfang passt. So entsteht ein Governance-Blindspot: Das System läuft produktiv, gilt intern als „abgenommen“, während die neuen KI-Komponenten vollkommen außerhalb des Sichtfelds der Verantwortlichen liegen.

Dieser blinde Fleck ist gefährlich. Eine KI-Funktion, die ursprünglich nie genehmigt wurde, verändert plötzlich den Charakter der Anwendung. Risikoprofile verschieben sich, doch weil es kein neues Projekt gibt, fehlt ein Anstoß für eine erneute Prüfung. So können Zweckänderungen unbemerkt bleiben und mit ihnen potenzielle Verstöße gegen Datenschutz oder Compliance, die nie bewusst abgewogen wurden. Ohne Transparenz und Aktualisierung der Dokumentation bleibt KI in laufenden Systemen buchstäblich unsichtbar.

Was sich durch neue KI-Features konkret ändert

Neue KI-Features in bestehenden Tools – das klingt oft harmlos. Das kann etwa ein Assistenzmodus sein, automatische Analysen oder smarte Empfehlungen. Tatsächlich bringen sie aber ganz konkrete Änderungen mit sich:

  • Automatisierte Analysen statt manueller Prozesse: Plötzlich interpretiert die Software-Daten selbstständig. Ein CRM-System könnte z.B. automatisch Kundenstimmung analysieren oder „schlaue“ Vorhersagen treffen, wo früher nur Daten erfasst wurden. Entscheidungen werden dadurch teilautomatisiert, mit allen Vor- und Nachteilen.

  • Neue Datenflüsse in die Cloud: Häufig funktionieren KI-Funktionen nur mithilfe externer Rechenleistung oder Modelle. Die Folge: Daten, die bisher intern blieben, wandern nun zur Verarbeitung auf Server des Anbieters oder in die Cloud. Ein aktuelles Beispiel zeigt Microsofts Outlook-App, die nach einem Update alle E-Mails zur KI-Analyse an zentrale Microsoft-Server sendet. Sensible Inhalte verlassen unbemerkt die eigene Kontrolle, um von der KI „verzaubert“ zu werden. In vielen Systemen passieren solche Cloud-Uploads im Hintergrund, ohne dass Nutzer oder Admins es sofort merken. Die Blackbox-Effekte sind vorprogrammiert.

  • Geänderter Zweck der Datenverarbeitung: Neue KI-Funktionen nutzen vorhandene Daten oft für einen anderen Zweck als ursprünglich vorgesehen. Beispielsweise könnte ein Tool, das primär zur Dokumentenablage diente, nun mittels KI auch Inhaltsanalysen oder Sentiment-Bewertungen durchführen. Damit ändert sich der Verwendungszweck der Datenverarbeitung, was datenschutzrechtlich hochrelevant ist (Stichwort Zweckänderung).

  • Mangelnde Transparenz für Nutzer: Häufig sind diese Features standardmäßig aktiv oder werden zumindest prominent angeboten, ohne dass klar kommuniziert wird, wohin Daten fließen oder wie die KI arbeitet. Nutzer sehen den Mehrwert („endlich Zusammenfassungen langer E-Mails“), haben aber kaum Einblick, was im Hintergrund mit ihren Daten geschieht. So überfordern komplexe Opt-out-Einstellungen viele Anwender, und die Voreinstellungen begünstigen maximale Datenfreigabe.


Neue KI-Funktionen ändern Spielregeln. Aus lokalen Anwendungen werden verteilte, cloudgestützte Systeme. Daten, die bislang im Haus blieben, verlassen plötzlich die sichere Burg. Und aus statischen Tools werden lernende Systeme, die ganz andere Risiken bergen als die ursprüngliche Software.

Warum klassische Governance-Prozesse bei KI-Updates versagen

In Unternehmen sind klassische Governance- und Compliance-Prozesse meist projektorientiert: Sie greifen, wenn eine neue Software beschafft wird oder ein größeres Upgrade als Projekt aufgesetzt wird. Ein Update ist jedoch formal gesehen kein neues Projekt. Es wird entweder per Auto-Update vom Hersteller bereitgestellt oder als Routine-Patch durch die IT-Abteilung installiert. Für Version 3.5.1 wird kein Konzept geschrieben und kein Lenkungsausschuss tagt für einen neuen Menübutton.

Dadurch fallen KI-Änderungen via Update oft durchs Raster. Die Beschaffungsabteilung ist nicht involviert, da nichts Neues eingekauft wird, und die IT-Governance, wie Change Advisory Boards, behandelt sie als technischen Patch ohne strategische Bedeutung. Datenschutz und Compliance erfahren oft erst davon, wenn etwas schiefgeht. Die bestehenden Freigabeprozesse sind für inkrementelle Änderungen blind.

Ein weiterer Aspekt ist, dass selbst wenn die IT-Abteilung die Update-Notes liest, Techniker nicht immer die Compliance-Implikationen erkennen. Ein Changelog, in dem „KI-gestützte Einblicke” angekündigt werden, löst in der IT vielleicht technische Freude aus. Aber wer übersetzt das in Datenschutz-Risiken? Oft fehlt eine klare Zuordnung, wer bei neuen Funktionen Alarm schlagen müsste. So entsteht eine Lücke zwischen technischer Wartung und organisatorischer Governance.

Hinzu kommt, dass Softwareanbieter zunehmend auf SaaS-Modelle setzen, bei denen kontinuierlich Updates eingespielt werden. Unternehmen bekommen neue Features oft automatisch geliefert, ob sie wollen oder nicht. Wenn Governance-Prozesse nicht entsprechend agil sind, hinken sie den Änderungen hinterher. Veraltete Prüfrhythmen wie ein jährliches Review fangen diese Dynamik nicht ein. So zeigte kürzlich das Weltwirtschaftsforum, dass die größten operativen Risiken von KI nicht bei der ersten Inbetriebnahme entstehen, sondern zu einem späteren Zeitpunkt. Wenn sich Systeme verändern oder mit anderen interagieren. Starre Governance-Zyklen können diese Verschiebungen kaum erfassen.

Datenschutz- und KI-Governance-Risiken

Unbemerkte KI-Updates bergen handfeste Risiken in Bezug auf Datenschutz und Compliance:

  • Zweckänderung und fehlende Rechtsgrundlage: Wenn personenbezogene Daten plötzlich für einen neuen KI-Zweck genutzt werden, stellt sich die Frage der Rechtsgrundlage. Die ursprüngliche Einwilligung oder vertragliche Vereinbarung deckt die neue Nutzung möglicherweise nicht ab. Beispielsweise wurde der Dienst für X gekauft, macht jetzt aber zusätzlich Y mit den Daten. Das könnte eine Zweckänderung sein, die nach Art. 6 Abs. 4 DSGVO einer Prüfung bedarf. Ohne neue Legitimation steht die Verarbeitung auf dünnem Eis.

  • Automatisierte Entscheidungen: Neue KI-Funktionen können in Bereiche vordringen, die unter Art. 22 DSGVO (Automatisierte Entscheidungen) fallen. Ein Update könnte beispielsweise ein automatisiertes Scoring einführen, das bestimmte Nutzerentscheidungen beeinflusst (etwa eine automatische Bewerbervorauswahl in einer HR-Software). Solche automatisierten Einflüsse erfordern jedoch besondere Sorgfalt, Transparenz und gegebenenfalls Widerspruchsmöglichkeiten. All das war bei der ursprünglichen Einführung vielleicht kein Thema, jetzt aber sehr wohl.

  • Datenabfluss und Cloud-Verarbeitung: KI-Features bergen das Risiko eines ungewollten Datenexports. So können personenbezogene Daten in Drittstaaten abfließen (Stichwort Cloud in den USA), was Zusatzauflagen nach DSGVO (z.B. Transfer Impact Assessments, Standardvertragsklauseln) erforderlich macht. Wenn niemand davon weiß, sind solche Anforderungen natürlich nicht erfüllt. Geheimnisträger-Daten (Betriebsgeheimnisse, vertrauliche Kundendaten) könnten auf fremden Servern landen – ein Alptraum für Datenschutzbeauftragte.

  • Bias und Fehlanalysen: KI-Funktionen bergen neue inhaltliche Risiken, etwa Verzerrungen (Bias) oder falsche Ergebnisse. Was, wenn die automatisierte Analyse diskriminierende Tendenzen aufweist oder grobe Fehler macht? Anfangs war die Software vielleicht „nur ein Tool“, jetzt trifft sie Vorentscheidungen. Die Folge: Das Unternehmen steht dafür in der Verantwortung. Ohne eine Neubewertung der Risiken läuft man Gefahr, unbewusst gegen Gleichbehandlungsgrundsätze oder Sorgfaltspflichten zu verstoßen.

KI-Verordnung und die Folgen

Die KI-Verordnung (EU AI Act) bringt neue Pflichten ins Spiel. Sie stuft KI-Systeme je nach Risiko ein und verlangt für Hochrisiko-KI strenge Maßnahmen wie Risikomanagement, Dokumentation oder menschliche Aufsicht. Ob ein System als „Hochrisiko“ eingestuft wird, hängt von seinem Einsatzzweck ab.

Ein bestehendes Tool könnte durch ein KI-Update plötzlich in eine höhere Risikoklasse rutschen. Ein Beispiel dafür wäre ein Personalmanagement-Tool, das nach einem KI-Update Lebensläufe mithilfe von KI vorsortiert. Dies würde unter die Kategorie „Einsatz von KI in Personalentscheidungen“ fallen. Damit wären eigentlich Compliance-Maßnahmen nach der KI-Verordnung nötig, aber das ist niemandem bislang aufgefallen.

Außerdem sieht die KI-Verordnung bei Verstößen empfindliche Strafen vor: bis zu 35 Millionen Euro oder sieben Prozent des globalen Umsatzes bei Verstößen. Diese Zahlen verdeutlichen, wie kritisch ungeprüfte KI-Features werden können.

Lese-Tipp: Mit Ailance KI-Governance die KI-Verordnung in den Griff bekommen 

Schatten-KI: Unklare Verantwortung im laufenden Betrieb

Warum bleiben solche KI-Updates überhaupt unbemerkt? Ein Kernproblem ist die unklare Verantwortlichkeit im laufenden Betrieb. Sobald eine Software einmal eingeführt und freigegeben wurde, fühlt sich häufig niemand mehr explizit für grundlegende Neubewertungen zuständig.

Zwar gibt es typischerweise einen Anwendungs-Owner oder Prozessverantwortlichen für das System, dessen Fokus liegt jedoch oft auf Funktionalität und Nutzen im Fachbereich und weniger auf Compliance. Die IT-Abteilung hält das System technisch am Laufen und pflegt Updates ein, sieht sich aber nicht als Datenschützer. Datenschutzbeauftragte und Compliance-Teams wiederum konzentrieren sich meist auf neue Projekte und große Änderungen, da ihre Ressourcen begrenzt sind. Kein Wunder also, dass niemand ein scheinbar kleines Feature-Update auf dem Schirm hat.

Im Ergebnis herrscht eine Art Zuständigkeits-Vakuum: Ein KI-Assistent geht live, doch wer hätte ihn beurteilen sollen? Die Fachabteilung? Die IT? Der Datenschutz? Alle dachten unbewusst, jemand anderes hätte das schon im Blick. Formal ist niemand damit beauftragt, nach der Einführung Änderungen auf Risiken zu prüfen. Es fehlt eine Verantwortungskette für den Betrieb. Während bei neuen Anschaffungen klare Verantwortliche benannt werden, fehlt oft eine ähnlich klare Regelung, wer bei Feature X in Version Y Alarm schlagen muss.

Dabei fordern Aufsichtsbehörden wie die BaFin für den Finanzsektor längst genau das: Verantwortlichkeiten müssen klar zugewiesen und KI-Risiken laufend gemanagt werden. Doch viele Unternehmen haben intern noch keine Rollen wie einen „KI-Verantwortlichen pro System“ etabliert. Ohne einen solchen Governance Owner bleibt KI im Betrieb eben schnell herrenlos und Risiken bleiben liegen.

Notwendiger Perspektivwechsel: Governance muss KI-Updates umfassen

Angesichts dieser Entwicklungen benötigen Unternehmen einen Perspektivwechsel in Bezug auf ihre Governance. Es reicht nicht mehr aus, Governance nur auf große Projekte oder Anschaffungen anzuwenden. Auch die laufende Nutzung und Weiterentwicklung bereits eingeführter Tools muss im Fokus stehen.

Was heißt das konkret? „Governance by Design“ darf nicht am Tag der Produktionssetzung enden. Vielmehr muss es Mechanismen geben, die kontinuierlich oder zumindest regelmäßig überprüfen, ob ein System noch im grünen Bereich läuft. Updates – egal, ob es sich um kleine Patches oder große Versionssprünge handelt – sollten einen definierten Prozess auslösen. Es sollte etwa eine Kurzprüfung erfolgen, ob neue Funktionen datenschutz- oder sicherheitsrelevant sind. Wenn ja, müssen sie in die bestehenden Compliance-Prozesse eingespielt werden (z.B. Nachtrag zur DSFA, Update der Dokumentation, etc.).

Unternehmen müssen ihre Tool-Landschaft proaktiv managen. Dazu gehört, die Roadmaps der Softwareanbieter im Blick zu haben: Sind KI-Features auf der Produkt-Roadmap geplant? Gibt es Beta-Programme, die evaluiert werden sollten? So lässt sich frühzeitig einschätzen, welche Änderungen ins Haus stehen. Idealerweise bleiben Governance-Teams mit den Herstellern im Dialog und holen frühzeitig Informationen über geplante KI-Funktionen ein.

Auch intern ist Awareness gefragt: Fachbereiche und IT müssen dafür sensibilisiert werden, KI-Änderungen nicht einfach als nette Zusatzfunktionen abzutun. Stattdessen sollte klar sein: Jede größere neue Funktion ist ein Anlass, kurz innezuhalten und zu fragen: „Gibt es hier neue Risiken oder Pflichten?“

Dieser Wandel hin zu einer dynamischen, kontinuierlichen Governance erfordert sicher neue Prozesse oder Tools. Er ist jedoch notwendig, um mit der rasanten Technologie-Entwicklung Schritt zu halten. Agile Methoden gibt es nicht nur in der Softwareentwicklung, sondern wir brauchen sie auch in der KI-Governance: weg von punktuellen Audits, hin zu laufender Überwachung und Anpassung. Nur so lassen sich die größten Risiken abfangen.

Konkrete Empfehlungen für KI-Updates

Wie lassen sich die beschriebenen Risiken praktisch in den Griff bekommen? Zum Abschluss folgen einige konkrete Empfehlungen, die jedes Unternehmen – ob Mittelstand oder Großkonzern – umsetzen sollte:

  • Verantwortlichkeiten pro System festlegen: Benennen Sie für jedes wichtige IT-System einen Owner, der nicht nur für die Technik, sondern explizit auch für Governance-Aspekte verantwortlich ist. Diese Person oder dieses Gremium ist dafür verantwortlich, Änderungen im Auge zu behalten, Risikobewertungen anzustoßen und als Bindeglied zwischen Fachbereich, IT und Compliance zu dienen. Klare Rollen verhindern ein Zuständigkeits-Vakuum.

  • Prozess zur Überwachung von Updates einführen: Etablieren Sie einen Prozess, der regelmäßig auf Updates prüft, z.B. einen quartalsweisen Check der Release-Notes wichtiger Software oder ein Abo für Hersteller-News. Entscheidend ist, dass Sie jedes anstehende Update kurz nach „relevant für Datenschutz/Governance – ja/nein?“ bewerten. Verdächtige Stichworte wie KI, AI, Machine Learning, Cloud-Service, Analytics etc. sollten automatisch einen Hinweis an das Governance-Team auslösen.

  • Kriterien für eine Neubewertung definieren: Legen Sie unternehmensweit fest, wann ein Update eine Neubewertung erfordert. Etwa: „Verarbeitet das Update neu personenbezogene Daten? Gibt es Datenübertragungen an neue Empfänger? Entsteht ein neuer Zweck der Verarbeitung? Werden automatisierte Entscheidungen eingeführt?“ Sobald eines dieser Kriterien erfüllt ist, muss der Datenschutzbeauftragte informiert und gegebenenfalls eine Datenschutz-Folgenabschätzung aktualisiert werden. Dieser Kriterienkatalog sollte bekannt sein und sich leicht anwenden lassen.

  • Neue Funktionen in die Datenschutz-, Sicherheits- und Governance-Prozesse einspeisen: Stellen Sie sicher, dass kein Feature live geht, ohne zuvor einer Compliance-Prüfung unterzogen worden zu sein. Praktisch kann das beispielsweise so aussehen, dass die IT der Datenschutz-Abteilung neue Feature-Toggles oder Module bereits vor der Aktivierung meldet. Oder der Fachbereich darf eine neue KI-Funktion erst nutzen, wenn die Compliance-Teams ihr OK gegeben haben. Dies lässt sich in Prozessen oder auch technisch (etwa durch deaktivierte Standardeinstellungen) umsetzen. Wichtig ist, dass Datenschutz und Security bei neuen Features automatisch mit am Tisch sitzen.

KI-Update-Prozess mit Ailance KI-Governance automatisieren

Erwägen Sie den Einsatz einer Governance-Plattform wie „Ailance KI-Governance“, um all die oben genannten Maßnahmen effektiv zu steuern. Solche Tools bieten beispielsweise Modellkarten, automatisierte Workflows für Risikoabwägungen und Freigaben sowie eine Integration in bestehende Datenschutzprozesse.

Lese-Tipp: Darum sind Modellkarten für die Dokumentation so wichtig

Ailance KI-Governance ermöglicht es, jede KI-Verarbeitung zu registrieren, Verantwortliche zuzuordnen und automatisch Datenschutzprüfungen auszulösen, sobald personenbezogene Daten im Spiel sind. Workflows erzwingen, dass ohne vollständige Angaben keine Freigabe erfolgt, und Erinnerungen stellen sicher, dass regelmäßige Re-Audits stattfinden. Eine solche Plattform kann Transparenz schaffen und den blinden Fleck eliminieren, indem sie Updates, Risiken und Nachweise zentral sichtbar und steuerbar werden.

Stellen Sie sicher, dass KI nützt, ohne die Kontrolle zu verlieren. Denn am Ende soll KI im Unternehmen Wert schaffen und kein unkontrolliertes Risiko darstellen.

Marcus Belke ist CEO von 2B Advice sowie Jurist und IT-Experte für Datenschutz und digitale Compliance. Er schreibt regelmäßig über KI-Governance, DSGVO-Compliance und Risikomanagement. Mehr über ihn erfahren Sie auf seiner Autorenprofil-Seite.

Tags:
Share this post :