Neue Modellkarten in Ailance KI-Governance: Was passiert, wenn sich ein KI-Modell ändert?

Ein KI-Modell wird aktualisiert. Die Anwendung funktioniert weiterhin und die bisherigen Freigaben bleiben dokumentiert. Aber gelten die ursprüngliche Risikobewertung und die getroffenen Entscheidungen noch? Mit den neuen Modellkarten in Ailance KI-Governance unterstützen wir Unternehmen dabei, solche Änderungen zu erkennen und ihre Auswirkungen auf bestehende KI-Anwendungen zu bewerten. Die Modellkarten werden von 2B Advice zentral gepflegt und aktualisiert. Ist ein Eintrag im KI-Inventar betroffen, sorgt Ailance dafür, dass Risiken neu berechnet und die zuständigen Verantwortlichen informiert werden.

Wenn ein Modellwechsel bestehende Bewertungen verändert

Ein Unternehmen verwendet einen KI-Assistenten zur Zusammenfassung eingehender Kundenanfragen. Der Anwendungsfall wurde geprüft, Risiken wurden bewertet und die Nutzung unter bestimmten Voraussetzungen freigegeben.

Nun stellt der Modellanbieter eine neue Version bereit. Diese soll komplexere Zusammenhänge besser erkennen und präzisere Antworten liefern.

Die IT übernimmt das Update. Für die Anwender ändert sich zunächst wenig. Der Assistent sieht weiterhin gleich aus und erfüllt dieselbe Aufgabe.

Bei einem Vergleich mit bisherigen Testergebnissen zeigt sich jedoch, dass das neue Modell einzelne Aussagen anders gewichtet. Es liefert überzeugendere Formulierungen, stellt bestimmte Informationen aber gelegentlich in einem anderen Zusammenhang dar.

Der fiktive Beispielfall zeigt ein grundlegendes Problem: Eine neue Modellversion kann die Voraussetzungen verändern, auf denen die ursprüngliche Risikobewertung beruhte.

Das gilt auch dann, wenn der vorgesehene Anwendungszweck unverändert bleibt.

Was verändert sich bei einem neuen KI-Modell?

Modellupdates können unterschiedliche Auswirkungen haben. Eine neue Version muss nicht schlechter oder riskanter sein. Sie kann bestehende Risiken reduzieren und gleichzeitig neue Fragestellungen aufwerfen.

Il convient notamment de tenir compte des éléments suivants :

• Leistungsfähigkeit: Verarbeitet das Modell die vorgesehenen Aufgaben weiterhin mit der erforderlichen Genauigkeit und Zuverlässigkeit?
• Fehlerverhalten: Haben sich bekannte Fehlermuster, Verzerrungen oder Einschränkungen verändert?
• Einsatzgrenzen: Kann das Modell neue Aufgaben übernehmen oder reagiert es anders auf bestimmte Anweisungen?
• Protection des données: Haben sich Datenverarbeitung, Schnittstellen oder Bereitstellungsbedingungen geändert?
• Sicherheit: Entstehen durch neue Funktionen oder Integrationen zusätzliche Angriffs- oder Missbrauchsmöglichkeiten?
• Menschliche Kontrolle: Sind die bisherigen Kontrollmaßnahmen weiterhin geeignet?

Nicht jede Änderung hat Auswirkungen auf sämtliche Bereiche. Entscheidend ist, welche bisherigen Annahmen durch die neue Version berührt werden.

Deshalb sollten Modelländerungen nicht nur technisch dokumentiert, sondern mit den tatsächlichen Anwendungsfällen verknüpft werden.

Modellkarte und KI-Inventar gehören zusammen

Une Carte modèle beschreibt die wesentlichen Eigenschaften eines KI-Modells. Dazu gehören insbesondere Anbieter, Modellversion, Fähigkeiten, bekannte Einschränkungen und verfügbare Informationen zur Leistungsfähigkeit.

Sie ist jedoch nicht mit dem konkreten betrieblichen Einsatz gleichzusetzen.

Dasselbe Modell kann beispielsweise für einen internen Dokumentenassistenten, die Auswertung von Kundenanfragen und die Unterstützung einer Personalabteilung verwendet werden.

Obwohl die technische Grundlage identisch ist, unterscheiden sich die Zwecke, verarbeiteten Daten, betroffenen Personen und möglichen Auswirkungen erheblich.

Für die KI-Governance müssen deshalb drei Ebenen auseinandergehalten werden:

• Das KI-Modell beschreibt die technische Grundlage und ihre Eigenschaften.
• Das KI-System umfasst die konkrete Anwendung einschließlich ihrer weiteren Komponenten und Kontrollmechanismen.
• Der KI-Anwendungsfall beschreibt, wofür die Anwendung im Unternehmen tatsächlich eingesetzt wird.

Im KI-Inventar werden die betrieblichen Anwendungen und ihre Governance-Informationen dokumentiert. Die Verknüpfung mit den Modellkarten schafft die Grundlage dafür, Änderungen an einem Modell den betroffenen Einträgen zuzuordnen.

Ohne diesen Zusammenhang könnte eine Carte modèle längst aktualisiert sein, während die dazugehörigen Risikobewertungen weiterhin auf dem alten Stand beruhen.

Was Ailance für seine Kunden übernimmt

Die laufende Pflege von Modellinformationen kann erheblichen Aufwand verursachen.

KI-Modelle entwickeln sich schnell weiter. Anbieter veröffentlichen neue Versionen, ändern Leistungsmerkmale oder ergänzen Informationen zu bekannten Einschränkungen.

Unternehmen müssten solche Veränderungen verfolgen, ihre Documentation aktualisieren und anschließend ermitteln, welche eigenen Anwendungen davon betroffen sind.

Mit Ailance KI-Governance übernehmen wir die zentrale Pflege und Aktualisierung der Modellkarten für unsere Kunden.

Damit endet der Prozess allerdings nicht bei einer aktualisierten Beschreibung.

Wenn sich eine Carte modèle ändert, wird berücksichtigt, welche Einträge im KI-Inventar mit dem betreffenden Modell verbunden und von der Änderung betroffen sind.

Für diese Einträge sorgt Ailance dafür, dass die Risiken auf Grundlage der aktualisierten Informationen neu berechnet werden.

Die zuständigen Verantwortlichen werden informiert, damit sie die Auswirkungen auf ihren konkreten Anwendungsfall prüfen können.

Der Zusammenhang ist entscheidend:

Carte modèle aktualisiert → concernés Inventareinträge ermittelt → Risiken neu berechnet → Responsable informiert.

Eine Modelländerung bleibt damit nicht isoliert in der technischen Documentation stehen. Sie wird zum Anlass, die vorhandene Bewertung des tatsächlichen Einsatzes erneut zu betrachten.

Der Kunde muss die zugrunde liegenden Modellinformationen nicht für jeden Anwendungsfall selbst aktualisieren. Die Verantwortung für die Bewertung des konkreten betrieblichen Einsatzes bleibt jedoch bei den zuständigen Personen im Unternehmen.

Warum die Neuberechnung der Risiken wichtig ist

Eine Risikobewertung ist immer an bestimmte Informationen und Annahmen gebunden.

Im Ausgangsbeispiel wurde der KI-Assistent freigegeben, weil seine Ergebnisse unter festgelegten Bedingungen als ausreichend zuverlässig bewertet wurden.

Ändert sich das Modell, können diese Annahmen weiterhin zutreffen. Sie können sich aber auch teilweise verändern.

Eine erneute Risikoberechnung hilft, solche Änderungen in der bestehenden Governance-Documentation zu berücksichtigen.

Daraus können sich unterschiedliche Ergebnisse ergeben:

Die automatische Neuberechnung ist dabei von der fachlichen Entscheidung zu unterscheiden.

Ein neu berechneter Risikowert ersetzt nicht die Prüfung, ob die neue Modellversion für den vorgesehenen Zweck weiterhin geeignet ist.

Er macht jedoch sichtbar, wo eine erneute Befassung erforderlich sein kann.

Besonders wichtig ist deshalb die anschließende Benachrichtigung der Verantwortlichen. Sie ermöglicht es, die fachliche Prüfung gezielt dort vorzunehmen, wo die Änderung tatsächlich Auswirkungen haben kann.

Was müssen die Verantwortlichen nach einer Modelländerung prüfen?

Nicht jeder Modellwechsel sollte einen vollständigen neuen Prüfprozess auslösen. Sinnvoll ist vielmehr eine Bewertung der konkreten Auswirkungen.

Im Beispielfall kann der Responsable zunächst vergleichen, welche Eigenschaften sich geändert haben und ob die bisher festgelegten Kontrollmaßnahmen noch ausreichen.

Ein erneuter Test mit ausgewählten Kundenanfragen kann zeigen, ob die neue Version die bisherigen Anforderungen weiterhin erfüllt.

Anschließend lässt sich entscheiden, ob die bestehenden Einsatzbedingungen unverändert bleiben können, angepasst werden müssen oder der weitere Einsatz zunächst begrenzt werden sollte.

Für diese Entscheidung benötigt der Responsable aktuelle Modellinformationen, den betroffenen Anwendungsfall, die neu berechneten Risiken und die bisherigen Prüf- und Freigabeentscheidungen.

Ailance unterstützt die Zusammenführung dieser Informationen und informiert die zuständigen Personen über relevante Änderungen.

Die fachliche Bewertung selbst bleibt eine Aufgabe der dafür bestimmten Verantwortlichen. Eine automatische Risikoberechnung bedeutet nicht, dass jede Modelländerung ohne weitere Prüfung freigegeben werden könnte.

Warum aktuelle Modellkarten auch regulatorisch relevant sind

Die EU-KI-Verordnung unterscheidet zwischen KI-Modellen und KI-Systemen sowie zwischen den Pflichten ihrer Anbieter und Betreiber.

Artikel 53 enthält für Anbieter von KI-Modellen mit allgemeinem Verwendungszweck Anforderungen an die Erstellung und Aktualisierung technischer Dokumentationen. Dazu gehören Informationen über Fähigkeiten und Grenzen der Modelle.

Für Hochrisiko-KI-Systeme sieht die Verordnung unter den jeweiligen Anwendungsvoraussetzungen weitergehende Anforderungen an Risikomanagement, technische Documentation und die Behandlung relevanter Änderungen vor.

Daraus folgt keine allgemeine gesetzliche Pflicht, für jede betriebliche KI-Nutzung eine Carte modèle in einem bestimmten Format anzulegen.

Eine gepflegte Carte modèle ist jedoch eine sinnvolle organisatorische Grundlage, um Modellinformationen aktuell zu halten und Änderungen nachvollziehbar in die Bewertung konkreter KI-Anwendungen einzubeziehen.

Ebenso ist zwischen einer Neuberechnung von Risiken, der Risikoklassifizierung nach dem AI Act und einer möglichen Analyse d'impact relative à la protection des données zu unterscheiden. Nicht jede Modelländerung verändert die gesetzliche Risikoklasse oder macht eine neue DSFA erforderlich.

Weniger Pflegeaufwand, bessere Entscheidungsgrundlagen

Die eigentliche Herausforderung der KI-Governance liegt nicht allein darin, einen neuen KI-Anwendungsfall erstmalig zu erfassen.

Schwieriger ist es, die Documentation und die dazugehörigen Entscheidungen über längere Zeit aktuell zu halten.

Das gilt besonders für Unternehmen, die dasselbe Modell in mehreren Bereichen verwenden.

Ohne eine gemeinsame Modellbasis müssten Änderungen mehrfach recherchiert, dokumentiert und bewertet werden. Dabei besteht die Gefahr, dass einzelne Anwendungen übersehen werden oder unterschiedliche Fachbereiche mit veralteten Informationen arbeiten.

Die zentrale Pflege der Modellkarten in Ailance reduziert diesen wiederkehrenden Aufwand.

Durch die Verknüpfung mit dem KI-Inventar können Auswirkungen auf bestehende Einträge berücksichtigt, Risiken neu berechnet und die zuständigen Personen informiert werden.

Das unterstützt eine einheitliche Informationsgrundlage, ohne die unterschiedlichen Anforderungen der einzelnen Anwendungsfälle zu übergehen.

Fazit: Eine Modellkarte muss Auswirkungen auf den tatsächlichen Einsatz haben

Une Carte modèle ist nur dann dauerhaft nützlich, wenn sie mit der Entwicklung des eingesetzten Modells Schritt hält.

Mit den neuen Modellkarten in Ailance KI-Governance übernehmen wir die laufende Pflege der Modellinformationen für unsere Kunden.

Wird eine Änderung für bestehende Einträge im KI-Inventar relevant, werden die Risiken neu berechnet und die Verantwortlichen informiert.

Damit verbindet Ailance die Aktualisierung der technischen Modellinformationen mit der laufenden Risikosteuerung im Unternehmen.

Die fachliche Entscheidung bleibt dort, wo sie hingehört: bei den Verantwortlichen für den jeweiligen KI-Einsatz. Sie erhalten jedoch eine aktuellere Grundlage, um diese Entscheidung treffen zu können.

Denn entscheidend ist nicht allein, welches KI-Modell ein Unternehmen verwendet, sondern ob die Bewertung seines Einsatzes noch zu diesem Modell passt.

Questions et réponses

Was ist eine Modellkarte in Ailance KI-Governance?

Une Carte modèle beschreibt wesentliche Eigenschaften eines KI-Modells, darunter Anbieter, Modellversion, Fähigkeiten, bekannte Einschränkungen und verfügbare Informationen zur Leistungsfähigkeit. Durch die Verknüpfung mit dem KI-Inventar können Änderungen an einem Modell den betroffenen betrieblichen Anwendungen zugeordnet werden.

Was passiert in Ailance, wenn sich eine Modellkarte ändert?

Wenn eine Modelländerung für verbundene Einträge im KI-Inventar relevant ist, werden die betroffenen Einträge ermittelt und die Risiken auf Grundlage der aktualisierten Informationen neu berechnet. Anschließend werden die zuständigen Verantwortlichen informiert.

Muss nach jedem Modellupdate eine KI-Anwendung vollständig neu geprüft werden?

Nein. Nicht jeder Modellwechsel muss einen vollständigen neuen Prüfprozess auslösen. Entscheidend ist, welche bisherigen Annahmen, Risiken oder Kontrollmaßnahmen von der Änderung betroffen sind und ob daraus weiterer Prüf- oder Anpassungsbedarf entsteht.

Ersetzt die automatische Risikoneuberechnung die fachliche Prüfung?

Nein. Ein neu berechneter Risikowert zeigt, wo sich eine erneute Befassung ergeben kann. Die Entscheidung, ob ein KI-Modell für den vorgesehenen Einsatz weiterhin geeignet ist und ob bestehende Maßnahmen ausreichen, bleibt bei den zuständigen Verantwortlichen.

Führt eine Änderung des KI-Modells automatisch zu einer neuen Risikoklasse oder DSFA?

Nein. Eine Modelländerung verändert nicht automatisch die gesetzliche Risikoklassifizierung nach dem AI Act und führt auch nicht automatisch zu einer neuen Analyse d'impact relative à la protection des données. Entscheidend sind die konkrete Änderung, der jeweilige Anwendungsfall und ihre tatsächlichen Auswirkungen.