Marcus Belke
CEO di 2B Advice GmbH, che guida l'innovazione nella privacy conformità e di gestione del rischio e di guidare lo sviluppo di Ailance, la nuova generazione di prodotti per la salute. conformità piattaforma.
KI-Agenten sind dabei, von „spannenden Pilotprojekten“ zu einer neuen Betriebsebene in Unternehmen zu werden: Sie automatisieren Aufgabenketten, greifen auf Daten zu und führen Aktionen aus, das alles teilweise autonom. Das ist so gewollt, birgt aber auch Sicherheitsrisiken. Der aktuelle „Cyber Pulse: An AI Security Report“ von Microsoft warnt vor dem unkontrollierten Einsatz von Schatten-KI-Agenten. Welche konkreten Maßnahmen eine deutlich höhere Sicherheit garantieren sollen.
Wichtige Zahlen aus dem „Cyber Pulse: An AI Security Report“ von Microsoft
Aus dem Report stechen zwei Befunde heraus:
Agents skalieren schneller, als viele Unternehmen sie sehen und steuern können.
Laut Microsoft-Daten setzen bereits über 80 Prozent der Fortune-500-Unternehmen „aktive Agenten“ ein, die häufig mit Low-Code/No-Code-Tools erstellt wurden. Dadurch findet der Aufbau und die Nutzung von Agenten nicht mehr nur in technischen Teams statt.
Kontrollen hinken hinterher.
Microsoft verweist auf Daten, denen zufolge nur 47 Prozent der Organisationen spezifische Sicherheitskontrollen für GenAI implementieren, während 29 Prozent der Mitarbeitenden bereits nicht genehmigte KI-Agenten für Arbeitsaufgaben nutzen. Dies ist die klassische „Shadow-IT“-Dynamik, jedoch mit einer deutlich größeren Reichweite, da KI-Agenten Aufgabenketten und Datenzugriffe automatisieren.
Das neue Risiko: „Double Agents“
Microsoft beschreibt ein Muster, das von vielen Unternehmen unterschätzt wird: KI-Agenten können zu Doppelagenten („Double Agents“) werden, wenn sie zu weitreichende Berechtigungen erhalten oder durch „untrusted input“ (beispielsweise manipulierte Inhalte, Datenquellen oder Anweisungen in Workflows) fehlgeleitet werden. Die Gefahr dabei ist, dass ein Agent nicht nur „antwortet“, sondern handelt. Er kann Dateien lesen, Tickets anlegen, E-Mails auslösen, Daten zusammenführen oder Systeme ansteuern. Dadurch können aus Fehlentscheidungen oder Manipulationen schnell echte Vorfälle werden.
Typische Auslöser sind Over-Permissioning (der Agent hat mehr Berechtigungen als nötig), fehlende Stanziamento di fondi (der Anwendungsbereich ist nicht klar definiert) oder unkontrollierte Kontextquellen (der Agent nutzt Informationen aus Quellen, die von Angreifern beeinflusst werden können). Das Risiko dabei ist nicht nur „falsche Antworten“, sondern auch Datenabfluss, Policy-Umgehung oder unbeabsichtigte Aktionen in produktiven Systemen.
Microsoft betont, dass es sich dabei nicht um ein theoretisches Szenario handelt: Der Report verweist unter anderem auf beobachtete Kampagnen rund um „Memory Poisoning“, bei denen Angreifer die persistente „Erinnerung“ eines Assistenten/Agenten so beeinflussen, dass dessen späteres Verhalten oder Antworten in eine gewünschte Richtung gelenkt werden. Gerade weil solche Effekte leise sind (es handelt sich nicht um klassische Malware und es gibt oft keinen sofortigen Alarm), ist die Gefahr groß, dass sie lange unentdeckt bleiben – bis ein Audit, ein Incident oder ein „unerklärlicher“ Datenfluss das Thema auf den Tisch bringt.
Suggerimento di lettura: KI-Governance in 5 Schritten erfolgreich umsetzen
Zero Trust jetzt auch für KI-Agenten
Für Microsoft kann es deshalb nur eine Konsequenz geben: Behandeln Sie Agenten wie Mitarbeiter oder Service-Accounts. Da Agenten Entscheidungen treffen und Aktionen ausführen, brauchen sie die gleichen Grundregeln wie jede andere Identität in der IT, insbesondere das Befolgen von Zero Trust.
Zero Trust bedeutet in diesem Zusammenhang vor allem drei Dinge:
- Least Privilege: Ein Agent erhält nur die Rechte, die er für seinen klar definierten Zweck benötigt und nicht „für alle Fälle“. Dies umfasst auch Zeitbegrenzungen, Rollen und eine saubere Trennung nach Datenklassen. Jede zusätzliche Berechtigung kann den Schaden vergrößern, wenn der Agent fehlgeleitet oder kompromittiert wird.
- Explicit verification: Zugriffe und Aktionen sollten nicht „implizit“ passieren. Identität, Kontext und Risiko werden bei jeder relevanten Aktion geprüft: Welcher Agent ist das? Wer ist Owner? In welchem Prozess befindet er sich? Auf welche Daten greift er zu und ist das für diesen Zweck erlaubt? Dazu gehören nachvollziehbare Genehmigungswege, Policy-Enforcement und Audit-Logs, die im Zweifel erklären können, warum eine Aktion ausgeführt wurde.
- Assume compromise: Designen Sie Agenten so, als ob eine Manipulation oder ein Fehlverhalten irgendwann passieren kann. Das bedeutet: klare Guardrails, Monitoring auf Anomalien, sichere Default-Einstellungen, schnelle Reaktionswege und ein Incident-Playbook, das Agenten-Szenarien explizit abdeckt.
Praktisch heißt das: Ein Agent ist kein „Tool“, das man nur freischaltet. Er ist eine handelnde Identität, die man begrenzen, überwachen und auditierbar betreiben muss.
Observability als Fundament für KI-Agenten
Microsoft setzt außerdem auf Observability als Grundvoraussetzung: Man kann nichts schützen, was man nicht sehen kann („you can’t protect what you can’t see“). Damit ist eine Steuerungsebene (Control Plane) gemeint, die KI-Agenten im Alltag transparent macht. Diese Ebene schafft die Grundlage, um Governance und Security überhaupt durchsetzen zu können. Sie zeigt:
- Welche Agenten existieren.
- Wem sie gehören.
- Mit welchen Systemen und Daten sie interagieren.
- Wie sie sich verhalten.
Wichtig: Observability dient auch der laufenden Kontrolle. Damit können Organisationen frühzeitig erkennen, wenn ein Agent plötzlich auf neue Datenklassen zugreift, wenn er ungewöhnliche Aktionen auslöst oder wenn sich Abhängigkeiten im Hintergrund verändern..
Laut Microsoft umfasst Observability die folgenden fünf Bereiche:
- Registry: Alle im Unternehmen eingesetzten KI-Agenten werden in einem zentralen Register eingetragen. Dieses Inventar hilft dabei, eine unkontrollierte Verbreitung von Agenten zu verhindern und ermöglicht die Rechenschaftspflicht. Nicht genehmigte Agenten können eingeschränkt oder unter Quarantäne gestellt werden.
- Access control: Jeder Agent wird mit denselben identitäts- und richtliniengesteuerten Zugriffskontrollen verwaltet, die auch für menschliche Benutzer und Anwendungen gelten. Konsequent durchgesetzte Berechtigungen mit minimalen Privilegien stellen sicher, dass Agenten nur auf die Daten, Systeme und Workflows zugreifen können, die zur Erfüllung ihres Zwecks erforderlich sind.
- Visualization: Echtzeit-Dashboards und Telemetrie bieten Einblicke in die Interaktion von Agenten mit Personen, Daten und Systemen. Führungskräfte können sehen, wo Agenten tätig sind, Abhängigkeiten verstehen und Verhalten und Auswirkungen überwachen, wodurch Missbrauch, Abweichungen oder aufkommende Risiken schneller erkannt werden können.
- Interoperability: Agenten arbeiten unter einem einheitlichen Governance-Modell. Diese Interoperabilität ermöglicht es Agenten, mit Menschen und anderen Agenten über Workflows hinweg zusammenzuarbeiten und gleichzeitig innerhalb derselben Unternehmenskontrollen verwaltet zu werden.
- Security: Integrierte Schutzmaßnahmen schützen Agenten vor internem Missbrauch und externen Bedrohungen. Sicherheitssignale, die Durchsetzung von Richtlinien und integrierte Tools helfen Unternehmen, kompromittierte oder falsch ausgerichtete Agenten frühzeitig zu erkennen und schnell zu reagieren.
Observability mit Ailance KI-Governance umsetzen
Wenn Sie KI-Agenten produktiv einsetzen möchten, lohnt es sich jetzt, einen Startpunkt für die Governance zu setzen. Governance Ailance AI deckt genau die Bausteine ab, die Microsoft als Mindeststandard beschreibt:
- Agent‑Inventar & Ownership: Trasparenza darüber, welche KI-Agenten existieren, wem sie gehören und wofür sie genutzt werden.
- Zugriffssteuerung und Least Privilege: Rechte minimal halten, Rollen sauber definieren und nachvollziehbar genehmigen.
- Nachvollziehbarkeit: Sichtbarkeit über Datenflüsse, Aktionen, Abhängigkeiten und Auffälligkeiten.
- Compliance‑Kontrollen für KI: Datenklassifizierung, Schutzregeln, Protokollierung und Policy‑Durchsetzung für Agent‑Workflows.
- Sanktionierte Nutzung statt Schatten-Agenten: Ein freigegebener, sicherer Weg, der Adoption ermöglicht und Schattenlösungen reduziert.
- Regulatorik und Management‑Reporting: Documentazione und KPIs, damit das Thema auch auf Executive‑Ebene steuerbar wird.
Fordern Sie einen KI‑Governance‑Mindeststandard‑Check an oder buchen Sie eine Ailance‑Demo. In einem kurzen Termin zeigen wir Ihnen, wo Sie bereits gut aufgestellt sind und mit welchen Maßnahmen Sie den größten Hebel für eine sichere Skalierung erreichen.
Marcus Belke è amministratore delegato di 2B Advice, nonché avvocato ed esperto di informatica per Protezione dei dati e digitale Conformità. Scrive regolarmente di governance dell'IA, conformità al GDPR e gestione del rischio. Potete trovare maggiori informazioni su di lui sul sito Pagina del profilo dell'autore.
German 
English 
Italian 
French