Marcus Belke
CEO de 2B Advice GmbH, moteur de l'innovation dans le domaine de la vie privée conformité et de la gestion des risques, et a dirigé le développement d'Ailance, la nouvelle génération de conformité plateforme.
Intelligence artificielle fait tranquillement son entrée dans les logiciels sous forme de mise à jour, dans le cadre des mises à jour régulières des versions. Pour les experts en protection des données et en conformité, cela signifie que quelque chose de fondamental se produit sans que les processus d'approbation établis ne s'appliquent. Dans les entreprises de taille moyenne comme dans les grands groupes, un sentiment de malaise règne donc : quels sont les nouveaux flux de données et les risques que cette mise à jour de l'IA implique ? Les processus de gouvernance initiaux pour l'approbation du logiciel sont-ils toujours valables ? Ces questions constituent un point aveugle dans de nombreuses organisations, car l'IA entre souvent par la petite porte. Ce à quoi les entreprises doivent faire attention lors des mises à jour de l'IA.
Avertissement sur la gouvernance : mise à jour de l'IA sans validation
Lors de l'introduction d'un logiciel, on passe généralement par des contrôles complexes : Études d'impact sur la protection des données, audits de sécurité informatique, approbations par des comités. Mais que se passe-t-il lorsque le logiciel utilisé depuis des années reçoit soudainement de nouvelles fonctions d'IA via une mise à jour ? Les contrôles initiaux ne tiennent pas compte de ces changements ultérieurs. L'objectif initial et les flux de données peuvent changer sans que personne ne remarque que l'autorisation de l'époque ne correspond plus à l'étendue des fonctions actuelles. Il en résulte un point aveugle en matière de gouvernance : le système fonctionne en production, est considéré comme „accepté“ en interne, alors que les nouveaux composants d'IA sont totalement hors du champ de vision des responsables.
Ce point aveugle est dangereux. Une fonction d'IA qui n'a jamais été approuvée à l'origine change soudainement la nature de l'application. Les profils de risque se déplacent, mais comme il n'y a pas de nouveau projet, il n'y a pas d'impulsion pour un nouvel examen. Ainsi, les changements d'objectifs peuvent passer inaperçus et, avec eux, les violations potentielles des règles de sécurité. Protection des données ou Conformité, qui n'ont jamais été délibérément pesées. Sans Transparence et mise à jour des Documentation l'IA reste littéralement invisible dans les systèmes en fonctionnement.
Ce qui change concrètement avec les nouvelles fonctionnalités de l'IA
De nouvelles fonctionnalités d'IA dans des outils existants - cela semble souvent anodin. Il peut s'agir d'un mode d'assistance, d'analyses automatiques ou de recommandations intelligentes. Mais en réalité, elles apportent des changements très concrets :
- Des analyses automatisées au lieu de processus manuels : Soudain, le logiciel interprète les données de manière autonome. Un système CRM pourrait par exemple analyser automatiquement le sentiment des clients ou faire des prédictions „intelligentes“, alors qu'auparavant seules les données étaient saisies. Les décisions sont ainsi partiellement automatisées, avec tous les avantages et les inconvénients que cela comporte.
- Nouveaux flux de données vers les Cloud: Souvent, les fonctions d'IA ne fonctionnent qu'à l'aide d'une puissance de calcul ou de modèles externes. Conséquence : les données qui restaient jusqu'à présent en interne sont désormais transférées vers l'ordinateur. Traitement sur Serveur du fournisseur ou dans les Cloud. Un exemple actuel est l'application Outlook de Microsoft qui, après une mise à jour, envoie tous les e-mails aux serveurs centraux de Microsoft pour analyse par l'IA. Des contenus sensibles quittent ainsi discrètement le contrôle personnel pour être „enchantés“ par l'IA. Dans de nombreux systèmes, de tels téléchargements dans le nuage se produisent en arrière-plan, sans que les utilisateurs ou les administrateurs ne le remarquent immédiatement. Les effets de boîte noire sont programmés d'avance.
- Modification de la finalité du traitement des données : Les nouvelles fonctions d'IA utilisent souvent les données existantes à d'autres fins que celles prévues à l'origine. Par exemple, un outil qui servait en premier lieu à classer des documents pourrait désormais utiliser l'IA pour effectuer des analyses de contenu ou des évaluations de sentiments. La finalité du traitement des données est donc modifiée, ce qui est très important du point de vue de la protection des données (mot-clé : changement de finalité).
- Manque de Transparence pour les utilisateurs : Souvent, ces fonctionnalités sont activées par défaut ou du moins proposées de manière proéminente, sans que l'on communique clairement où les données circulent ou comment l'IA travaille. Les utilisateurs voient la valeur ajoutée („enfin des résumés de longs e-mails“), mais n'ont guère de visibilité sur ce qui se passe en arrière-plan avec leurs données. Ainsi, les paramètres complexes d'opt-out surchargent de nombreux utilisateurs et les paramètres par défaut favorisent une libération maximale des données.
Les nouvelles fonctions d'IA changent les règles du jeu. Les applications locales deviennent des systèmes distribués, basés sur le cloud. Les données qui restaient jusqu'à présent en interne quittent soudain le château fort sécurisé. Et les outils statiques deviennent des systèmes d'apprentissage qui présentent des risques très différents de ceux du logiciel d'origine.
Pourquoi les processus de gouvernance classiques échouent lors des mises à jour de l'IA
Dans les entreprises, les processus classiques de gouvernance et de conformité sont généralement orientés vers les projets : ils interviennent lorsqu'un nouveau logiciel est acquis ou lorsqu'une mise à niveau importante est mise en place en tant que projet. D'un point de vue formel, une mise à jour n'est toutefois pas un nouveau projet. Elle est soit mise à disposition par le fabricant via une mise à jour automatique, soit installée par le service informatique en tant que patch de routine. Aucun concept n'est écrit pour la version 3.5.1 et aucun comité de pilotage ne se réunit pour un nouveau bouton de menu.
De ce fait, les modifications de l'IA via les mises à jour passent souvent inaperçues. Le service des achats n'est pas impliqué, car rien de nouveau n'est acheté, et la gouvernance informatique, comme les Change Advisory Boards, les traite comme un patch technique sans importance stratégique. Protection des données et Conformité ne sont souvent informés que lorsque les choses tournent mal. Les processus de validation existants sont aveugles aux changements incrémentaux.
Un autre aspect est que même si le service informatique lit les notes de mise à jour, les techniciens ne voient pas toujours les implications en termes de conformité. Un changelog annonçant des „aperçus basés sur l'IA” déclenche peut-être une joie technique au sein du service informatique. Mais qui traduit cela en risques pour la protection des données ? Il manque souvent une attribution claire de qui devrait donner l'alerte en cas de nouvelles fonctions. Il en résulte un fossé entre la maintenance technique et la gouvernance organisationnelle.
A cela s'ajoute le fait que les fournisseurs de logiciels misent de plus en plus sur des modèles SaaS, dans lesquels les mises à jour sont continuellement installées. Les entreprises reçoivent souvent de nouvelles fonctionnalités automatiquement, qu'elles le veuillent ou non. Si les processus de gouvernance ne sont pas suffisamment agiles, ils sont en retard sur les changements. Des rythmes de contrôle dépassés, comme une révision annuelle, ne permettent pas de saisir cette dynamique. Ainsi, le Forum économique mondial a récemment montré que les principaux risques opérationnels de l'IA ne surviennent pas lors de la première mise en service, mais plus tard. Lorsque les systèmes changent ou interagissent avec d'autres. Les cycles de gouvernance rigides peuvent difficilement saisir ces changements.
Risques liés à la protection des données et à la gouvernance de l'IA
Les mises à jour de l'IA qui passent inaperçues comportent de sérieux risques en termes de protection des données et de sécurité. Conformité:
- Changement de finalité et absence de base juridique : Si données à caractère personnel sont soudainement utilisés pour une nouvelle finalité d'IA, la question de la base juridique se pose. La loi initiale Consentement ou l'accord contractuel peut ne pas couvrir la nouvelle utilisation. Par exemple, le service a été acheté pour X, mais fait maintenant en plus Y avec les données. Il pourrait s'agir d'un changement de finalité qui, en vertu de l'article 6, paragraphe 4, de la directive sur la protection des données, ne peut pas être autorisé. RGPD nécessite un examen. Sans nouvelle légitimation, la Traitement sur un terrain glissant.
- Décisions automatisées : Les nouvelles fonctions de l'IA peuvent empiéter sur les domaines couverts par l'article 22 de la loi sur la protection des données. RGPD (décisions automatisées). Une mise à jour pourrait par exemple introduire un scoring automatisé qui influence certaines décisions de l'utilisateur (par exemple une présélection automatique des candidats dans un logiciel RH). De telles influences automatisées requièrent toutefois une attention particulière, Transparence et, le cas échéant, des possibilités d'opposition. Tout cela n'était peut-être pas à l'ordre du jour lors de l'introduction initiale, mais l'est désormais.
- l'écoulement des données et le traitement en nuage : Les fonctions d'IA comportent le risque d'une exportation involontaire de données. Ainsi, des données à caractère personnel dans des pays tiers (mot-clé Cloud aux États-Unis), ce qui implique des obligations supplémentaires selon RGPD (par exemple, les évaluations d'impact de transfert, Clauses contractuelles types) est nécessaire. Si personne n'est au courant, de telles exigences ne sont évidemment pas remplies. Des données confidentielles (secrets d'entreprise, données confidentielles de clients) pourraient se retrouver sur des serveurs étrangers - un cauchemar pour les responsables de la protection des données.
- Biais et erreurs d'analyse : Les fonctions d'IA comportent de nouveaux risques liés au contenu, comme les biais ou les résultats erronés. Que se passe-t-il si l'analyse automatisée présente des tendances discriminatoires ou commet des erreurs grossières ? Au début, le logiciel n'était peut-être „qu'un outil“, maintenant il prend des décisions préalables. Conséquence : l'entreprise en porte la responsabilité. Sans une réévaluation des risques, on court le risque d'enfreindre inconsciemment les principes d'égalité de traitement ou les obligations de diligence.
Le règlement sur l'IC et ses conséquences
Le règlement sur l'IA (EU AI Act) introduit de nouvelles obligations. Elle classe les systèmes d'IA en fonction du risque et exige, pour les IA à haut risque, des mesures strictes telles que la gestion des risques, Documentation ou la supervision humaine. La classification d'un système comme „à haut risque“ dépend de son utilisation.
Un outil existant pourrait soudainement passer dans une classe de risque supérieure suite à une mise à jour de l'IA. Un exemple serait un outil de gestion du personnel qui, après une mise à jour de l'IA, prétrirait les CV à l'aide de l'IA. Cela tomberait dans la catégorie „utilisation de l'IA dans les décisions relatives au personnel“. Cela nécessiterait en fait des mesures de conformité selon le règlement sur l'IA, mais personne ne l'a remarqué jusqu'à présent.
En outre, le règlement sur l'IA prévoit de lourdes sanctions en cas de non-respect : jusqu'à 35 millions d'euros ou 7% du chiffre d'affaires mondial.s en cas de non-respect. Ces chiffres illustrent à quel point les fonctionnalités d'IA non vérifiées peuvent devenir critiques.
Conseil de lecture : Maîtriser la réglementation de l'IA avec la gouvernance de l'IA d'Ailance
IA fantôme : des responsabilités peu claires en cours de fonctionnement
Pourquoi de telles mises à jour de l'IA passent-elles inaperçues ? L'un des principaux problèmes est le manque de clarté des responsabilités en cours d'exploitation. Une fois qu'un logiciel a été introduit et validé, il est fréquent que personne ne se sente explicitement responsable des réévaluations de base.
Il existe certes un propriétaire d'application ou un responsable de processus pour le système, mais celui-ci se concentre souvent sur la fonctionnalité et l'utilité dans le domaine spécialisé plutôt que sur les aspects suivants Conformité. Le service informatique maintient le système en état de marche sur le plan technique et effectue les mises à jour, mais ne se considère pas comme un protecteur de données. De leur côté, les responsables de la protection des données et les équipes chargées de la conformité se concentrent généralement sur les nouveaux projets et les changements importants, car leurs ressources sont limitées. Il n'est donc pas étonnant que personne n'ait à l'esprit une mise à jour de fonctionnalité apparemment mineure.
Il en résulte une sorte de vide de compétences : un assistant IA est en ligne, mais qui aurait dû l'évaluer ? Le service spécialisé ? Le service informatique ? La protection des données ? Tous pensaient inconsciemment que quelqu'un d'autre s'en occupait déjà. Formellement, personne n'est chargé de vérifier les risques des modifications après le lancement. Il manque une chaîne de responsabilité pour l'exploitation. Alors que pour les nouvelles acquisitions, des règles claires Responsable Si les fonctions de la version Y sont nommées par les utilisateurs, il n'y a souvent pas de règle aussi claire pour savoir qui doit donner l'alerte en cas de fonction X dans la version Y.
C'est pourtant ce que les autorités de surveillance comme la BaFin exigent depuis longtemps pour le secteur financier : les responsabilités doivent être clairement attribuées et les risques liés à l'IA doivent être gérés en permanence. Mais de nombreuses entreprises n'ont pas encore établi en interne de rôles tels qu'un „responsable IA par système“. Sans un tel propriétaire de la gouvernance, l'IA reste rapidement sans propriétaire dans l'entreprise et les risques restent en suspens.
Un changement de perspective nécessaire : la gouvernance doit inclure les mises à jour de l'IA
Face à ces évolutions, les entreprises ont besoin de changer de perspective en matière de gouvernance. Il ne suffit plus d'appliquer la gouvernance uniquement aux grands projets ou aux grandes acquisitions. Il faut également se concentrer sur l'utilisation continue et le développement des outils déjà mis en place.
Qu'est-ce que cela signifie concrètement ? La „gouvernance par la conception“ ne doit pas s'arrêter le jour de la mise en production. Il doit plutôt y avoir des mécanismes qui vérifient continuellement ou du moins régulièrement si un système fonctionne encore dans la zone verte. Les mises à jour - qu'il s'agisse de petits patchs ou de grands sauts de version - devraient déclencher un processus défini. Il faudrait par exemple vérifier brièvement si les nouvelles fonctions sont importantes pour la protection des données ou la sécurité. Si c'est le cas, elles doivent être intégrées dans les processus de conformité existants (p. ex. mise à jour de la DSFA, mise à jour de l'application de la loi sur la protection des données). Documentation, ).
Les entreprises doivent gérer leur paysage d'outils de manière proactive. Cela implique de garder un œil sur les feuilles de route des fournisseurs de logiciels : Des fonctionnalités d'IA sont-elles prévues sur la feuille de route du produit ? Y a-t-il des programmes bêta qui doivent être évalués ? Cela permet d'évaluer à temps les changements à venir. Dans l'idéal, les équipes de gouvernance devraient rester en contact avec les fournisseurs et se renseigner à l'avance sur les fonctions d'IA prévues.
En interne aussi Sensibilisation Les services techniques et informatiques doivent être sensibilisés au fait que les modifications de l'IA ne doivent pas être considérées comme de simples fonctions supplémentaires. Au lieu de cela, il faut être clair : Chaque nouvelle fonction importante est l'occasion de s'arrêter un instant et de se demander : „Y a-t-il ici de nouveaux risques ou de nouvelles obligations ?“.“
Ce changement vers une gouvernance dynamique et continue nécessite certainement de nouveaux processus ou outils. Il est toutefois nécessaire pour suivre le rythme rapide de l'évolution technologique. Les méthodes agiles n'existent pas seulement dans le développement de logiciels, mais nous en avons aussi besoin dans la gouvernance de l'IA : il faut abandonner les audits ponctuels pour passer à une surveillance et à une adaptation permanentes. C'est la seule façon de parer aux risques les plus importants.
Recommandations concrètes pour les mises à jour de l'IA
Comment maîtriser concrètement les risques décrits ? Pour conclure, voici quelques recommandations concrètes que toute entreprise, qu'il s'agisse d'une PME ou d'un grand groupe, devrait mettre en œuvre :
- Définir les responsabilités par système : Pour chaque système informatique important, désignez un propriétaire qui n'est pas seulement responsable de la technique, mais aussi explicitement des aspects de gouvernance. Cette personne ou ce comité est chargé(e) de suivre les changements, de déclencher des évaluations des risques et de servir de lien entre le métier, l'informatique et le système d'information. Conformité de servir. Des rôles clairs permettent d'éviter le vide des responsabilités.
- Mettre en place un processus de suivi des mises à jour : Établissez un processus qui vérifie régulièrement les mises à jour, par exemple une vérification trimestrielle des notes de mise à jour des logiciels importants ou un abonnement aux actualités des fabricants. Il est essentiel que vous évaluiez brièvement chaque mise à jour à venir en fonction de „pertinent pour la protection des données/la gouvernance - oui/non ? Des mots-clés suspects tels que IA, AI, Machine Learning, Cloud-Service, Analytics, etc. devraient automatiquement déclencher une alerte auprès de l'équipe de gouvernance.
- Définir des critères de réévaluation Déterminez à l'échelle de l'entreprise quand une mise à jour nécessite une réévaluation. Par exemple : „Est-ce que la mise à jour traite à nouveau données à caractère personnel? Y a-t-il des transferts de données vers de nouveaux destinataires ? Y a-t-il une nouvelle finalité de la Traitement? Des décisions automatisées sont-elles mises en place ?“ Dès que l'un de ces critères est rempli, le délégué à la protection des données doit être informé et, le cas échéant, une Analyse d'impact sur la protection des données être mis à jour. Cette liste de critères doit être connue et facile à appliquer.
- Introduire de nouvelles fonctionnalités dans les processus de protection des données, de sécurité et de gouvernance : Assurez-vous qu'aucune fonctionnalité ne soit mise en service sans avoir été soumise à un contrôle de conformité. En pratique, cela peut se traduire par exemple par le fait que l'IT signale au département de la protection des données les nouveaux toggles de fonctionnalités ou modules avant même leur activation. Ou le service spécialisé ne peut utiliser une nouvelle fonction d'intelligence artificielle qu'une fois que les équipes de conformité ont donné leur accord. Cela peut être mis en œuvre dans les processus ou techniquement (par exemple en désactivant les paramètres par défaut). Il est important que la protection des données et la sécurité soient automatiquement présentes à la table des négociations pour les nouvelles fonctionnalités.
Automatiser le processus de mise à jour de l'IA avec la gouvernance de l'IA Ailance
Envisagez d'utiliser une plateforme de gouvernance telle que „Ailance KI Governance“ pour gérer efficacement toutes les mesures susmentionnées. De tels outils offrent par exemple des cartes de modèles, des flux de travail automatisés pour l'évaluation des risques et les approbations, ainsi qu'une intégration dans les processus de protection des données existants.
Conseil de lecture : C'est pourquoi les cartes modèles sont si importantes pour la documentation
La gouvernance de l'IA d'Ailance permet d'enregistrer chaque traitement de l'IA, Responsable et de déclencher automatiquement des contrôles de protection des données dès que données à caractère personnel sont en jeu. Des flux de travail obligent à ne pas donner l'autorisation sans informations complètes et des rappels garantissent que des ré-audits ont lieu régulièrement. Une telle plate-forme peut Transparence et éliminer le point aveugle en rendant les mises à jour, les risques et les preuves visibles et gérables de manière centralisée.
Assurez-vous que l'IA soit utile sans perdre le contrôle. Car au final, l'IA doit créer de la valeur dans l'entreprise et ne pas représenter un risque incontrôlé.
Marcus Belke est CEO de 2B Advice et juriste et expert en informatique pour la protection des données et le numérique. Conformité. Il écrit régulièrement sur la gouvernance de l'IA, la conformité au RGPD et la gestion des risques. Pour en savoir plus sur lui, consultez son Page du profil de l'auteur.
German 
English 
Italian 
French