Marcus Belke
CEO de 2B Advice GmbH, moteur de l'innovation dans le domaine de la vie privée conformité et de la gestion des risques, et a dirigé le développement d'Ailance, la nouvelle génération de conformité plateforme.
Intelligence artificielle est discrètement intégrée dans le logiciel, dans le cadre des mises à jour régulières. Pour des raisons de protection des données et ConformitéPour les experts, cela signifie qu’un changement fondamental se produit sans que les processus de validation établis ne s’appliquent. Dans les PME comme dans les grands groupes, un sentiment de malaise règne donc : quels nouveaux flux de données et quels nouveaux risques cette mise à jour de l’IA entraîne-t-elle ? Les processus de gouvernance initiaux pour la validation du logiciel sont-ils toujours d'application ? Ces questions mettent en évidence un angle mort dans de nombreuses organisations, car l’IA s’introduit souvent par la petite porte. Ce à quoi les entreprises doivent prêter attention lors des mises à jour d’IA.
Avertissement sur la gouvernance : mise à jour de l'IA sans validation
Lors du déploiement d’un logiciel, on passe généralement par des contrôles rigoureux : analyses d’impact sur la protection des données, audits de sécurité informatique, validations par des instances compétentes. Mais que se passe-t-il lorsque le logiciel utilisé depuis des années se voit soudainement doté de nouvelles fonctionnalités d’IA via une mise à jour ? Les contrôles initiaux ne prennent pas en compte ces modifications a posteriori. La finalité initiale et les flux de données peuvent changer sans que personne ne se rende compte que l’autorisation accordée à l’époque ne correspond en réalité plus à l’étendue actuelle des fonctionnalités. Il en résulte un angle mort de gouvernance : le système fonctionne en production, est considéré en interne comme „ validé “, tandis que les nouveaux composants d’IA échappent totalement au champ de vision des responsables.
Ce point aveugle est dangereux. Une fonction d'IA qui n'a jamais été approuvée à l'origine change soudainement la nature de l'application. Les profils de risque se déplacent, mais comme il n'y a pas de nouveau projet, il n'y a pas d'impulsion pour un nouvel examen. Ainsi, les changements d'objectifs peuvent passer inaperçus et, avec eux, les violations potentielles des règles de sécurité. Protection des données ou Conformité, qui n'ont jamais été délibérément pesées. Sans Transparence et mise à jour des Documentation l'IA reste littéralement invisible dans les systèmes en fonctionnement.
Ce qui change concrètement grâce aux nouvelles fonctionnalités d'IA
De nouvelles fonctionnalités d'IA dans des outils existants : cela semble souvent anodin. Il peut s'agir, par exemple, d'un mode d'assistance, d'analyses automatiques ou de recommandations intelligentes. En réalité, elles entraînent toutefois des changements très concrets :
- Des analyses automatisées au lieu de processus manuels : Tout à coup, le logiciel se met à interpréter les données de lui-même. Un système CRM pourrait, par exemple, analyser automatiquement le sentiment des clients ou établir des prévisions „ intelligentes “, là où auparavant seules des données étaient collectées. Les décisions deviennent ainsi partiellement automatisées, avec tous les avantages et inconvénients que cela comporte.
- Nouveaux flux de données vers les Cloud: Souvent, les fonctions d'IA ne fonctionnent qu'à l'aide d'une puissance de calcul ou de modèles externes. Conséquence : les données qui restaient jusqu'à présent en interne sont désormais transférées vers l'ordinateur. Traitement sur Serveur du fournisseur ou dans les Cloud. L'application Outlook de Microsoft en est un exemple récent : après une mise à jour, elle envoie tous les e-mails vers des serveurs centraux de Microsoft afin qu'ils soient analysés par l'IAServeur envoie. Des contenus sensibles échappent à notre contrôle sans que nous nous en rendions compte, pour être „ envoûtés “ par l'IA. Dans de nombreux systèmes, ce genre de choses se produit Cloud- Des téléchargements en arrière-plan, sans que les utilisateurs ou les administrateurs ne s'en rendent compte immédiatement. Les effets de « boîte noire » sont inévitables.
- Modification de la finalité du traitement des données : Les nouvelles fonctionnalités d'IA utilisent souvent les données existantes à des fins différentes de celles initialement prévues. Par exemple, un outil qui servait principalement à l'archivage de documents pourrait désormais, grâce à l'IA, effectuer également des analyses de contenu ou des évaluations de sentiment. Cela modifie la finalité du traitement des données, ce qui revêt une grande importance au regard de la législation sur la protection des données (mot-clé : changement de finalité).
- Manque de Transparence pour les utilisateurs : Souvent, ces fonctionnalités sont activées par défaut ou, à tout le moins, mises en avant, sans que l'on explique clairement où vont les données ni comment fonctionne l'IA. Les utilisateurs perçoivent la valeur ajoutée („ enfin des résumés des longs e-mails “), mais n’ont pratiquement aucune idée de ce qu’il advient de leurs données en arrière-plan. Ainsi, les paramètres complexes de désactivation dépassent de nombreux utilisateurs, et les réglages par défaut favorisent un partage maximal des données.
Les nouvelles fonctionnalités d'IA changent la donne. Les applications locales se transforment en systèmes distribués basés sur le cloud. Les données, qui restaient jusqu'à présent en interne, quittent soudainement leur forteresse sécurisée. Et les outils statiques deviennent des systèmes capables d'apprendre, qui comportent des risques tout à fait différents de ceux des logiciels d'origine.
Pourquoi les processus de gouvernance classiques échouent lors des mises à jour de l'IA
Dans les entreprises, les principes classiques de gouvernance et Conformité- Les processus sont généralement axés sur des projets : ils interviennent lorsqu'un nouveau logiciel est acquis ou qu'une mise à niveau importante est mise en place sous forme de projet. Une mise à jour ne constitue toutefois pas, d'un point de vue formel, un nouveau projet. Elle est soit fournie par le fabricant via une mise à jour automatique, soit installée par le service informatique sous forme de correctif de routine. Pour la version 3.5.1, aucun cahier des charges n’est rédigé et aucun comité de pilotage ne se réunit pour discuter d’un nouveau bouton de menu.
De ce fait, les modifications de l'IA via les mises à jour passent souvent inaperçues. Le service des achats n'est pas impliqué, car rien de nouveau n'est acheté, et la gouvernance informatique, comme les Change Advisory Boards, les traite comme un patch technique sans importance stratégique. Protection des données et Conformité ne sont souvent informés que lorsque les choses tournent mal. Les processus de validation existants sont aveugles aux changements incrémentaux.
Un autre aspect à prendre en compte est que, même si le service informatique lit les notes de mise à jour, les techniciens ne sont pas toujours les Conformité-Identifier les implications. Un journal des modifications annonçant des „ informations basées sur l'IA ” peut susciter l'enthousiasme technique au sein du service informatique. Mais qui se charge de traduire cela en risques liés à la protection des données ? Souvent, il manque une répartition claire des responsabilités quant à savoir qui devrait tirer la sonnette d’alarme face à de nouvelles fonctionnalités. Il en résulte un fossé entre la maintenance technique et la gouvernance organisationnelle.
À cela s’ajoute le fait que les éditeurs de logiciels misent de plus en plus sur des modèles SaaS, dans lesquels des mises à jour sont déployées en continu. Les entreprises se voient souvent fournir de nouvelles fonctionnalités automatiquement, qu’elles le veuillent ou non. Si les processus de gouvernance ne sont pas suffisamment agiles, ils sont à la traîne par rapport à ces changements. Les rythmes de contrôle obsolètes, tels qu’une révision annuelle, ne permettent pas de suivre cette dynamique. Le Forum économique mondial a ainsi récemment montré que les principaux risques opérationnels liés à l’IA ne surviennent pas lors de la première mise en service, mais à un stade ultérieur, lorsque les systèmes évoluent ou interagissent avec d’autres. Les cycles de gouvernance rigides ne parviennent guère à saisir ces évolutions.
Risques liés à la protection des données et à la gouvernance de l'IA
Les mises à jour de l'IA qui passent inaperçues comportent de sérieux risques en termes de protection des données et de sécurité. Conformité:
- Changement de finalité et absence de base juridique : Si données à caractère personnel sont soudainement utilisés pour une nouvelle finalité d'IA, la question de la base juridique se pose. La loi initiale Consentement ou l'accord contractuel peut ne pas couvrir la nouvelle utilisation. Par exemple, le service a été acheté pour X, mais fait maintenant en plus Y avec les données. Il pourrait s'agir d'un changement de finalité qui, en vertu de l'article 6, paragraphe 4, de la directive sur la protection des données, ne peut pas être autorisé. RGPD nécessite un examen. Sans nouvelle légitimation, la Traitement sur un terrain glissant.
- Décisions automatisées : Les nouvelles fonctions de l'IA peuvent empiéter sur les domaines couverts par l'article 22 de la loi sur la protection des données. RGPD (décisions automatisées). Une mise à jour pourrait par exemple introduire un scoring automatisé qui influence certaines décisions de l'utilisateur (par exemple une présélection automatique des candidats dans un logiciel RH). De telles influences automatisées requièrent toutefois une attention particulière, Transparence et, le cas échéant, des possibilités d'opposition. Tout cela n'était peut-être pas à l'ordre du jour lors de l'introduction initiale, mais l'est désormais.
- Fuite de données et Cloud-Traitement: Les fonctionnalités basées sur l'IA comportent un risque d'exportation involontaire de données. Ainsi, données à caractère personnel dans des pays tiers (mot-clé Cloud aux États-Unis), ce qui implique des obligations supplémentaires selon RGPD (par exemple, les évaluations d'impact de transfert, Clauses contractuelles types). Si personne n'en a connaissance, ces exigences ne sont bien sûr pas respectées. Les données sensibles (secrets d'entreprise, données confidentielles des clients) pourraient se retrouver sur des serveurs tiers – un véritable cauchemar pour les délégués à la protection des données.
- Biais et erreurs d'analyse : Les fonctionnalités basées sur l’IA comportent de nouveaux risques liés au contenu, tels que des biais (bias) ou des résultats erronés. Que se passerait-il si l’analyse automatisée présentait des tendances discriminatoires ou commettait des erreurs grossières ? Au départ, le logiciel n’était peut-être „ qu’un outil “, mais aujourd’hui, il prend des décisions préliminaires. Conséquence : l’entreprise en assume la responsabilité. Sans une réévaluation des risques, on court le danger d’enfreindre, sans s’en rendre compte, les principes d’égalité de traitement ou les obligations de diligence.
Le règlement sur l'IC et ses conséquences
Le règlement sur l'IA (EU AI Act) instaure de nouvelles obligations. Il classe les systèmes d'IA en fonction de leur niveau de risque et impose, pour les IA à haut risque, des mesures strictes telles que la gestion des risques, Documentation ou d'une surveillance humaine. Le fait qu'un système soit classé comme „ à haut risque “ dépend de son utilisation prévue.
Un outil existant pourrait soudainement se retrouver classé dans une catégorie de risque supérieure à la suite d'une mise à jour impliquant l'IA. Prenons l'exemple d'un outil de gestion des ressources humaines qui, après une mise à jour, présélectionne les CV à l'aide de l'IA. Cela relèverait de la catégorie „ Utilisation de l'IA dans les décisions relatives aux ressources humaines “. Cela signifierait en fait Conformité- Des mesures sont nécessaires conformément au règlement sur l'IA, mais personne ne s'en est encore rendu compte.
Par ailleurs, le règlement sur l'IA prévoit des sanctions sévères en cas d'infraction : jusqu'à 35 millions d'euros ou 7 % du chiffre d'affaires mondials en cas d'infractions. Ces chiffres montrent à quel point les fonctionnalités d'IA non testées peuvent s'avérer critiques.
Conseil de lecture : Maîtriser la réglementation de l'IA avec la gouvernance de l'IA d'Ailance
IA fantôme : des responsabilités peu claires en cours de fonctionnement
Pourquoi ces mises à jour de l'IA passent-elles inaperçues ? L'un des principaux problèmes réside dans le manque de clarté quant aux responsabilités lors de l'exploitation courante. Une fois qu'un logiciel a été mis en place et validé, il arrive souvent que personne ne se sente plus explicitement chargé de procéder à des réévaluations approfondies.
Il existe certes un propriétaire d'application ou un responsable de processus pour le système, mais celui-ci se concentre souvent sur la fonctionnalité et l'utilité dans le domaine spécialisé plutôt que sur les aspects suivants Conformité. Le service informatique assure le bon fonctionnement technique du système et procède aux mises à jour, mais ne se considère pas comme un garant de la protection des données. Les délégués à la protection des données et ConformitéLes équipes, quant à elles, se concentrent généralement sur les nouveaux projets et les changements majeurs, leurs ressources étant limitées. Il n'est donc pas étonnant que personne ne se soucie d'une mise à jour de fonctionnalités apparemment mineure.
Il en résulte une sorte de vide de responsabilité : un assistant IA est mis en service, mais qui aurait dû l’évaluer ? Le service métier ? Le service informatique ? Le service chargé de la protection des données ? Tous pensaient inconsciemment que quelqu’un d’autre s’en occupait déjà. Formellement, personne n’est chargé de vérifier les risques liés aux modifications après la mise en service. Il manque une chaîne de responsabilité pour l’exploitation. Alors que pour les nouvelles acquisitions, des Responsable sont souvent dépourvus d'une règle aussi claire précisant qui doit donner l'alerte concernant la fonctionnalité X dans la version Y.
Or, les autorités de surveillance telles que la BaFin exigent depuis longtemps exactement cela pour le secteur financier : les responsabilités doivent être clairement attribuées et les risques liés à l’IA doivent être gérés en permanence. Or, de nombreuses entreprises n’ont pas encore mis en place en interne des fonctions telles qu’un „ responsable IA par système “. En l’absence d’un tel responsable de la gouvernance, l’IA risque rapidement de devenir orpheline au sein de l’entreprise et les risques ne sont pas maîtrisés.
Un changement de perspective nécessaire : la gouvernance doit inclure les mises à jour de l'IA
Face à ces évolutions, les entreprises doivent changer de perspective en matière de gouvernance. Il ne suffit plus de limiter la gouvernance aux grands projets ou aux acquisitions. L'accent doit également être mis sur l'utilisation quotidienne et le développement continu des outils déjà mis en place.
Qu'est-ce que cela signifie concrètement ? La „ gouvernance dès la conception “ ne doit pas s'arrêter le jour de la mise en production. Il faut au contraire mettre en place des mécanismes permettant de vérifier en continu, ou du moins régulièrement, si un système fonctionne toujours correctement. Les mises à jour – qu’il s’agisse de petits correctifs ou de changements de version majeurs – devraient déclencher un processus défini. Il faudrait par exemple procéder à une brève vérification pour déterminer si les nouvelles fonctionnalités ont une incidence sur la protection des données ou la sécurité. Si tel est le cas, elles doivent être intégrées dans les Conformité- les processus soient intégrés (par exemple, ajout à la DSFA, mise à jour de la Documentation, ).
Les entreprises doivent gérer leur environnement d'outils de manière proactive. Cela implique notamment de suivre de près les feuilles de route des éditeurs de logiciels : des fonctionnalités d'IA sont-elles prévues dans la feuille de route du produit ? Existe-t-il des programmes bêta qui mériteraient d'être évalués ? Cela permet d'anticiper les changements à venir au sein de l'entreprise. Idéalement, les équipes chargées de la gouvernance entretiennent un dialogue avec les éditeurs et recueillent dès que possible des informations sur les fonctionnalités d’IA prévues.
En interne aussi Sensibilisation Les services techniques et informatiques doivent être sensibilisés au fait que les modifications de l'IA ne doivent pas être considérées comme de simples fonctions supplémentaires. Au lieu de cela, il faut être clair : Chaque nouvelle fonction importante est l'occasion de s'arrêter un instant et de se demander : „Y a-t-il ici de nouveaux risques ou de nouvelles obligations ?“.“
Cette évolution vers une gouvernance dynamique et continue nécessite certes de nouveaux processus ou outils. Elle est toutefois indispensable pour suivre le rythme effréné des avancées technologiques. Les méthodes agiles ne se limitent pas au développement logiciel ; nous en avons également besoin dans la gouvernance de l’IA : il faut passer d’audits ponctuels à une surveillance et une adaptation continues. C’est la seule façon de parer aux risques les plus importants.
Recommandations concrètes concernant les mises à jour de l'IA
Comment maîtriser concrètement les risques décrits ? Pour conclure, voici quelques recommandations concrètes que toute entreprise – qu'il s'agisse d'une PME ou d'un grand groupe – devrait mettre en œuvre :
- Définir les responsabilités par système : Pour chaque système informatique important, désignez un propriétaire qui n'est pas seulement responsable de la technique, mais aussi explicitement des aspects de gouvernance. Cette personne ou ce comité est chargé(e) de suivre les changements, de déclencher des évaluations des risques et de servir de lien entre le métier, l'informatique et le système d'information. Conformité de servir. Des rôles clairs permettent d'éviter le vide des responsabilités.
- Mettre en place un processus de suivi des mises à jour : Mettez en place un processus permettant de vérifier régulièrement la présence de mises à jour, par exemple en consultant chaque trimestre les notes de mise à jour des logiciels importants ou en vous abonnant aux actualités des éditeurs. Il est essentiel que vous évaluiez rapidement chaque mise à jour à venir en vous demandant : „ Est-ce pertinent pour la protection des données/la gouvernance ? Oui ou non ? “. Les mots-clés suspects tels que IA, AI, apprentissage automatique, Cloud- Les services, les outils d'analyse, etc. devraient déclencher automatiquement une alerte à l'intention de l'équipe de gouvernance.
- Définir les critères d'une réévaluation : Définissez à l'échelle de l'entreprise les cas dans lesquels une mise à jour nécessite une réévaluation. Par exemple : „ La mise à jour traite-t-elle à nouveau données à caractère personnel? Y a-t-il des transferts de données vers de nouveaux destinataires ? Y a-t-il une nouvelle finalité de la Traitement? Des décisions automatisées sont-elles mises en place ?“ Dès que l'un de ces critères est rempli, le délégué à la protection des données doit être informé et, le cas échéant, une Analyse d'impact relative à la protection des données être mis à jour. Cette liste de critères doit être connue et facile à appliquer.
- Introduire de nouvelles fonctionnalités dans les processus de protection des données, de sécurité et de gouvernance : Assurez-vous qu'aucune fonctionnalité ne soit mise en production sans avoir préalablement fait l'objet d'une Conformité-avoir fait l'objet d'un contrôle. Concrètement, cela peut se traduire, par exemple, par le fait que le service informatique signale au service chargé de la protection des données les nouveaux « feature toggles » ou modules avant même leur activation. Ou encore, le service concerné n'est autorisé à utiliser une nouvelle fonctionnalité d'IA qu'une fois que la Conformité- les équipes ont donné leur accord. Cela peut se traduire par des processus ou par des mesures techniques (par exemple, en désactivant les paramètres par défaut). L'important est que la protection des données et la sécurité soient automatiquement prises en compte dès la conception des nouvelles fonctionnalités.
Automatiser le processus de mise à jour de l'IA avec la gouvernance de l'IA Ailance
Envisagez de recourir à une plateforme de gouvernance telle que „ Ailance KI-Governance “ afin de piloter efficacement l’ensemble des mesures mentionnées ci-dessus. Ces outils proposent notamment des cartes de modèles, des workflows automatisés pour l’évaluation des risques et les validations, ainsi qu’une intégration aux processus existants en matière de protection des données.
Conseil de lecture : C'est pourquoi les cartes types sont si importantes pour la documentation
Ailance KI-Governance permet de gérer chaque IA-Traitement s'inscrire, Responsable les attribuer et déclencher automatiquement des contrôles de protection des données dès que données à caractère personnel sont en jeu. Des flux de travail obligent à ne pas donner l'autorisation sans informations complètes et des rappels garantissent que des ré-audits ont lieu régulièrement. Une telle plate-forme peut Transparence et éliminer le point aveugle en rendant les mises à jour, les risques et les preuves visibles et gérables de manière centralisée.
Veillez à ce que l'IA soit utile sans pour autant perdre le contrôle. Car, en fin de compte, l'IA doit créer de la valeur au sein de l'entreprise et ne pas représenter un risque incontrôlé.
Marcus Belke est CEO de 2B Advice et juriste et expert en informatique pour la protection des données et le numérique. Conformité. Il écrit régulièrement sur la gouvernance de l'IA, RGPD-Conformité et la gestion des risques. Pour en savoir plus sur lui, rendez-vous sur son Page du profil de l'auteur.
German 
English 
Italian 
French