Le règlement sur l'IA (RIA) adopte une approche basée sur les risques afin de promouvoir l'innovation tout en protégeant les droits fondamentaux. Un élément central du règlement sur l'IA est l'interdiction de certaines pratiques d'IA considérées comme incompatibles avec les valeurs fondamentales de l'Union. La Commission européenne a maintenant Lignes directrices qui précisent l'application et le respect des interdictions prévues à l'article 5 du règlement sur les IC. Voici un aperçu des principaux points.
Contexte des interdictions prévues à l'article 5 du règlement sur les IC
Les interdictions prévues par le règlement sur l'IA sont un élément central de la réglementation de l'intelligence artificielle dans l'Union européenne et se fondent sur la protection des droits de l'homme fondamentaux ainsi que sur le respect des principes démocratiques et de l'État de droit. Elles visent à garantir que certaines technologies d'IA ne soient pas utilisées d'une manière qui porte atteinte aux valeurs fondamentales de l'UE telles que la dignité humaine, la non-discrimination et la liberté d'expression, Transparence et Vie privée mettre en danger.
La généralisation croissante des technologies d'IA soulève des défis considérables, notamment en ce qui concerne le contrôle des processus décisionnels automatisés, la manipulation potentielle du comportement humain et l'accès incontrôlé aux données à caractère personnel. L'interdiction des applications d'IA particulièrement problématiques vise donc à prévenir les risques et dangers graves que ces technologies peuvent présenter.
Ces interdictions visent notamment à empêcher les applications qui, par des manipulations délibérées ou des mécanismes trompeurs, influencent le comportement d’individus ou de groupes sans que ceux-ci aient conscience des processus sous-jacents. De même, elles visent à endiguer l’utilisation abusive des données biométriques et à exclure le recours à des systèmes de contrôle social et de discrimination.
L'objectif de ces interdictions réside donc dans la préservation de l'autonomie et de la liberté de choix de l'individu, la garantie d'équité et de Transparence dans les processus basés sur l'IA, ainsi qu'à éviter les inégalités sociales et économiques qui pourraient résulter de systèmes d'IA non transparents ou discriminatoires.
Les pratiques en matière d'IA énumérées à l'article 5 du règlement posent donc non seulement des problèmes sur le plan technique ou économique, mais sont également inacceptables d'un point de vue éthique et social. Une réglementation claire de ces technologies vise à garantir que les applications d’IA soient développées et utilisées au profit de la société, sans porter atteinte aux droits et libertés fondamentaux.
Le règlement sur l'IA distingue plusieurs catégories d'applications d'IA interdites :
Systèmes d'IA manipulateurs et trompeurs (art. 5, al. 1, let. a, du règlement sur l'IA)
Cette réglementation interdit les systèmes d'IA qui utilisent des techniques subversives, manipulatrices ou trompeuses pour influencer le comportement des individus. Cela comprend notamment :
- Messages subliminaux: Systèmes d'IA qui placent des stimuli visuels ou auditifs en dehors du champ de perception consciente afin d'influencer le comportement ou les décisions inconscientes. Ces techniques peuvent être mises en œuvre à l'aide de flashs d'images ultra-rapides ou de signaux acoustiques inaudibles.
- Manipulation psychologique ou cognitive: systèmes d'IA qui exploitent de manière ciblée les faiblesses psychologiques ou les distorsions cognitives afin d'inciter les utilisateurs à effectuer certaines actions ou à prendre certaines décisions. Les exemples incluent les PublicitéLes interfaces utilisateur basées sur l'IA qui faussent les processus de décision par des "dark patterns".
- Désinformation et contenus trompeurs: Les systèmes d'IA qui génèrent et diffusent de manière ciblée des informations fausses ou déformées afin d'influencer l'opinion publique ou les décisions individuelles. Cela inclut les « deepfakes », les articles d'actualité synthétiques ou les bots basés sur l'IA qui manipulent la formation de l'opinion sur les réseaux sociaux.
- Mécanismes d'interaction compulsifs: Des systèmes basés sur l'IA qui incitent délibérément les utilisateurs à passer plus de temps sur ces plateformes en exploitant des mécanismes de dépendance tels que les systèmes de récompense ou les fonctions de “ défilement infini ”. Cela peut s'avérer particulièrement problématique pour les enfants et les adolescents, qui sont plus vulnérables à ce type de mécanismes.
Les pratiques mentionnées sont particulièrement problématiques, car elles portent atteinte à la liberté de décision et à l'autonomie cognitive des personnes concernées. De tels systèmes d’IA peuvent avoir des répercussions considérables sur la démocratie, l’économie et la société, en particulier lorsqu’ils sont utilisés pour influencer de manière ciblée le comportement électoral ou les décisions d’achat. C’est pourquoi leur utilisation est soumise à des restrictions légales strictes conformément au règlement sur l’IA.
Exploitation de la vulnérabilité (art. 5, al. 1, let. b, du règlement sur la protection des enfants)
Le règlement sur l’IA interdit l’utilisation de systèmes d’IA qui exploitent délibérément les vulnérabilités d’individus ou de groupes en raison de leur âge, d’un handicap ou d’une situation sociale ou économique particulière. Cette disposition vise à protéger les personnes particulièrement vulnérables contre les applications d'IA déloyales ou manipulatrices qui pourraient porter atteinte à leur liberté de décision et à leur autonomie.
Parmi les pratiques interdites, on peut citer :
- Influence ciblée sur les enfants et les personnes âgéesApplications basées sur l'IA qui ciblent spécifiquement les enfants ou les personnes âgées afin de les inciter à adopter certains comportements ou à prendre certaines décisions d'achat, par exemple en les manipulant. Publicité ou des informations délibérément trompeuses.
- Exploitation financière de groupes socialement ou économiquement défavorisés: des systèmes qui manipulent de manière ciblée les groupes à faibles revenus en leur proposant des offres économiquement défavorables, par exemple en leur suggérant, via des processus décisionnels algorithmiques, des offres de crédit excessives ou des conditions d'assurance inéquitables.
- Abus lié aux déficiences cognitives: les systèmes d'IA délibérément conçus pour exploiter des limitations cognitives ou un manque de compétences numériques afin de tromper des particuliers ou de leur imposer des conditions contractuelles inéquitables.
- Exploitation des dépendances et des addictionsPlateformes basées sur l'IA, visant à aider les personnes à risque de dépendance en leur fournissant des informations ciblées. Publicité ou de pousser les mécanismes d'interaction plus loin dans la dépendance, par exemple en optimisant de manière algorithmique les systèmes de jeux de hasard ou de microtransactions.
Ces interdictions visent à Intégrité et la sécurité des groupes vulnérables et de garantir une utilisation éthique des technologies d'IA. Les applications d'IA doivent être conçues de manière à ne pas tirer d'avantages injustes des conditions de vie particulières ou des faiblesses de certains groupes. La mise en œuvre de ces directives garantira que les progrès technologiques ne se feront pas au détriment de ceux qui ont particulièrement besoin de protection et d'équité.
Scoring social (article 5, paragraphe 1, lettre c du règlement IA)
L'une des principales nouveautés du règlement sur l'IA est l'interdiction générale des systèmes de notation sociale mis en œuvre par des acteurs publics ou privés. Le « social scoring » désigne l’évaluation algorithmique d’individus sur la base de leur comportement ou de leurs caractéristiques personnelles, dans le but d’en tirer des conséquences sociales ou économiques. Ces systèmes sont particulièrement problématiques, car ils s’immiscent profondément dans la Vie privée qui peuvent porter atteinte aux droits des citoyens et entraîner des discriminations injustifiées.
L'interdiction s'applique notamment lorsque
- lorsqu'une évaluation porte sur les comportements sociaux ou les caractéristiques personnelles d'individus ou de groupes,
- des conséquences négatives pour les individus dans des domaines sociaux sans rapport les uns avec les autres, par exemple l'exclusion des offres de formation ou des services financiers en raison d'un mauvais « social score »,
- ces évaluations donnent lieu à des sanctions ou à des privilèges disproportionnés, tels que des difficultés d’accès au crédit ou au logement fondées sur des critères non objectifs et discriminatoires.
Le « social scoring » est surtout connu dans les États autoritaires, où il est utilisé pour contrôler et surveiller les citoyens. Le règlement sur l’IA précise que de tels systèmes sont incompatibles avec les valeurs fondamentales de l’Union européenne, notamment le respect de la dignité humaine, l’égalité de traitement et la Vie privéeLes dispositions de la directive ne sont pas compatibles avec celles de la directive sur l'égalité raciale.
Une attention particulière est accordée à l'application de cette interdiction par les autorités nationales de surveillance du marché et les institutions chargées de la protection des données. Les entreprises et les autorités qui développent ou utilisent des systèmes d'IA en Europe doivent veiller à ce que leurs systèmes ne comportent aucun mécanisme illicite de « social scoring ». Toute infraction à cette interdiction est passible de lourdes amendes, afin de garantir que l'utilisation abusive de l'IA à des fins de contrôle social soit empêchée au sein de l'UE.
Prévision des infractions pénales à l'aide de l'IA (art. 5, al. 1, let. d, du règlement sur l'IA)
L'interdiction s'étend aux systèmes d'IA qui prédisent le risque ou la probabilité d'un acte criminel sur la base de caractéristiques personnelles, du milieu social ou de probabilités statistiques. Le règlement sur l’IA précise que de tels systèmes présentent des risques considérables pour les droits fondamentaux, en particulier la présomption d’innocence, la protection de la Vie privée et l'interdiction de toute discrimination. L'utilisation de telles technologies peut entraîner une discrimination systémique à l'égard de certains groupes de population, en particulier lorsque les données sur lesquelles reposent les décisions sont biaisées ou insuffisantes.
Aspects problématiques de ces systèmes d'IA :
- Discrimination et distorsion: Les modèles d'IA s'appuient souvent sur des données historiques qui reflètent des préjugés existants ou des inégalités structurelles. Il en résulte un risque que certains groupes soient classés comme suspects dans une proportion disproportionnée.
- Absence de Transparence et la traçabilité: La prise de décision par les systèmes d'IA manque souvent de transparence et est difficile à comprendre, ce qui complique un contrôle efficace et un examen juridique.
- Présomption d'innocence: Une évaluation automatisée du risque individuel de commettre une infraction pénale peut conduire à la stigmatisation ou à la surveillance de certaines personnes, sans qu'il y ait de fondement pénal réel.
Des exceptions s'appliquent aux systèmes d'IA qui utilisent des données objectives et vérifiables pour étayer les évaluations humaines. Ainsi, des systèmes peuvent par exemple être utilisés pour identifier des schémas criminels déjà connus dans le cadre d’analyses de données, à condition que celles-ci servent uniquement à la prise de décision par les autorités chargées de l’application de la loi et qu’il n’y ait pas de classification automatisée de personnes en tant qu’auteurs potentiels d’infractions.
Dans l'ensemble, l'utilisation de ces technologies reste un sujet extrêmement sensible au sein de l'UE et nécessite un respect rigoureux des principes de l'État de droit ainsi qu'un contrôle régulier par des autorités de contrôle indépendantes.
Collecte non ciblée de données biométriques (art. 5, al. 1, let. e, du règlement IA)
La collecte aveugle de données biométriques représente une menace considérable pour la Vie privée et les l'autodétermination en matière d'information der betroffenen Personen dar. Die KI-Verordnung verbietet daher ausdrücklich das massenhafte, unkontrollierte Erfassen von Gesichtsbildern, Fingerabdrücken oder anderen biometrischen Merkmalen aus öffentlichen Quellen, insbesondere durch Techniken wie das sogenannte “Scraping”.
De telles pratiques servent souvent à constituer des bases de données biométriques de grande envergure, qui peuvent ensuite être utilisées à des fins diverses, par exemple pour la reconnaissance faciale ou la vérification d'identité, sans le consentement explicite des personnes concernées. Cela soulève d'importantes préoccupations en matière de protection des données et d'éthique, notamment parce que :
- Absence de Consentement: Les personnes concernées n'ont aucun contrôle sur la collecte et le traitement de leurs données biométriques.
- Les risques liés à la surveillance de masse: Ces bases de données peuvent être utilisées par des acteurs publics et privés pour mettre en œuvre des mesures de surveillance de grande envergure.
- Risque d'abus: Les données biométriques pourraient être utilisées à des fins répressives ou commerciales à l'insu de la personne concernée et sans son consentement.
- Risques d'erreur et discrimination: Il a été démontré que les systèmes de reconnaissance faciale basés sur l'IA présentent un taux d'erreur plus élevé pour certains groupes ethniques et peuvent donner lieu à des soupçons injustifiés ou à des discriminations.
Le règlement interdit donc la création ou l'extension de telles bases de données par le biais d'un « scraping » non ciblé à partir de sources accessibles au public, telles que les réseaux sociaux ou les caméras de surveillance. Les entreprises et les organisations qui développent ou utilisent des technologies biométriques doivent respecter des directives strictes en matière de protection des données et des exigences de transparence afin d’empêcher toute utilisation abusive des données à caractère personnel sensibles.
Les relevés biométriques ne sont autorisés qu'à des conditions strictes, par exemple lorsqu'un consentement explicite et éclairé a été donné. Consentement des personnes concernées ou si des dispositions légales le permettent dans le respect des droits fondamentaux. Les autorités nationales chargées de la protection des données sont tenues de poursuivre systématiquement les infractions à ces dispositions et d'infliger de lourdes sanctions.
Reconnaissance des émotions sur le lieu de travail et dans les établissements d'enseignement (article 5, paragraphe 1, point f) du règlement sur les IA)
Cette interdiction concerne l'utilisation de systèmes d'IA qui analysent les émotions des salariés ou des élèves, car cela a des répercussions considérables sur la Vie privée, sur la protection de la vie privée et l'autonomie individuelle. Les technologies de reconnaissance des émotions utilisent la reconnaissance faciale, l'analyse vocale ou d'autres signaux biométriques pour déterminer l'état émotionnel d'une personne. L’UE considère ces pratiques comme particulièrement critiques, car elles peuvent avoir des effets potentiellement discriminatoires et conduire à des mesures de surveillance illégales.
Pourquoi l'utilisation est-elle problématique ?
- Intervention dans la Vie privée: Les systèmes de reconnaissance des émotions collectent et analysent des données biométriques sans que les personnes concernées puissent toujours donner leur consentement en toute connaissance de cause.
- Mauvaise interprétation et manque de transparence: La précision de ces systèmes est contestée, car les émotions peuvent être interprétées de manière subjective et varier selon les cultures. Cela peut conduire à des décisions erronées, qui peuvent avoir des conséquences graves, notamment dans le milieu professionnel ou éducatif.
- Discrimination et stigmatisation: Les personnes présentant certaines expressions faciales ou adoptant certains modes de communication pourraient être désavantagées ou classées à tort dans une catégorie, ce qui peut entraîner des évaluations injustes, voire l'exclusion de certaines opportunités en matière d'éducation ou d'emploi.
L'interdiction prévoit exceptions limitées notamment lorsque la reconnaissance des émotions a pour but de
- Applications médicales: Dans le domaine du diagnostic ou du traitement, par exemple pour aider les personnes souffrant de troubles neurologiques ou de difficultés de communication.
- Mesures liées à la sécuritéDans des domaines d'application restreints, comme la détection de menaces aiguës ou l'identification de personnes en situation d'urgence (par exemple dans l'aviation ou les projets d'infrastructures critiques).
Les organisations et les entreprises qui enfreignent cette interdiction s'exposent à de lourdes amendes. Les autorités de régulation sont tenues de surveiller l'utilisation de ces technologies et de veiller à ce qu'elles ne donnent pas lieu à une surveillance illicite ou à des atteintes injustifiées à la Vie privée conduire.
Conseil de lecture : Compétences en matière d'IA et obligations des entreprises en vertu de l'article 4 du règlement sur l'IA
Catégorisation biométrique des caractéristiques sensibles (art. 5, al. 1, let. g, du règlement IA)
La classification biométrique de caractéristiques sensibles par des systèmes d'intelligence artificielle constitue un domaine particulièrement sensible, car elle porte directement atteinte aux droits fondamentaux des personnes concernées. Le règlement sur l’IA interdit donc toute utilisation de données biométriques visant à déduire certaines caractéristiques personnelles liées à l’identité et aux attributs protégés d’une personne.
Parmi les caractéristiques sensibles, on peut notamment citer :
- Appartenance raciale ou origine ethnique: Les systèmes d'IA ne doivent pas être utilisés pour classer les personnes selon des critères raciaux ou ethniques, car cela peut entraîner une discrimination et des inégalités de traitement inadmissibles.
- Convictions politiques: L'analyse des données biométriques visant à déterminer les opinions politiques peut conduire à la persécution et à la répression des opinions divergentes et est donc strictement interdite.
- Convictions religieuses ou philosophiques: Les systèmes d'IA qui tirent des conclusions sur l'appartenance religieuse ou les convictions idéologiques d'une personne à partir de données biométriques sont interdits, afin de protéger la liberté de religion et de conviction.
- Orientation sexuelle: La déduction de l'orientation sexuelle à partir de données biométriques constitue une atteinte grave à la vie privée. Vie privée et peut entraîner une discrimination et une stigmatisation.
- Appartenance syndicale: L'analyse des caractéristiques biométriques visant à déterminer l'appartenance à un syndicat est interdite afin de garantir la liberté syndicale et la protection des droits des salariés.
Pourquoi la catégorisation biométrique est-elle problématique ?
- Absence de validité scientifique: De nombreuses méthodes permettant de déduire des caractéristiques sensibles à partir de données biométriques reposent sur des hypothèses non prouvées ou pseudo-scientifiques et sont donc extrêmement sujettes à erreur.
- Risques de discrimination: De tels systèmes peuvent renforcer les préjugés existants et les inégalités sociales en désavantageant ou en stigmatisant certains groupes.
- Préoccupations éthiques et juridiques: L'utilisation de ces technologies enfreint les principes fondamentaux de la protection des données et est incompatible avec les droits fondamentaux européens.
Les entreprises qui enfreignent cette réglementation s'exposent à de lourdes amendes, afin de garantir la protection des droits fondamentaux et des libertés individuelles.
Identification biométrique à distance en temps réel à des fins répressives (art. 5, al. 1, let. h, du règlement sur l'IA)
Das Verbot des Einsatzes von KI-gestützter Gesichtserkennung in öffentlichen Räumen durch Strafverfolgungsbehörden stellt eine der striktesten Regelungen der KI-Verordnung dar. Gesichtserkennungssysteme haben das Potenzial, umfassende Überwachungsmaßnahmen zu ermöglichen und stellen somit eine erhebliche Gefahr für die l'autodétermination en matière d'information der Bürger dar.
Aspects problématiques de l'identification biométrique à distance en temps réel :
- La surveillance de masse et Protection des données: L'utilisation généralisée des systèmes de reconnaissance faciale pourrait conduire à une surveillance permanente dans l'espace public, créant ainsi un climat de contrôle et de peur.
- Risques d'erreur et discrimination: Il est prouvé que les systèmes d'identification biométrique sont sujets à des erreurs et présentent des taux d'erreur plus élevés, notamment chez certains groupes ethniques, ce qui peut entraîner des soupçons injustifiés, voire des interpellations.
- Potentiel d'abus: L'utilisation incontrôlée de telles technologies pourrait permettre aux forces de l'ordre ou à d'autres acteurs étatiques de suivre les déplacements des personnes sans fondement juridique suffisant.
- Préoccupations liées à l'État de droit: L'identification des individus en temps réel pourrait restreindre le droit à l'anonymat dans l'espace public et, dans certains cas, enfreindre les principes de proportionnalité.
Malgré cette interdiction de principe, le règlement sur l'IA prévoit peu de Exceptions Les autorités de l'Union européenne ont prévu des dispositions qui autorisent l'utilisation de la technologie dans des conditions très strictes :
- Recherche ciblée de personnes disparuesSi une personne est portée disparue et que sa vie est en danger, la reconnaissance faciale peut être utilisée dans des conditions légales strictes.
- Lutte contre le terrorisme: En cas de menace terroriste immédiate, cette technologie peut être utilisée pour identifier les personnes susceptibles d'être impliquées dans des attentats.
- Lourde Crimes et délitsUne utilisation limitée de la reconnaissance faciale peut être autorisée dans certaines situations, lorsqu'il s'agit d'élucider des faits graves. Crimes et délits et qu'il n'existe pas d'autres mesures moins intrusives.
Afin d'éviter tout abus, toutes les applications d'identification biométrique à distance doivent être approuvées en temps réel par des autorités de contrôle indépendantes et faire l'objet de contrôles réguliers. Toute utilisation non autorisée ou disproportionnée peut être sanctionnée par des amendes élevées ou des poursuites judiciaires. Cela garantit que le progrès technologique ne se fasse pas au détriment des droits fondamentaux et que les principes de l'État de droit soient respectés.
Sanctions en cas de violation du règlement sur l'IA
L'application des interdictions est assurée par différentes institutions au niveau national et européen. En particulier, les autorités nationales de surveillance du marché sont chargées de contrôler le respect des réglementations. Elles ont le pouvoir d'enquêter sur les infractions, de prendre des mesures pour faire cesser les pratiques d'IA non autorisées et d'imposer des sanctions. Parallèlement, le Contrôleur européen de la protection des données joue un rôle clé, notamment lorsqu'il s'agit d'infractions en matière de Traitement des données à caractère personnel.
Toute infraction aux interdictions prévues par l’AI Act peut entraîner des sanctions financières importantes. Le règlement prévoit des amendes pouvant atteindre 35 millions d’euros ou 7 % du chiffre d’affaires annuel mondial d’une entreprise, le montant le plus élevé étant retenu. Ces sanctions visent à garantir que les entreprises et les organisations respectent les exigences légales et ne développent ni ne mettent en œuvre de systèmes d’IA illicites ou nuisibles. Outre les sanctions financières, des restrictions d’exploitation ou des interdictions de vente peuvent également être prononcées à l’encontre des systèmes d’IA non conformes.
En outre, les entreprises sont tenues de présenter des rapports périodiques sur le respect de la réglementation. Dans les cas graves, des sanctions pénales peuvent également être prévues dans certains États membres s'il est prouvé que l'utilisation de technologies d'IA interdites a entraîné des violations, par négligence ou intentionnelles, des droits fondamentaux.
Les premières lignes directrices relatives au règlement sur l'IA fixent des normes strictes
Le site Lignes directrices de l'UE pour la mise en œuvre du règlement sur l'IA établissent des règles claires pour l'utilisation de l'intelligence artificielle et fixent des normes strictes pour le respect des droits fondamentaux. Alors que la protection contre l'utilisation abusive de l'IA est renforcée, le défi consiste à ne pas entraver l'innovation. La future jurisprudence de la CJCE contribuera de manière décisive à l'interprétation des règles et permettra de clarifier dans quelle mesure des applications spécifiques de l'IA répondent aux exigences du règlement sur l'IA.
Vous souhaitez mettre votre entreprise en conformité avec le règlement sur l'IA ? Nous allons nous y attaquer ensemble ! Nos experts se feront un plaisir de vous conseiller. Appelez-nous ou écrivez-nous :
Tél: +33 1 856 59880
Courrier électronique : paris@2b-advice.com
German 
English 
Italian 
French