Le règlement sur l'IA (RIA) adopte une approche basée sur les risques afin de promouvoir l'innovation tout en protégeant les droits fondamentaux. L'interdiction de certaines pratiques d'IA considérées comme incompatibles avec les valeurs fondamentales de l'Union est un élément central du règlement sur l'IA. La Commission européenne vient de publier des lignes directrices qui précisent l'application et le respect des interdictions prévues à l'article 5 du règlement IA. Voici un aperçu des points les plus importants.
Contexte des interdictions prévues à l'article 5 du règlement sur les IC
Les interdictions prévues par le règlement sur l'IA sont un élément central de la réglementation de l'intelligence artificielle dans l'Union européenne et se fondent sur la protection des droits de l'homme fondamentaux ainsi que sur le respect des principes démocratiques et de l'État de droit. Elles visent à garantir que certaines technologies d'IA ne soient pas utilisées d'une manière qui compromettrait les valeurs fondamentales de l'UE telles que la dignité humaine, la non-discrimination, la transparence et la vie privée.
La diffusion croissante des technologies d'IA pose des défis considérables, notamment en ce qui concerne le contrôle des processus décisionnels automatisés, la manipulation potentielle du comportement humain et l'accès incontrôlé aux données personnelles. L'interdiction des applications d'IA particulièrement problématiques vise donc à prévenir les risques et les dangers graves que peuvent présenter ces technologies.
Les interdictions visent notamment à empêcher les applications qui, par une manipulation intentionnelle ou des mécanismes trompeurs, contrôlent le comportement d'individus ou de groupes sans que ceux-ci aient conscience des processus sous-jacents. De même, il s'agit d'endiguer l'utilisation abusive des données biométriques et d'exclure le recours à des systèmes de contrôle social et de discrimination.
L'objectif de ces interdictions est donc de préserver l'autonomie et la liberté de choix des individus, de garantir l'équité et la transparence des processus basés sur l'IA et d'éviter les inégalités sociales et économiques qui pourraient résulter de systèmes d'IA non transparents ou discriminatoires.
Les pratiques d'IA énumérées à l'article 5 du règlement ne sont donc pas seulement problématiques sur le plan technique ou économique, elles sont également inacceptables d'un point de vue éthique et social. La réglementation claire de ces technologies vise à garantir que les applications d'IA sont développées et utilisées au profit de la société, sans porter atteinte aux droits et libertés fondamentaux.
Le règlement sur l'IA distingue plusieurs catégories d'applications d'IA interdites :
Systèmes d'IA manipulateurs et trompeurs (article 5, paragraphe 1, point a) du règlement sur l'IA)
Cette réglementation interdit les systèmes d'IA qui utilisent des techniques subversives, manipulatrices ou trompeuses pour influencer le comportement des individus. Cela comprend entre autres
- Messages subliminaux: systèmes d'IA qui placent des stimuli visuels ou auditifs en dehors du champ de perception conscient afin d'influencer des comportements ou des décisions inconscients. Ces techniques peuvent être mises en œuvre par des flashs d'images ultra-rapides ou des signaux acoustiques inaudibles.
- Manipulation psychologique ou cognitive: systèmes d'IA qui exploitent de manière ciblée des faiblesses psychologiques ou des distorsions cognitives afin d'inciter les utilisateurs à effectuer certaines actions ou à prendre certaines décisions. Les exemples incluent la publicité personnalisée basée sur les faiblesses individuelles ou les interfaces utilisateur basées sur l'IA qui faussent les processus de décision par des "dark patterns".
- Désinformation et contenu trompeurSystèmes d'IA qui génèrent et diffusent de manière ciblée des informations fausses ou déformées afin d'influencer l'opinion publique ou les décisions individuelles. Il s'agit notamment des deepfakes, des articles d'actualité synthétiques ou des bots assistés par IA qui manipulent les opinions sur les plateformes de médias sociaux.
- Mécanismes d'interaction compulsifs: systèmes basés sur l'IA qui incitent délibérément les utilisateurs à s'engager plus longtemps en exploitant des mécanismes de dépendance tels que des systèmes de récompense ou des fonctions de "défilement infini". Cela peut être particulièrement problématique pour les enfants et les adolescents, qui sont plus vulnérables à de tels mécanismes.
Les pratiques susmentionnées sont particulièrement problématiques, car elles sapent la liberté de choix et l'autonomie cognitive des personnes concernées. Ces systèmes d'IA peuvent avoir des répercussions importantes sur la démocratie, l'économie et la société, notamment lorsqu'ils sont utilisés pour influencer de manière ciblée le comportement électoral ou les décisions d'achat. C'est pourquoi leur utilisation est soumise à des restrictions légales strictes conformément au règlement sur l'IA.
Abus de vulnérabilité (article 5, paragraphe 1, point b) du règlement sur les IC)
Le règlement sur l'IA interdit l'utilisation de systèmes d'IA qui exploitent délibérément les faiblesses d'individus ou de groupes en raison de leur âge, d'un handicap ou d'une situation sociale ou économique particulière. Cette réglementation vise à protéger les personnes particulièrement vulnérables contre les applications d'IA inéquitables ou manipulatrices qui pourraient saper leur liberté de choix et leur autonomie.
Les pratiques interdites comprennent
- Influencer de manière ciblée les enfants et les personnes âgées: Applications basées sur l'IA qui ciblent spécifiquement les enfants ou les personnes âgées afin de les inciter à adopter certains comportements ou à prendre certaines décisions d'achat, par exemple au moyen de publicités manipulatrices ou d'informations délibérément trompeuses.
- Exploitation financière de groupes socialement ou économiquement défavorisés: systèmes qui manipulent de manière ciblée des groupes à faibles revenus avec des offres économiquement désavantageuses, en proposant par exemple des offres de crédit excessives ou des conditions d'assurance inéquitables grâce à des processus de décision algorithmiques.
- Abus de troubles cognitifs: systèmes d'IA délibérément conçus pour exploiter les limitations cognitives ou le manque de compétences numériques afin de tromper les individus ou de leur imposer des conditions contractuelles inéquitables.
- Exploitation des dépendances et des addictions: les plateformes basées sur l'IA qui visent à pousser les personnes susceptibles d'être dépendantes plus loin dans la dépendance par le biais de publicités ciblées ou de mécanismes d'interaction, comme l'optimisation algorithmique des systèmes de jeux d'argent ou de microtransactions.
Ces interdictions visent à garantir l'intégrité et la sécurité des groupes vulnérables et à assurer une utilisation éthique des technologies d'IA. Les applications d'IA doivent être conçues de manière à ne pas tirer d'avantages injustes des conditions de vie particulières ou des faiblesses de certains groupes. La mise en œuvre de ces directives garantira que les progrès technologiques ne se feront pas au détriment de ceux qui ont particulièrement besoin de protection et d'équité.
Scoring social (article 5, paragraphe 1, lettre c du règlement IA)
L'une des principales nouveautés du règlement sur l'IA est l'interdiction totale des systèmes de scoring social utilisés par des acteurs publics ou privés. Le scoring social désigne l'évaluation algorithmique d'individus sur la base de leur comportement ou de leurs caractéristiques personnelles, afin d'en déduire des conséquences sociales ou économiques. Ces systèmes sont particulièrement problématiques, car ils s'immiscent profondément dans la vie privée des citoyens et peuvent conduire à des discriminations injustifiées.
L'interdiction s'applique notamment lorsque
- une évaluation est faite sur des comportements sociaux ou des caractéristiques personnelles d'individus ou de groupes,
- des conséquences négatives pour les individus dans des domaines sociaux sans rapport, par exemple l'exclusion des offres de formation ou des services financiers en raison d'un mauvais score social,
- des sanctions ou privilèges disproportionnés découlent des évaluations, comme le fait de rendre plus difficile l'accès au crédit ou au logement sur la base de critères non objectifs et discriminatoires.
Le scoring social est surtout connu dans les États autoritaires, où il est utilisé pour contrôler et surveiller les citoyens. Le règlement sur l'IA précise que de tels systèmes sont incompatibles avec les valeurs fondamentales de l'Union européenne, notamment le respect de la dignité humaine, l'égalité de traitement et la vie privée.
Une attention particulière est accordée à l'application de cette interdiction par les autorités nationales de surveillance du marché et les institutions de protection des données. Les entreprises et les autorités qui développent ou utilisent des systèmes d'IA en Europe doivent s'assurer que leurs systèmes ne contiennent pas de mécanismes de scoring social non autorisés. Les violations de cette interdiction peuvent être sanctionnées par de lourdes amendes, afin de garantir que l'utilisation abusive de l'IA à des fins de contrôle social dans l'UE soit stoppée.
Prédiction d'infractions basée sur l'IA (art. 5, paragraphe 1, point d) du règlement sur l'IA)
L'interdiction s'étend aux systèmes d'IA qui prédisent le risque ou la probabilité d'un acte criminel sur la base de caractéristiques personnelles, du contexte social ou de probabilités statistiques. Le règlement sur l'IA précise que de tels systèmes présentent des risques importants pour les droits fondamentaux, notamment la présomption d'innocence, la protection de la vie privée et la non-discrimination. L'utilisation de telles technologies peut entraîner des désavantages systémiques pour certains groupes de population, notamment lorsque des bases de données biaisées ou insuffisantes sont utilisées pour prendre des décisions.
Aspects problématiques de ces systèmes d'IA :
- Discrimination et distorsionLes modèles d'IA sont souvent basés sur des données historiques qui reflètent des préjugés existants ou des inégalités structurelles. Il y a donc un risque que certains groupes soient considérés comme suspects de manière disproportionnée.
- Manque de transparence et de traçabilitéLa prise de décision par les systèmes d'IA est souvent opaque et difficile à comprendre, ce qui rend difficile un contrôle efficace et une vérification juridique.
- Présomption d'innocenceUne évaluation automatisée du risque individuel de commettre un délit peut conduire à la stigmatisation ou à la surveillance de personnes sans qu'il y ait un véritable fondement pénal.
Des exceptions existent pour les systèmes d'IA qui utilisent des données objectives et vérifiables pour soutenir les évaluations humaines. Par exemple, des systèmes peuvent être utilisés pour identifier des modèles criminels déjà connus dans des analyses de données si celles-ci servent uniquement à la prise de décision par les forces de l'ordre et qu'aucune classification automatisée des personnes en tant que criminels potentiels n'est effectuée.
Dans l'ensemble, l'utilisation de ces technologies dans l'UE reste très sensible et nécessite un strict respect des principes de l'État de droit ainsi qu'un contrôle régulier par des autorités de surveillance indépendantes.
Collecte non ciblée de données biométriques (art. 5, al. 1, let. e, du règlement IA)
La collecte non ciblée de données biométriques constitue une menace considérable pour la vie privée et l'autodétermination informationnelle des personnes concernées. Le règlement IA interdit donc explicitement la collecte massive et incontrôlée d'images faciales, d'empreintes digitales ou d'autres caractéristiques biométriques provenant de sources publiques, notamment par des techniques telles que le "scraping".
De telles pratiques servent souvent à créer des bases de données biométriques à grande échelle, qui peuvent ensuite être utilisées à des fins très diverses, comme la reconnaissance faciale ou la vérification d'identité sans le consentement explicite des personnes concernées. Cela soulève d'importantes préoccupations en matière de protection des données et d'éthique, notamment parce que :
- Absence de consentement: Les personnes concernées n'ont aucun contrôle sur la collecte et le traitement de leurs données biométriques.
- Les risques de la surveillance de masseCes bases de données peuvent être utilisées par des acteurs publics et privés pour mener des activités de surveillance à grande échelle.
- Risque d'abusLes données biométriques pourraient être utilisées à des fins d'application de la loi ou à des fins commerciales sans que l'on en soit informé ou que l'on y consente.
- Risques d'erreur et discrimination: Il a été démontré que les systèmes de reconnaissance faciale basés sur l'IA ont un taux d'erreur plus élevé pour certains groupes ethniques et peuvent conduire à des suspicions ou des discriminations injustifiées.
Le règlement interdit donc la création ou l'extension de telles bases de données par un scraping non ciblé à partir de sources accessibles au public, telles que les réseaux sociaux ou les caméras de surveillance. Les entreprises et les organisations qui développent ou utilisent des technologies biométriques doivent se conformer à des politiques strictes de protection des données et à des exigences de transparence afin d'éviter toute utilisation abusive de données personnelles sensibles.
Les relevés biométriques ne sont autorisés que dans des conditions strictes, par exemple lorsque les personnes concernées ont donné leur consentement explicite et éclairé ou lorsque des dispositions légales le permettent dans le respect des droits fondamentaux. Les autorités nationales de protection des données sont tenues de poursuivre systématiquement les infractions à ces dispositions et d'infliger des sanctions sévères.
Reconnaissance des émotions sur le lieu de travail et dans les établissements d'enseignement (article 5, paragraphe 1, point f) du règlement sur les IA)
L'interdiction concerne l'utilisation de systèmes d'IA qui analysent les émotions des travailleurs ou des élèves, car cela peut avoir un impact considérable sur la vie privée, la protection de la personnalité et l'autonomie individuelle. Les technologies de reconnaissance des émotions utilisent la reconnaissance faciale, l'analyse vocale ou d'autres signaux biométriques pour déterminer l'état émotionnel d'une personne. L'UE considère ces pratiques comme particulièrement critiques, car elles ont des effets potentiellement discriminatoires et peuvent conduire à des mesures de surveillance illégales.
Pourquoi l'utilisation est-elle problématique ?
- Atteinte à la vie privéeLes systèmes de reconnaissance des émotions collectent et analysent des données biométriques sans que les personnes concernées puissent toujours donner leur consentement conscient.
- Mauvaise interprétation et manque de transparenceLa précision de ces systèmes est controversée, car les émotions peuvent être interprétées de manière subjective et culturelle. Cela peut conduire à des décisions erronées, qui peuvent avoir de graves conséquences, notamment dans le milieu du travail ou de l'éducation.
- Discrimination et stigmatisationles personnes ayant des expressions faciales ou des modes de communication particuliers pourraient être désavantagées ou mal catégorisées, ce qui pourrait conduire à des évaluations injustes, voire à l'exclusion de possibilités d'éducation ou d'emploi.
L'interdiction prévoit exceptions limitées notamment lorsque la reconnaissance des émotions a pour but de
- Applications médicalesDans le diagnostic ou la thérapie, par exemple pour aider les personnes souffrant de maladies neurologiques ou de difficultés de communication.
- Mesures relatives à la sécuritéDans des domaines d'application restreints, comme la détection de menaces aiguës ou l'identification de personnes en situation d'urgence (par exemple dans l'aviation ou les projets d'infrastructures critiques).
Les organisations et les entreprises qui enfreignent l'interdiction peuvent être soumises à de lourdes amendes. Les autorités de régulation seront tenues de surveiller l'utilisation de ces technologies et de veiller à ce qu'elles ne donnent pas lieu à une surveillance indue ou à une intrusion injustifiée dans la vie privée.
Conseil de lecture : Compétences en matière d'IA et obligations des entreprises en vertu de l'article 4 du règlement sur l'IA
Catégorisation biométrique des caractéristiques sensibles (art. 5, al. 1, let. g, du règlement IA)
La catégorisation biométrique de caractéristiques sensibles par des systèmes d'IA est un domaine particulièrement sensible, car elle interfère directement avec les droits fondamentaux des personnes concernées. Le règlement sur l'IA interdit donc toute utilisation de données biométriques pour déduire certaines caractéristiques personnelles liées à l'identité et aux qualités protégées d'une personne.
Les caractéristiques sensibles comprennent notamment
- l'origine raciale ou ethniqueLes systèmes d'intelligence artificielle ne doivent pas être utilisés pour classer les personnes selon des critères raciaux ou ethniques, car cela peut conduire à des discriminations et à des inégalités de traitement inacceptables.
- Convictions politiquesL'analyse de données biométriques pour déterminer des attitudes politiques peut conduire à la persécution et à la répression d'opinions divergentes et est donc strictement interdite.
- Opinions religieuses ou philosophiquesLes systèmes d'intelligence artificielle qui tirent des conclusions sur l'appartenance religieuse ou les convictions philosophiques d'une personne à partir de données biométriques sont interdits afin de protéger la liberté de religion et de croyance.
- Orientation sexuelleL'orientation sexuelle déduite des données biométriques constitue une atteinte grave à la vie privée et peut conduire à la discrimination et à la stigmatisation.
- Appartenance à un syndicatL'analyse des caractéristiques biométriques pour déterminer l'appartenance à un syndicat est interdite afin de garantir la liberté d'association et la protection des droits des travailleurs.
Pourquoi la catégorisation biométrique est-elle problématique ?
- Manque de validité scientifiqueDe nombreuses méthodes permettant de déduire des caractéristiques sensibles à partir de données biométriques reposent sur des hypothèses non prouvées ou pseudo-scientifiques et sont donc extrêmement sujettes aux erreurs.
- Risques de discriminationCes systèmes peuvent renforcer les préjugés existants et les inégalités sociales en désavantageant ou en stigmatisant certains groupes.
- Préoccupations éthiques et juridiquesL'utilisation de ces technologies va à l'encontre des principes fondamentaux de la protection des données et n'est pas compatible avec les droits fondamentaux européens.
Les entreprises qui ne respectent pas cette réglementation peuvent se voir infliger de lourdes amendes afin d'assurer la protection des droits fondamentaux et de la liberté individuelle.
Identification biométrique à distance en temps réel pour les poursuites judiciaires (art. 5, al. 1, let. h, du règlement IA)
L'interdiction de l'utilisation de la reconnaissance faciale basée sur l'IA dans les lieux publics par les forces de l'ordre constitue l'une des dispositions les plus strictes du règlement sur l'IA. Les systèmes de reconnaissance faciale ont le potentiel de permettre des mesures de surveillance à grande échelle et représentent donc une menace considérable pour l'autodétermination des citoyens en matière d'information.
Aspects problématiques de l'identification biométrique à distance en temps réel :
- Surveillance de masse et protection des donnéesL'utilisation généralisée de systèmes de reconnaissance faciale pourrait conduire à une surveillance permanente dans l'espace public, créant ainsi un climat de contrôle et de peur.
- Risques d'erreur et discriminationLes systèmes d'identification biométrique sont sujets à des erreurs avérées et présentent des taux d'erreur plus élevés, en particulier pour certains groupes ethniques, ce qui peut conduire à des suspicions injustifiées, voire à des arrestations.
- Potentiel d'abusL'utilisation incontrôlée de ces technologies pourrait permettre aux forces de l'ordre ou à d'autres acteurs étatiques de suivre les profils de déplacement des personnes sans base juridique suffisante.
- Préoccupations liées à l'État de droitL'identification des individus en temps réel pourrait limiter le droit à l'anonymat dans l'espace public et, dans certains cas, enfreindre les principes de proportionnalité.
Malgré l'interdiction de principe, le règlement sur les IA prévoit un petit nombre d'exceptions. Exceptions Les autorités de l'Union européenne ont prévu des dispositions qui autorisent l'utilisation de la technologie dans des conditions très strictes :
- Recherche ciblée de personnes disparuesSi une personne est portée disparue et que sa vie est en danger, la reconnaissance faciale peut être utilisée dans des conditions légales strictes.
- Lutte contre le terrorismeDans les cas où il existe une menace terroriste imminente, la technologie peut être utilisée pour identifier les personnes susceptibles d'être impliquées dans des attentats.
- Délits gravesUne utilisation très limitée de la reconnaissance faciale peut être autorisée dans certaines situations, lorsqu'il s'agit d'enquêter sur des infractions graves et qu'aucune autre mesure moins intrusive n'est disponible.
Pour éviter les abus, toutes les applications d'identification biométrique à distance en temps réel doivent être approuvées par des autorités de contrôle indépendantes et faire l'objet d'un contrôle régulier. Toute utilisation non autorisée ou disproportionnée peut être sanctionnée par de lourdes amendes ou des mesures judiciaires. Cela garantit que le progrès technologique ne se fait pas au détriment des droits fondamentaux et que les principes de l'État de droit sont respectés.
Sanctions en cas de non-respect du règlement sur les IC
L'application des interdictions est assurée par différentes institutions au niveau national et européen. En particulier, les autorités nationales de surveillance du marché sont chargées de contrôler le respect des réglementations. Elles ont le pouvoir d'enquêter sur les infractions, de prendre des mesures pour faire cesser les pratiques d'IA non autorisées et d'imposer des sanctions. Parallèlement, le Contrôleur européen de la protection des données joue un rôle clé, notamment lorsqu'il s'agit de violations dans le domaine du traitement des données à caractère personnel.
Les infractions aux interdictions de l'AI Act peuvent entraîner des sanctions financières importantes. Le règlement prévoit des amendes pouvant atteindre 35 millions d'euros ou 7 % du chiffre d'affaires annuel mondial d'une entreprise, le montant le plus élevé étant retenu. Ces sanctions visent à garantir que les entreprises et les organisations respectent les dispositions légales et ne développent ou n'utilisent pas de systèmes d'IA non autorisés ou nuisibles. Outre les sanctions financières, des restrictions d'exploitation ou des interdictions de vente peuvent également être imposées pour les systèmes d'IA non conformes.
En outre, les entreprises sont tenues de présenter des rapports réguliers sur le respect des règles. Dans les cas les plus graves, des sanctions pénales peuvent également être prévues dans certains États membres s'il est prouvé que des violations des droits fondamentaux, par négligence ou intentionnellement, ont été commises par l'utilisation de technologies d'IA interdites.
Les premières lignes directrices relatives au règlement sur les IC fixent des normes strictes
Les lignes directrices de l'UE pour la mise en œuvre du règlement sur l'IA établissent des règles claires pour l'utilisation de l'intelligence artificielle et fixent des normes strictes pour le respect des droits fondamentaux. Alors que la protection contre l'utilisation abusive de l'IA est renforcée, le défi consiste à ne pas entraver l'innovation. La future jurisprudence de la CJCE contribuera de manière décisive à l'interprétation des règles et permettra de clarifier dans quelle mesure des applications spécifiques de l'IA répondent aux exigences du règlement sur l'IA.
Vous voulez que votre entreprise soit prête pour le règlement sur l'IA ? Nous nous y attelons ensemble ! Nos experts se feront un plaisir de vous conseiller. Appelez-nous ou écrivez-nous :
Tél: +33 1 856 59880
Courrier électronique : paris@2b-advice.com
French 
German 
English 
Italian