Paris, France, mai 2021 – Le groupe de travail Sécurité & Innovation de l’Efus a organisé une webconférence sur l’utilisation des technologies d’intelligence artificielle (IA) qui a réuni (en ligne) des représentants de plusieurs municipalités européennes, des partenaires du projet Cutting Crime Impact, des universitaires et des chercheurs, le 5 mai.
Quelles sauvegardes contre les écueils des technologies de surveillance ?
Depuis le début de la série de webconférences du groupe de travail Sécurité & Innovation de l’Efus, nous avons abordé les opportunités et les risques liés à l’utilisation des technologies d’IA dans le domaine de la sécurité urbaine et de la prévention. Lors des sessions sur la police prédictive et sur la reconnaissance faciale, des experts et des représentants de villes ont partagé leurs perceptions, initiatives et difficultés.
Les technologies d’intelligence artificielle peuvent présenter de nombreuses opportunités dans le domaine de la sécurité urbaine. Les programmes de reconnaissance faciale peuvent contribuer à la recherche de personnes disparues et de criminels. Les programmes de prédiction de la criminalité peuvent accélérer la gestion et l’analyse de grandes quantités de données et être utilisés par les autorités en charge de la sécurité dans leurs opérations quotidiennes.
Pour cette webconférence, nous souhaitions aller plus loin et non seulement mesurer les implications éthiques, légales et sociales de l’utilisation des technologies de surveillance mais aussi aborder les sauvegardes existantes. Jana Degrott, élue locale du Luxembourg, et Linda Van de Fliert, du département Technologie de la Ville d’Amsterdam, ont discuté des différents usages des algorithmes, des risques de discrimination et de la nécessité d’un meilleur contrôle public de l’IA.1
Algorithmes au service de la municipalité
La police prédictive et la reconnaissance faciale sont deux des cas d’utilisation de l’intelligence artificielle les plus polarisants. Les implications légales, éthiques et sociales sont nombreuses.2 En ce qui concerne la sélection des données, il existe un risque d’utilisation de données historiques sur la criminalité qui peuvent générer des décisions automatisées, lesquelles renforcent les biais discriminatoires. Le fait que les algorithmes fonctionnent à partir d’énormes quantités de données rend la transparence plus difficile et empêchent de comprendre comment les décisions sont prises, ce qui affecte la capacité à corriger des décisions erronées.
L’utilisation de caméras de surveillance peut avoir un impact sur la liberté de réunion et d’association et le droit à la non-discrimination : des études ont montré que le taux d’erreur varie selon le genre et la couleur de peau.3De plus, il y a eu peu de recherches sur la façon dont les logiciels de reconnaissance faciale fonctionnent avec les personnes ayant des incapacités.
Que ce soit pour des raisons financières, un manque de besoin ou pour des considérations éthiques, de nombreuses villes n’utilisent pas les logiciels de prédiction de la criminalité ou de reconnaissance faciale. Cela ne veut pas dire pour autant que l’intelligence artificielle n’est pas utilisée dans d’autres circonstances. Jana Degrott a souligné que la prise de décision administrative peut être facilité par les technologies à base d’intelligence artificielle. Cela peut accélérer les processus administratifs et éliminer certains aspects de l’erreur humaine, mais il y a aussi le risque que de tels systèmes fondés sur l’IA incorporent des biais qui existent déjà dans les données collectées ou dans un travail administratif antérieur.
Une approche humaniste
Linda Van de Fliert a expliqué qu’Amsterdam a choisi une approche humaniste des nouvelles technologies. Les cas d’utilisation comprennent des outils pour faciliter la répression des délits non-violents, par exemple les algorithmes permettant de donner la priorité à la répression des fraudes dans les locations saisonnières à partir d’une analyse de la crédibilité des signalements, ce qui permet de garantir que les cas prioritaires soient les premiers traités par la police.
Le système Public Eye de surveillance des foules à Amsterdam utilise un algorithme pour analyser le nombre de personnes dans un espace donné et accélérer les mesures administratives pour éviter la sur-fréquentation et les mouvements de foule potentiellement dangereux. Les données sur les foules sont aussi transmises au public pour que les gens puissent planifier leurs déplacements (ce qui peut être particulièrement utile pendant la crise sanitaire actuelle). Bien qu’il n’utilise pas la reconnaissance facile, ce projet est controversé parce qu’il reconnaît et enregistre des formes humaines.
Lignes directrices de l’UE pour une IA digne de confiance
L’intelligence artificielle est régulièrement critiquée pour l’opacité des algorithmes, leur caractère « boîte noire » qui complique le traçage des entrées et sorties digitales (les inputs et outputs), ce qui empêche de les contester le cas échéant. S’il est impossible de comprendre d’où vient une décision, le public continuera à se méfier de cette technologie.
Pour Linda Van de Fliert, il est essentiel que le public ait confiance le maintien des libertés démocratiques et de l’état de droit. Si l’UE a publié des Lignes directrices en matière d’éthique pour une IA digne de confiance, celle-ci ne donnent pas d’informations très détaillées sur l’instrumentalisation, ce qui laisse ouvertes de nombreuses questions pour les villes en matière de meilleures pratiques.
En avril 2021, la Commission européenne a publié un projet de cadre réglementaire sur l’utilisation de l’IA. Il a été conçu comme une réponse au manque de législation et fixe des règles pour plus de transparence et pour limiter les risques d’atteinte aux droits fondamentaux. Le document s’intéresse notamment aux systèmes d’IA à haut risque, dont l’utilisation de logiciels de prédiction de la criminalité et la reconnaissance faciale dans les espaces urbains. Ces fonctions à haut risque ne peuvent être utilisées que si elles remplissent un certain nombre de garde-fous tels que l’utilisation d’ensembles de données de haute qualité, l’établissement d’une documentation appropriée pour favoriser la traçabilité, le partage d’informations pertinentes avec l’utilisateur, et la conception et la mise en place de mesures de contrôle par des êtres humains.4
Transparence et confiance
Les villes d’Amsterdam et d’Helsinki ont élaboré des instruments pour garantir la transparence et susciter la confiance. Ainsi, les conditions de passation des marchés en matière de technologies IA donnent une définition de la transparence technique et procédurale exigée afin que les citoyens puissent clairement comprendre la technologie utilisée. Les fournisseurs doivent donner des informations sur les partis-pris et les choix qui ont été faits pendant la phase de développement des algorithmes et détailler les mesures garantissant l’intégrité des ensembles de données. Les registres d’algorithmes5 utilisés à Amsterdam et Helsinki sont des sites web accessibles à tous comprenant des informations sur la façon dont fonctionnent les algorithmes, les données qu’ils utilisent et les mesures prises pour éviter les discriminations potentielles.
Vers l’opérationnalisation des exigences de transparence
Les registres IA d’Amsterdam et Helsinki sont un exemple de communication avec les utilisateurs et de transparence sur les risques potentiels. Linda Van de Fliert a souligné qu’il convient d’équilibrer le souci de communication avec les citoyens et le danger de donner trop d’informations, ce qui pourrait aboutir à un semblant de transparence plutôt qu’une communication réelle sur les risques et les avantages d’un algorithme. Le format de l’interface est important : même les utilisateurs qui n’ont pas de compétences ni d’expertise doivent pouvoir comprendre le raisonnement qui est derrière les décisions prises par l’IA. Il est aussi important d’associer des représentants des autorités locales dans le développement et les processus d’innovation des nouveaux outils IA pour qu’ils puissent faire part de leurs besoins sur le terrain et de leurs pratiques en matière d’acceptation et d’adhésion des citoyens.
Pour Jana Degrott, il convient de mener un travail approfondi pour que les ensembles de données et les algorithmes reflètent la diversité de la population et la représente de façon juste, notamment en phase de développement, afin d’éviter que les biais ne s’inscrivent dans ces systèmes. « Si nous ne réparons pas les biais, tout ce que nous faisons c’est de les automatiser », a-t-elle déclaré. Les équipes et les personnes en charge du développement et de la mise en œuvre de ces technologies à base d’IA doivent être représentatives de la population, dont les groupes vulnérables et les minorités. Il est recommandé également de prendre en compte les points de vue de groupes militants à l’étape de planification car ils peuvent apporter des informations intéressantes sur le degré d’acceptation ou les craintes du public.
> Suivez l’actualité en matière de technologies et de sécurité urbaine en vous connectant à notre groupe de travail Sécurité & Technologies sur Efus Network
1 Livre blanc Public AI Registers – Realising AI transparency and civic participation in government use of AI par Meeri Haataja, Linda van de Fliert et Pasi Rautio, disponible sur https://algoritmeregister.amsterdam.nl/wp-content/uploads/White-Paper.pdf
2Plus plus d’informations, voir les fiches de synthèse du projet CCI sur la police prédictive et la reconnaissance facile ici et ici.
3 « The Best Algorithms Struggle to Recognize Black Faces Equally » (les meilleurs algorithmes reconnaissent de manière égale les visages noirs), Tom Simonite. Wired, 2019: https://www.wired.com/story/best-algorithms-struggle-recognize-black-faces-equally/
4 Proposition de réglementation pour des règles harmonisées en matière d’intelligence artificielle, Commission européenne, avril 2021 : https://digital-strategy.ec.europa.eu/en/library/proposal-regulation-laying-down-harmonised-rules-artificial-intelligence-artificial-intelligence[5] A video that outlines how the Amsterdam AI register works can be found here: https://vimeo.com/469737917
5 A video that outlines how the Amsterdam AI register works can be found here: https://vimeo.com/469737917
