Qu'est-ce qui est juste?
Cela semble une question simple, mais sans réponses simples. Cela est particulièrement vrai dans le monde mystérieux de l'intelligence artificielle (IA), où la notion de machines intelligentes et sans émotion prenant des décisions merveilleusement sans préjugés s'estompe rapidement.
L'enquête de 2016 de ProPublica, qui a permis de conclure que les données utilisées par un système d'IA utilisées par les juges pour déterminer si un criminel condamné est susceptible de commettre davantage d'actes criminels, a peut-être semblé être la plus répandue de ces perceptions, ce qui a semblé biaiser les minorités. Northpointe, la société qui a créé l'algorithme, connue sous le nom de COMPAS, a contesté l'interprétation des résultats par ProPublica, mais le conflit a suscité à la fois un débat et une analyse sur le niveau de confiance à accorder aux machines les plus intelligentes.
«C'est un sujet d'actualité: comment rendre les algorithmes justes et dignes de confiance», déclare Daniel Neill. "C'est un problème important."
Neill se trouve maintenant au milieu de cette discussion. Informaticien à la Carnegie Mellon University, il a développé, avec un autre chercheur, Will Gorr, un outil logiciel de prévision du crime appelé CrimeScan il y a plusieurs années. Leur concept initial était que, d'une certaine manière, le crime violent était comme une maladie transmissible, et qu'il avait tendance à se diviser en grappes géographiques. Ils sont également parvenus à penser que des crimes moins graves pouvaient présager des crimes plus violents. Ils ont donc construit un algorithme utilisant un large éventail de données sur les «indicateurs avancés», notamment des rapports sur des crimes, tels que des agressions simples, du vandalisme et des comportements désordonnés. des appels concernant des choses comme des coups de feu ou une personne vue avec une arme. Le programme intègre également les tendances saisonnières et au jour de la semaine, ainsi que les taux de crimes violents graves à court et à long terme.
L'idée est de traquer les étincelles avant qu'un incendie ne se déclare. «Nous examinons plus de crimes mineurs», dit Neill. «Les agressions simples pourraient s’aggraver. Ou vous pourriez avoir une violence croissante entre deux gangs. "
Prédire quand et où
CrimeScan n'est pas le premier logiciel conçu pour ce que l'on appelle la police prédictive. Un programme appelé PredPol a été créé il y a huit ans par des scientifiques de l'UCLA travaillant avec le département de police de Los Angeles, dans le but de voir comment l'analyse scientifique des données sur la criminalité pourrait aider à déceler les schémas de comportement criminel. Maintenant utilisé par plus de 60 départements de police du pays, PredPol identifie les zones d'un quartier où des crimes graves sont plus susceptibles de se produire au cours d'une période donnée.
La société affirme que ses recherches ont montré que le logiciel était deux fois plus précis que les analystes humains en ce qui concerne la prévision des crimes. Aucune étude indépendante, cependant, n'a confirmé ces résultats.
PredPol et CrimeScan limitent leurs projections aux endroits où les crimes pourraient être commis et évitent de prédire qui pourrait les commettre - une approche controversée que la ville de Chicago a construite autour d'une "liste thématique" des personnes les plus susceptibles d'être impliquées. lors de futures fusillades, en tant que tireur ou victime.
L’American Civil Liberties Union (ACLU), le Centre Brennan pour la justice et diverses organisations de défense des droits civils ont tous soulevé des questions sur le risque de biais dans le logiciel. Les critiques soutiennent que les données historiques issues des pratiques policières peuvent créer une boucle de rétroaction grâce à laquelle les algorithmes prennent des décisions qui reflètent et renforcent les attitudes à l'égard des quartiers «mauvais» et des quartiers «bons». C'est pourquoi l'IA basée principalement sur des données d'arrestation risque de partialité - il reflète davantage les décisions de la police, par opposition aux crimes signalés. CrimeScan, par exemple, évite d'essayer de prévoir des crimes qui, comme le dit Neill, "vous ne trouverez que si vous les recherchez".
«Je ne peux pas dire que nous n’avons pas de parti pris», dit Neill, «mais c’est certainement plus réduit que si nous essayions de prédire la possession de drogue.»
Ensuite, il y a l'autre côté de la boucle de rétroaction. Si un outil prédictif laisse présager des crimes dans un quartier, les policiers qui y patrouillent seront-ils plus agressifs lors des arrestations?
«Avec tout type de maintien de l'ordre fondé sur des données, il y a un réel danger d'oublier qu'il y a des êtres humains des deux côtés de l'équation», note Andrew Ferguson, professeur de droit à l'Université du district de Columbia et auteur du livre. livre, La montée en puissance du maintien de l’ordre des données volumineuses: surveillance, race et avenir de l’application de la loi. «Les agents doivent être en mesure de traduire ces idées qui suggèrent que les différents quartiers ont des scores de menace différents. Et se concentrer sur les chiffres plutôt que sur l'être humain devant vous change votre relation avec eux. "
À l'intérieur de la boîte noire
La réalité est que l’intelligence artificielle joue désormais un rôle - bien souvent à l’arrière-plan - dans de nombreuses décisions affectant la vie quotidienne, allant d’aider les entreprises à choisir les personnes à engager, d’établir les cotes de crédit d’évaluer les enseignants. Sans surprise, cela a intensifié l'examen du public sur la manière dont les algorithmes d'apprentissage automatique sont créés, sur leurs conséquences imprévues, et sur la raison pour laquelle ils ne sont généralement pas soumis à une révision approfondie.
Pour commencer, une grande partie du logiciel est propriétaire, de sorte que le fonctionnement des algorithmes est peu transparent. Et, à mesure que l'apprentissage de la machine devient plus sophistiqué, même les ingénieurs qui ont créé un système d'intelligence artificielle auront de plus en plus de difficultés à expliquer les choix qui ont été faits. Cette prise de décision opaque, avec peu de responsabilité, est une conséquence de ce que l’on appelle désormais les algorithmes de «boîte noire».
«Le public n'a jamais l'occasion de vérifier ou de débattre de l'utilisation de tels systèmes», explique Meredith Whittaker, cofondatrice de l'AI Now Institute, une organisation de recherche de l'Université de New York qui se concentre sur l'impact de l'IA sur la société. "Et, les données et les logiques qui régissent les prédictions sont souvent inconnues même de ceux qui les utilisent, sans parler des personnes dont la vie est touchée."
Dans un rapport publié l’automne dernier, AI Now est allé jusqu'à recommander qu’aucun organisme public responsable de questions telles que la justice pénale, les soins de santé, le bien-être et l’éducation ne recourt à des systèmes d’Amnesty International à boîte noire. Selon AI Now, les questions juridiques et éthiques sont rarement prises en compte lors de la création du logiciel.
«Tout comme vous ne feriez pas confiance à un juge pour construire un réseau de neurones profonds, nous devons cesser de penser qu'un diplôme d'ingénieur est suffisant pour prendre des décisions complexes dans des domaines tels que la justice pénale», déclare Whittaker.
Une autre organisation, le Center for Democracy & Technology, a créé un outil de «décisions numériques» pour aider les ingénieurs et les informaticiens à créer des algorithmes qui produisent des résultats justes et impartiaux. L'outil pose de nombreuses questions destinées à les amener à peser leurs hypothèses et à identifier des effets d'entraînement imprévus.
«Nous voulions donner aux gens un point de départ concret pour réfléchir à des questions telles que la représentativité de leurs données, les groupes de personnes qui pourraient être laissés de côté et si les résultats de leur modèle vont avoir des conséquences négatives imprévues», déclare Natasha Duarte, qui supervise le projet.
Qui est responsable?
Bien que des efforts aient été faits pour sensibiliser davantage les développeurs aux répercussions possibles de leurs algorithmes, d’autres soulignent que les agences publiques et les entreprises qui dépendent de l’IA doivent également être comptables de leurs actes.
«L'accent est mis sur la compréhension par les concepteurs d'un système. Mais il s'agit également des personnes chargées d'administrer et de mettre en œuvre le système », explique Jason Schultz, professeur de droit à l'Université de New York, qui collabore avec l'AI Now Institute sur des questions juridiques et politiques. «C’est là que la responsabilité s’impose. Un organisme gouvernemental qui utilise AI est celui qui a le plus de responsabilités et qui doit aussi le comprendre. Si vous ne comprenez pas la technologie, vous ne devriez pas pouvoir l’utiliser.»
À cette fin, AI Now préconise l’utilisation «d’évaluations algorithmiques d’impact», qui obligerait les organismes publics à divulguer les systèmes qu’ils utilisent et à permettre aux chercheurs extérieurs de les analyser pour rechercher les problèmes potentiels. En ce qui concerne les services de police, certains experts juridiques estiment qu'il est également important pour eux d'expliquer clairement comment ils utilisent la technologie et d'être disposés à les partager avec la communauté locale.
«Si ces systèmes sont conçus du point de vue de la responsabilité, de l'équité et d'une procédure régulière, la personne qui met en œuvre le système doit comprendre qu'ils ont une responsabilité», déclare Schultz. «Et lorsque nous concevons comment nous allons les mettre en œuvre, l'une des premières questions est:« Où cela se trouve-t-il dans le manuel de la police? Si cela ne se trouve pas dans le manuel de la police, revenons un peu en arrière, messieurs.
Andrew Ferguson voit la nécessité de ce qu'il appelle un «sommet de surveillance».
«Au moins une fois par an, il devrait y avoir un moment de responsabilité pour la technologie de la police dans chaque juridiction locale», dit-il. «Le chef de la police, le maire ou peut-être le président du conseil municipal devraient expliquer à la communauté à quoi servent les fonds des contribuables en termes de surveillance et de technologie, pourquoi ils pensent que c'est une bonne utilisation de l'argent, faites pour vérifier et protéger les données, quelles sont les implications pour la vie privée. Et la communauté serait là pour poser des questions.
Daniel Neill, le créateur de CrimeScan, a déclaré qu'il ne s'opposerait pas à l'idée d'audits réguliers des résultats de l'IA, bien qu'il ait des réserves à ce sujet avant qu'un algorithme ne soit correctement testé sur le terrain. Il collabore actuellement avec le Bureau de la police de Pittsburgh à un procès CrimeScan. Au moins au début, il était difficile de «déterminer l'intensité de la patrouille appropriée pour les points chauds prévus».
Selon lui, il a été très difficile d’adapter CrimeScan afin que les agents de police de la rue croient que cela est utile. «Nous devons montrer que non seulement nous pouvons prévoir le crime, mais aussi que nous pouvons réellement le prévenir», fait remarquer Neill. «Si vous jetez simplement l'outil par-dessus le mur et espérez que tout ira pour le mieux, cela ne fonctionnera jamais aussi bien.
Il reconnaît également le risque de trop se fier à un algorithme.
«Un outil peut aider les policiers à prendre de bonnes décisions», dit-il. «Je ne crois pas que les machines devraient prendre des décisions. Ils devraient être utilisés pour l’aide à la décision. "
Neill ajoute: "Je comprends que, dans la pratique, ce n'est pas quelque chose qui se passe tout le temps."
