« Weapons of Math Destruction ». Notes de lecture

Cathy O’NEIL — WEAPONS OF MATH DESTRUCTION — 2016 — Broadway Books
traduit en français en 2018 — ALGORITHMES, LA BOMBE À RETARDEMENT
Éditions Les Arènes – (préface de Cédric VILLANI)

À propos de l’auteure

Catherine O’Neil, dès l’âge de 14 ans, se représente les mathématiques comme « un refuge bien ordonné à l’abri de la confusion du monde réel ». Elle entreprend donc des études dans ce domaine qu’elle finalise par un doctorat. Nommée professeur au sein d’un département dépendant de l’Université de Columbia à New York, elle y effectue des recherches en géométrie algébrique arithmétique, avant de quitter en 2007 le monde feutré de l’Université pour celui des mathématiques appliquées.

Elle bifurque d’abord vers l’industrie de la finance et travaille dans un des principaux fonds spéculatifs des États-Unis lorsqu’intervient la crise des « subprimes » en 2008 dont, dit-elle, les mathématiciens se sont rendus complices avec leurs « formules magiques ».

Elle s’oriente ensuite vers une société de logiciels qui évalue le risque des fonds spéculatifs et des banques puis, en 2011, déçue et « reconvertie en experte des Données », elle rejoint une startup et cette expérience, qui la met en présence des modèles prédictifs (prévoir les clics des internautes plutôt que les mouvements de marché) avec leurs a priori, l’amène à pointer les effets pervers d’outils basés sur le Big Data et proliférant aux États-Unis.

Dans la perspective de diffuser ses informations vers le grand public, elle ouvre un Blog [1] avec pour objectif de « mobiliser les mathématiciens contre l’utilisation de statistiques approximatives et de modèles biaisés ». Il s’agit pour elle d’un débat essentiel, au cœur de la démocratie. Elle intègre le mouvement citoyen « Occupy Wall Street » dès sa création,

Sa thèse ….

Cathy O’Neil propose le concept « Armes de Destruction Mathématiques  » — ADM (traduction approximative du jeu de mots anglais « Weapons of Math Destruction ») pour parler des outils Logiciels représentant des menaces pour le citoyen dans sa vie quotidienne. Ces utilisations de l’ Algorithmique, quelle que puisse être leur intention initiale, révèlent trois caractéristiques négatives pour la communauté :

– l’opacité : le détail du fonctionnement de ces Algorithmes est caché derrière le secret professionnel (jalousement gardé au nom de la propriété intellectuelle) et s’abrite derrière une prétendue complexité et neutralité des mathématiques ;

– l’effet taille : pour limiter leurs coûts de développement et de mise en œuvre, ces outils généralisent des constats statistiques nivelés selon un nombre de critères réduits. D’une analyse massive des données ressort un modèle simplifié de normes sociales applicables à tous. Le modèle de décision implicitement délégué aux outils devient alors la règle imposée à chacun et dans laquelle les masses statistiques neutralisent les exceptions et les contradictions potentielles.

– l’existence d’une boucle de rétroaction néfaste (« destructive feed-back loop ») : le modèle proposé reconduit les constats historiques portés par les données archivées. De plus, les principes qu’il met en œuvre ne sont pas exempts des biais inhérents aux catégories de données fixées pour l’analyse statistique.
Ainsi, l’utilisation du modèle initial comme grille de lecture de nouvelles informations en entrée de l’outil ne peut qu’aboutir à une décision conservatrice : elle ne peut qu’aggraver la situation de ceux que l’analyse initiale a exclus (les plus démunis) et améliorer le traitement de ceux qu’elle favorisait déjà (les plus riches bénéficiant eux le plus souvent d’un traitement de faveur, plus personnalisé).
Ainsi une banque qui confierait sa décision d’attribution de prêts à un tel outil, prêterait aux emprunteurs socialement déjà établis et exclurait tout nouveau demandeur émergeant, indépendamment de la pertinence intrinsèque du projet justifiant la demande de chacun.

… développée avec l’appui de nombreux exemples

L’utilisation déjà citée des ADM dans les secteurs de l’attribution de prêts ou de l’assurance est examinée et dénoncée dans des chapitres dédiés.
Cathy O’Neil cite aussi en exemples contrastés des utilisations d’algorithmes plus pertinentes ou en tout cas moins discutables, comme par les logiciels de statistiques de base-ball, qui ont clairement pour but de prévoir les scores des matchs, constamment alimentés par les derniers résultats et dont les prévisions sont confrontées a posteriori à la réalité constatée.
Elle cite  à ce même titre le logiciel standard qu’utilise Amazon pour nous proposer d’acheter des produits que nous pourrions aimer et visant clairement à accroître son chiffre d’affaires et ses profits, et qui bénéficie, lui, de feed-back massifs et fréquents.

Mais l’examen des ADM montre que la société est souvent confrontée au choix entre équité et efficacité, mais également à la difficulté de réduire le comportement, les performances et le potentiel des êtres humains à des algorithmes. L’évolution doit laisser sa part à l’intuition, au sens commun.
Si les traditions juridiques penchent nettement en faveur de l’équité, les ADM tendent en revanche à favoriser l’efficacité. C’est ce qui est démontré dans ces quelques exemples tirés de l’observation de l’auteure de ces ADM qui parsèment la vie des citoyens aux États-Unis [2] et dont les dérives croissantes favorisent les inégalités en échappant à tout contrôle.

– Le programme IMPACT, mis en place en 2009 par la municipalité de Washington DC dans le but louable, et nécessaire alors, d’accroître l’efficacité de l’enseignement. Ce modèle dit « de valeur ajoutée » mesure en théorie l’apport d’un enseignant sur la réussite scolaire des élèves et conduit à se séparer des moins performants. L’analyse menée par Cathy O’Neil révèle les nombreuses imperfections de l’algorithme qui ne prend en considération ni l’ensemble des facteurs individuels de réussite ou d’échec ni les stratégies menées par les écoles pour le contourner. Elle souligne d’autre part l’absence de feed-back de ce système statistique dans lequel aucune remontée d’informations ne permet d’alerter sur les égarements du modèle.

– Le magazine « US News » établit chaque année un palmarès des universités américaines. Ce classement est reconnu par tous alors que les critères mis en œuvre dans l’algorithme (résultat aux tests d’admission, ratios étudiants/professeurs, obtention du diplôme, contribution financière des anciens élèves, appréciation des responsables des universités, pondération des différents critères, etc.) souffrent de nombreux défauts. Comme cause de la faille de ce modèle, Cathy O’Neil relève que le système initial a pu paraître crédible, car reflétant la hiérarchie des a priori de ces concepteurs. Dès lors, la dérive ADM est en marche : les universités mal notées qui n’attirent pas les meilleurs élèves développent alors manœuvres et tricheries (coûteuses) pour progresser dans le classement ; les universités à but lucratif achètent à des officines les coordonnées des personnes « dans le besoin » pouvant prétendre à des prêts d’État pour couvrir l’essentiel de leurs frais de scolarité ; ces personnes « ciblées » étant par ailleurs sollicitées par des organismes pour bénéficier de prêts sur salaires à des taux usuraires.

– Kronos est une entreprise qui a apporté une dimension scientifique à la gestion des ressources humaines depuis les années 1970, en élaborant alors une pointeuse d’un nouveau genre équipée d’un microprocesseur. Elle exploite aujourd’hui un programme de recrutement baptisé « Workforce Ready HR ». L’algorithme utilise des tests de personnalité et sélectionne les « meilleurs profils », mais là encore, aucun retour n’est effectué pour confirmer ou infirmer la pertinence du choix du programme. Se pose également la question légitime de savoir comment les personnes exclues pourront trouver un emploi si l’emploi des tests est généralisé. Et, sachant qu’une part très importante des CV ne sont pas lus par un humain, les candidats savent devoir les adapter à ce qui plaît à la machine, mais ne sont pas sur un pied d’égalité en la matière.

– En matière policière, le dispositif « Stop and frisk », utilisé dans nombre de villes américaines, n’est pas formalisé sous forme d’algorithme, mais peut être assimilé à une ADM en ce qu’il auto-alimente des préjugés en matière de prédiction de la criminalité et s’avère être une forme de maintien de l’ordre inéquitable et présentant un caractère raciste.

– En matière judiciaire, lors des procès, le jugement (dans plusieurs États et notamment en Idaho, au Colorado) prend en compte les risques de récidive issus du modèle LSI-R basé sur des questionnaires remplis par les prisonniers sur leur environnement. Un inculpé à haut risque de récidive pourra écoper d’une peine plus longue et retournera à sa sortie dans son quartier criminogène avec une probabilité élevée de récidive ce qui confirmera la modélisation du récidivisme. La nocivité de l’AMD (boucle de rétroaction) se trouve révélée ici par le fait que la justice punit davantage les inculpés issus de milieux défavorisés.

– Facebook, qui peut donner l’impression d’être une place de village moderne, exerce de fait un pouvoir considérable (partagé avec d’autres sociétés cotées en bourse, Amazon, Microsoft, Apple, Google, et des opérateurs de téléphonie mobile). Outre les publicités ciblées, le fil d’actualité dépend de l’activité de chaque compte enregistré dans une « tribu » déterminée par un algorithme opaque analogue à ceux des moteurs de recherches comme celui de Google qui peuvent modifier l’ordre des résultats de nos recherches. Nous sommes aveuglés par notre confiance dans ces algorithmes qui ont pourtant récemment montré le pouvoir et la nocivité de ce ciblage (cf. Cambridge Analytica qui à partir de profils Facebook, est intervenu dans la campagne électorale et a contribué à mener Trump à la présidence des États-Unis).

Pour Cathy O’Neil, les ADM inversent l’équation énoncée dans la devise des Etats-Unis, « e pluribus unum » (de plusieurs, ne faire qu’un). Dans la plupart des domaines de l’existence humaine, elles sont extrêmement efficaces pour maltraiter les pauvres et ranger les gens aisés dans leurs propres « silos marketing ».
Pour réguler ces modèles mathématiques qui dirigent de plus en plus nos vies, elle suggère de faire prêter aux modélisateurs, à l’instar des médecins, une sorte de serment d’Hippocrate axé sur les mauvais usages et les mauvaises interprétations de leurs modèles [3]:
– « Je me souviendrai que je n’ai pas créé le monde et qu’il ne se conforme pas à mes équations ;
– J’utiliserai sans crainte mes modèles pour estimer des valeurs, mais ne me laisserai pas démesurément impressionner par les mathématiques ;
– Je ne donnerai pas aux utilisateurs de mon modèle de fausses certitudes quant à sa précision, je soulignerai au contraire explicitement ses hypothèses et ses omissions ;
– Je comprends que mon travail peut avoir d’énormes effets sur la société et l’économie, dont beaucoup dépassent mon entendement ».

Cathy O’Neil conclut que, au-delà de la seule recommandation de ces bonnes pratiques, les lois doivent aussi changer et nos critères de qualification des outils numériques doivent être être réévalués.
Les algorithmes seront dans les années à venir de plus en plus omniprésents. Nous devons dès maintenant bâtir un cadre pour nous assurer de leurs conséquences à terme. Au delà de leur intérêt économique immédiat, la décision de  mise en service d’un algorithme devrait anticiper les bénéfices et les coûts de leur impact social. L’analyse des retours d’expériences sur la durée devrait mesurer la réalité de ce diagnostic initial.

Mon point de vue de lecteur :

En lisant Cathy O’Neil, j’ai souvent pensé à Michael Moore. Comme ce dernier, elle use du story telling à l’américaine pour dramatiser ses démonstrations, mais avec simplicité, voire une certaine bonhomie. Si elle adopte un ton quelquefois un peu doctoral, elle n’est jamais pédante. Son livre reste donc  accessible au plus grand nombre.

L’auteure y met en pratique sa volonté d’informer sur des réalités de l’évolution de notre société et sur leurs dérives (c’est aussi l’objet de son blog cité plus haut où elle présente ses projets).
Si elle garde l’espoir qu’une intelligence artificielle régulée pourra permettre à l’humanité de progresser, elle pourrait souscrire à cette injonction de Cédric Villani extraite de la préface française de ce livre : « Si les pouvoirs publics baissent un jour la garde, ce sera à nous de nous réveiller ».

Cathy O’Neil est une lanceuse d’alerte et je conseille sans réserve la lecture de cet ouvrage. C’est un document qui illustre concrètement les effets pervers que peuvent avoir les algorithmes sur notre vie quotidienne.

 

Notes et références:
[1] ⤶ Site Mathbabe, « Exploring and venting about quantitative issues« . Suivre le lien mathbabe .
[2] ⤶ La version française du livre est une traduction très fidèle de sa version américaine. Si les exemples en référence sont tous américains, les constats et conclusions s’appliquent également aux outils analogues mis à la disposition des utilisateurs Européens.
[3] ⤶ Cette charte retenue par Cathy 0’Neil reprend les préceptes proposés par deux ingénieurs financiers après le krach financier de 2008, afin que leurs modèles algorithmiques ne deviennent pas un enjeu de domination sociale.

_________________________________
L’auteur de cet article est Antoine Malandain.

Sa version initiale a été publiée le 25 avril 2019

La version publiée intègre les commentaires, correctifs et compléments proposés par les membres de la commission de rédaction.
_________________________________