Algorithmes : la bombe à retardement.

«  Qui choisit votre université ? Qui vous accorde un crédit, une assurance, et sélectionne vos professeurs ? Qui influence votre vote aux élections ? Ce sont des formules mathématiques. Ancienne analyste à Wall Street devenue une figure majeure de la lutte contre les dérives des algorithmes, Cathy O’Neil dévoile ces « armes de destruction mathématiques » qui se développent grâce à l’ultra-connexion et leur puissance de calcul exponentielle. Brillante mathématicienne, elle explique avec une simplicité percutante comment les algorithmes font le jeu du profit ». Cédric Villani, rédacteur de la préface de l’ouvrage de Cathy O’Neil, se souvient que lorsqu’il fut nommé responsable d’une mission sur l’intelligence artificielle, il lut une nouvelle fois son ouvrage « Weapons of Math Destruction », afin d’en incorporer les enseignements dans son rapport, jusqu’à inviter l’auteure à échanger directement avec le président de la République. « Une chose est certaine : pour mettre fin aux mauvais usages de l’intelligence artificielle, il ne faut pas les cacher, ou se bercer de l’illusion qu’ils seraient réservés aux autres : il faut, au contraire, en tirer parti et en parler ». 

 

Les mécanismes d’une bombe : qu’est-ce qu’un modèle. 

 

Selon Cathy O’Neil, l’économie du Big Data promettait des gains spectaculaires : un programme informatique pouvait parcourir en une ou deux secondes des milliers de cv ou de demandes de prêt, les trier soigneusement, avec en tête de liste les meilleurs candidats. « Autour de 2010, les mathématiques commencèrent à s’immiscer comme jamais auparavant dans les affaires humaines, recevant un accueil très favorables du public. Mais je sentais venir les ennuis », confesse l’auteure. Les choix faits par les algorithmes reposent eux-mêmes sur des arbitrages réalisés par des humains, personnes faillibles. Et les algorithmes mis en place par ces derniers n’en étaient pas moins impitoyables : Cathy O’Neil y voyait des « ADM »« armes de destruction mathématiques », oppressant les plus fragiles et favorisant les intérêts des puissants.

 

Sous le choc : comment j’ai perdu mes illusions. 

 

« Durant le boom du secteur immobilier, comme le monde entier l’a appris plus tard, les sociétés de crédit hypothécaire réalisèrent d’abondants profits en octroyant des prêts pour des habitations que les gens n’avaient pas les moyens de s’acheter. La stratégie consistait simplement à émettre des prêts intenables, à empocher les commissions, puis à se défaire des valeurs mobilières résultantes, sur un marché des créances hypothécaires en plein croissance ». Plus insidieusement, Cathy O’Neil décrit comment les banques de crédits hypothécaires ciblaient en priorité les quartiers les plus pauvres, les minorités ethniques. La municipalité de Baltimore accusa la banque Wells Fargo d’avoir ciblé les quartiers noirs avec ce que l’on appelait des « prêts ghetto ». Et paradoxalement, les algorithmes prétendument puissants qui avaient créé le marché, ceux-là mêmes qui analysaient le risque des tranches de créances et les structuraient sous forme de titres financiers, se révélèrent incapables, le moment venu, de faire le ménage et de déterminer la véritable valeur de ces émissions ;

 

La course à l’armement : 

 

Dans certaines villes comme Portland ou San Francisco, il est impossible de partager une assiette lors d’une soirée entre amis, pour la bonne et simple raison que chacun suit son propre régime, végan ou paléo. Imaginons qu’un de ces régimes deviennent la norme : cette configuration mettrait tout l’économie agricole à rude épreuve. C’est exactement le même schéma qui s’applique au régime alimentaire et à la législation fiscale. « Toute formule présente en théorie un caractère parfaitement inoffensif (…) mais si elle acquiert la dimension d’une norme nationale ou mondiale, elle créé alors sa propre économie dystopique et dénaturée ». Le problème relève non seulement des algorithmes, mais aussi dans la convergence et l’uniformisation des modèles.

 

Victimes civiles : la justice à l’heure du Big Data. 

 

Malgré ses effectifs réduits, la police de Reading aux États-Unis a trouvé le moyen d’assurer un maintien de l’ordre d’aussi bonne qualité, sinon meilleur : en 2013, elle décida d’investir dans un logiciel de prédiction criminelle conçu par « PredPol », un startup du Big Data basée à Santa Cruz. « Le programme analysait les données historiques en matière de délinquance et calculait, heure par heure, les lieux dans lesquels des délits avaient la plus grande probabilité d’être perpétrés ».  L’outil permettait aux policiers de Reading de visualiser les conclusions du logiciel qui se présentaient sous l’aspect de zones carrées, couvrant des secteurs où la probabilité d’actes délictueux était plus forte. « Et de fait, au bout d’un an, le commandant Heim, chef de la police de Reading, annonça que les cambriolages avaient reculé de 23% ». Toujours selon le chef de la police, les modèles prédictifs comme Predpol ne seraient pas totalement dénués de vertus : l’outil ne se concentre pas sur l’individu mais sur la localisation géographique. Mais voilà, les zones en question recoupent le plus souvent les quartiers pauvres, essentiellement habités par des minorités ethniques. « Le résultat, c’est que nous criminalisons la pauvreté tout en étant convaincus que nos outils sont non seulement scientifiques, mais également justes », déplore l’auteure.

 

Le citoyen pour cible : la vie civique. 

 

« Bien que Facebook puisse donner l’impression d’une place de village moderne, c’est l’entreprise qui détermine, en fonction de ses propres intérêts, ce que les gens voient et apprennent sur les pages de son réseau social ». Cathy O’Neil illustre ce pilotage de la priorité en s’appuyant sur les travaux du Pew Research Center selon laquelle près de la moitié des adultes américains comptent sur Facebook pour fournir au moins une partie de leurs informations, ce qui nous amène à la question suivante : « en ajustant son algorithme et en modelant les nouvelles que nous recevons, Facebook peut-il manipuler le système politique ? ». Ce pouvoir d’influence, Facebook ne serait pas la seule entreprise à pouvoir l’exercer. D’autres sociétés cotées, parmi lesquelles Google, Amazon, Apple, Microsoft, ou encore des opérateurs de téléphonie mobile comme Verizon ou AT&T, disposent d’une vaste somme d’informations sur un grande partie de l’humanité – et par conséquent, les moyens de diriger ces populations dans le sens où elles le souhaitent. « Les algorithmes deviendront dans les années à venir de plus en plus omniprésents. Nous devons exiger que les systèmes garantissant leur responsabilité se généralisent eux aussi. Commençons dès maintenant à bâtir un cadre pour s’assurer à long terme que les algorithmes rendent des comptes », conclut Cathy O’Neil.

 

Farid Gueham

 

Pour aller plus loin :

 

-       « Cathy O’Neil : les algorithmes créent leur propre réalité », liberation.fr

-       « Le big data bouleverse la prédiction économique », lemonde.fr

-       « Les algorithmes : armes potentielles de destruction mathématiques », lesechos.fr

-       « Sans crédit, pas de vie décente aux États-Unis », liberation.fr

-       « Aux États-Unis, la police prévoit les crimes par ordinateurs », nouvelobs.com

 

 

 Photo by Markus Spiske on Unsplash

 

Qu'en pensez-vous?