Quel est le lien entre le trading haute fréquence (THF), l’aspirateur Roomba et Terminator ? Ce sont tous des machines autonomes, bien sûr.

Dans notre imaginaire, les robots sont entièrement conçus et pilotés par les humains : in fine, il y aurait donc toujours un homme aux manettes, directement ou indirectement. Pourtant, le trait le plus distinctif de la révolution technologique réside bien là : l’humain est en train de déléguer à la machine un des principaux aspects qui le différentiait d’elle – la capacité de faire des choix, et sans qu’elle n’ait à le consulter.

Jusqu’où cette nouvelle « espèce » va-t-elle nous concurrencer ? Un sujet immense dont nous ne prétendons ici qu’extraire certains enjeux.

Bonne lecture et n'hésitez pas à réagir en répondant à ce mail !

Diego

Y a-t-il un pilote dans la machine autonome ?

OFF #2 | La newsletter pour reprendre le contrôle

Janvier 2023

« Si on permet aux machines de prendre leurs propres décisions, on ne peut pas faire de conjectures quant à l’issue de celles-ci car il est impossible de deviner comment ces machines se comporteront. »

Why the future doesn’t need us? – Wired, 2000

Bill Joy, informaticien émérite de la Silicon Valley et cofondateur du géant Sun Microsystems

Les fameux robots de l’entreprise Boston Dynamics offrent une illustration brutale de l’autonomie croissante des machines

Pourquoi a-t-on du mal à concevoir l’autonomie de la machine ?

L’humanité a d’abord conçu des machines pour faciliter et automatiser les tâches physiques (notamment dans l’agriculture, la construction ou l’industrie), puis intellectuelles (calculatrices, etc.). Mais jusqu’il y a peu, ces dernières répondaient nécessairement à des ordres humains, qu’elles ne faisaient qu’exécuter. Aussi perfectionné soit-il, un robot d’usine traditionnel ne sait pas s’adapter à une situation inattendue sur la chaîne de production, une calculatrice exécute ce qu’on lui demande de calculer, etc.

Avec le développement de l’intelligence artificielle (IA), notamment via le « Machine Learning », les algorithmes sont invités à s’entrainer rapidement par eux-mêmes en brassant de grand jeux de données, avec une faible supervision humaine. En parallèle, l’IA « prend chair » dans des robots de plus en plus agiles qui inscrivent son action dans le monde physique. Quelque soient leurs applications, IA et robots sont amenés à interpréter le réel tout seuls et à faire des choix qui n’ont pas été nécessairement prévus par celui qui les a programmés.

C’est le fantasme prométhéen ultime : ces machines seraient à notre service sans même qu’on doive leur donner des ordres. Mais l’humain n’a donc plus le premier, ni le dernier mot. En renonçant à ce que nous avions jusqu’à présent toujours conservé – la capacité de décision –, mesure-t-on bien les termes de ce pacte faustien et les conséquences de cette mise en concurrence de notre espèce ?

De petites machines bien dociles ?

Nos vies sont déjà impactées par les robots et machines autonomes. Un des exemples les plus démocratisés est le robot-aspirateur Roomba, qui se déplace, nettoie, se vide et se recharge en totale autonomie. Cela suscite au passage de nombreuses préoccupations en marge du sujet qui nous occupe, notamment en matière de collecte de données (une femme l’a récemment appris à ses dépens), et ce d’autant plus que son concepteur, iRobot, a depuis été racheté par Amazon en 2022. Si vous n’avez pas l’impression que Roomba prend une place trop importante chez vous, attendez qu’il grandisse !

Les machines autonomes ne sont pour l’instant que dans leur petite enfance, comme si nous, les humains, étions toujours les adultes à leur côté et conservions le dernier mot. Mais elles sont actuellement en rodage accéléré dans de nombreux domaines :

  • Google, Tesla, Uber et d’autres cherchent à être les premiers sur la voiture autonome et développent dès aujourd’hui des flottes de robotaxis ;

  • Des robots semi-autonomes s’occupent des personnes âgées au Japon ;

  • Les chiens policiers ou militaires sont remplacés par des robots de plus en plus autonomes ;

  • Et les robots humanoïdes se développent partout dans le monde, dont certains avec une agilité étonnante

Il est certes difficile d’établir un seuil à partir duquel une machine est vraiment autonome. Mais jusqu’à quand seront-elles équipées d’un bouton Off et se montreront-elles dociles ? Et quel est le point de non-retour avant que nous en dépendions totalement et qu’il ne soit trop tard pour les éteindre ? Autant de questions que je développe dans Anesthésiés et que vous pourrez explorer dans les références que recommande en bas.

55 %

C’est le volume des transactions sur les marchés d'actions américains réalisées par des algorithmes autonomes via le Trading Haute Fréquence (SEC). La majorité des décisions d’achat ou de vente sur les marchés financiers est donc déjà prise par des machines, échappant souvent à l’intelligence humaine. Ces boites noires pourraient déjà être responsables de krachs boursiers, comme le « flash-crash de 2010 ».

Les robots-tueurs sont là

Le concept de robot-tueur (« killer robot » en anglais) est simple mais fait froid dans le dos : une machine qui tue sans demander d’autorisation humaine.

Et il n’est hélas pas cantonné à la science-fiction : les systèmes d’armes létales autonomes (SALAS) sont au cœur des préoccupations internationales. S’ils ne sont pas encore déployés sur les champs de bataille, ils sont déjà en expérimentation et font l’objet d’intenses tractations diplomatiques. Ces armes posent deux questions essentielles :

  1. Éthiquement, peut-on laisser à une machine la capacité de tuer des êtres humains ? Mesurera-t-elle le pas qu’elle franchit au moment d’éliminer une vie ?

  2. Serons-nous capables de les contrôler ? Si elles deviennent de plus en plus autonomes, qu’est-ce qui garantit qu’elles n’échapperont pas même à ceux qui les déploient ?

Des scientifiques et experts tirent la sonnette d’alarme depuis plusieurs années : la campagne menée par l’ONG Stop Killer Robots en est le meilleur exemple. Cette année, pour la première fois, 70 Etats ont signés une déclaration commune aux Nations Unies (y compris les Etats-Unis) pour se diriger vers un cadre international sur les systèmes d'armes autonomes. Cette réglementation est indispensable tant l’avènement des robot tueurs constitueraient une rupture imprévisible dans notre histoire.

La machine autonome ne demandera pas notre avis

L’explosion des robots autonomes dans les prochaines décennies fait peu de doutes et seule l’imagination humaine sera la limite de leurs applications dans notre quotidien. Les conséquences restent quant à elles encore incertaines. Nous sommes dans le noir, en train d’explorer des territoires totalement inconnus.

Chaque jour, la collecte généralisée de nos données et leur traitement par des IA pave la voie à un environnement utilisable prochainement par des robots autonomes. Nous nous plaçons dans les mains de machines que nous ne contrôlerons plus et qui ne nous demanderont pas notre avis… Évidemment, il est possible que tout se passe bien… ou pas.

Dans le chapitre 9 (ÉLIMINÉS) de mon livre Anesthésiés, je me fonde sur des études pour dresser 3 scénarios dans lesquels cette autonomie pourrait se retourner contre nous :

  1. L’accident de laboratoire : à la façon d’un virus, une IA échappe à ses créateurs pour sortir du cadre expérimental où elle était censée se développer en vase clos, et produit des conséquences imprévisibles.

  2. La mauvaise interprétation : une IA ne comprend pas correctement une injonction humaine. On lui demanderait par exemple de produire le plus de crayons possibles et pensant bien faire, elle mobiliserait toute la matière de l’univers pour remplir cet objectif.

  3. L’hostilité : l’autonomie de la machine ferait qu’elle développerait des objectifs propres et une sorte d’instinct d’auto-préservation qui l’amèneraient à s’opposer à l’homme. L’espèce humaine constituant un obstacle à son développement, elle pourrait tenter de la soumettre ou à l’éliminer.

« L'IA ne vous déteste pas, ni ne vous aime, mais vous êtes fait d'atomes qu'elle peut utiliser pour autre chose. »

Artificial Intelligence as a Positive and Negative Factor in Global Risk (2008)

Eliezer Yudkowsky, co-fondateur et chercheur au Machine Intelligence Research Institute

Alors que faire ?

Tentons une réponse parfaitement incomplète :

  • Individuellement. En prenant conscience de ce que nous déléguons à la machine, en particulier quand il s’agit de lui céder ce qui nous rend humains : notre capacité à faire des choix, à prendre des décisions, et à être en rapport avec les autres. C’est ainsi que nous façonnons notre humanité un peu chaque jour.

  • Collectivement. Face à des enjeux pourtant cruciaux pour le destin de notre espèce, aucun débat. Il est fondamental de sensibiliser les citoyens et d’inviter les pouvoirs publics à créer les conditions permettant de garder le contrôle sur ces technologies.

    > L’ONG Stop Killer Robots (citée plus haut) fait un travail formidable d’information et agit pour influencer la législation internationale en la matière.

    > Vous pouvez également vous mobiliser à plus petite échelle : c’est ce qui a permis l’abandon des chiens robots par le NYPD à New York.

Y a-t-il un pilote dans la machine autonome ?

Cela vous a paru intéressant?

Recevez OFF, la newsletter pour reprendre le contrôle

Une fois par mois, je propose une réflexion sur une facette spécifique de l’influence du numérique dans nos vies afin de gagner en compréhension face au bouleversement accéléré de notre quotidien.