Il y a quelque temps, un ingénieur de chez Google créait la polémique en insinuant qu’une intelligence artificielle donnait des signes de conscience. Depuis, cet ingénieur a été viré (on a sous-entendu qu’il fumait un peu trop la moquette), mais de nombreux autres testeurs d’intelligences artificielles avouent parfois un certain malaise lorsqu’ils se confrontent à une intelligence artificielle (IA) génératrice comme ChatGPT ou le nouveau navigateur de Microsoft (qui a d’ailleurs les mêmes origines que le logiciel de conversation d’OpenAI). Ce sentiment de malaise interpelle, à juste titre, le commun des mortels : si les concepteurs d’un logiciel éprouvent des problèmes pour comprendre ce qu’ils ont contribué à créer, qu’en sera-t-il des ignares qui devront se contenter de constater, voire de subir, les effets éventuels du système informatique incriminé ? Mais comment peut-on perdre ainsi le contrôle de ce que l’on a aidé à mettre sur pied ?

Alors que les ingénieurs informaticiens avaient jusqu’ici coutume de programmer de manière impérative (les instructions que l’on donne à l’ordinateur, le « programme », décrivent exactement les opérations à effectuer), l’intelligence artificielle (du moins celle que l’on nomme générative, comme la technologie à la base de ChatGPT) est basée sur l’apprentissage à partir des données à disposition. Ceci implique que le même programme se comportera de manière différente selon l’environnement de données avec lequel il est alimenté : malgré une logique identique, il est théoriquement possible que deux instances d’un programme donné parviennent à des résultats radicalement différents parce que les données avec lesquels ils sont « nourris » sont très différentes, même si les objectifs que l’on a fixés sont inchangés. Soit dit en passant, c’est pour cette raison que l’on cherche systématiquement à disposer du plus grand nombre de données possible, de manière à minimiser les risques de biais que pourrait entraîner un échantillon de données trop spécifique. Le théorème central limite, en statistique, apporte une justification mathématique à cette démarche.

Ceci implique, pour le programmeur, un changement de paradigme assez fondamental; alors que jusqu’ici, il pouvait vérifier que son programme fonctionnait correctement pour divers ensembles de données fournies, parce que le résultat pouvait être prédit exactement, ce n’est plus le cas pour un programme qui utilise l’apprentissage profond (« deep learning« ) dans le domaine de l’intelligence artificielle. Tout au plus peut-il vérifier la pertinence d’une conclusion du programme en présence de données de test soigneusement choisies, mais en situation réelle, il est très malaisé de comprendre comment un tel programme parvient à un résultat apparemment surprenant.

Actuellement, la situation n’est pas très préoccupante, car les capacités des IA, aussi spectaculaires soient elles, sont assez restreintes. Mais les développements dans ce domaine sont fulgurants; ce qui est vrai pour GPT 3 (la version actuelle) ne le sera sans doute plus l’an prochain. Même les plus experts des développeurs actuels dans le domaine de l’IA seraient bien en peine de décrire une IA générative (voire exécutive, comme dans le domaine de la conduite autonome de véhicules automobiles, nautiques ou aériens, ou même de manière plus préoccupante les armes autonomes) dans quelques années. Comment diagnostiquer et au besoin corriger un éventuel dysfonctionnement dans un système aussi complexe ? Comment maîtriser un dispositif capable d’évolution et d’amélioration continue (quelle que soit la définition que l’on peut donner au terme « amélioration ») ? Personnellement, je ne connais pas d’informaticien qui se soit posé sincèrement la question : qui sera en mesure de diagnostiquer la cause de l’erreur en cas de dysfonctionnement d’une IA dans cinq ans ou -pire- dans dix ans ?

Le biologiste, vulgarisateur scientifique et auteur de science-fiction Isaac Asimov avait imaginé des robots humanoïdes dont l’intelligence artificielle était abritée dans un « cerveau positronique« . A l’époque où la nouvelle a été écrite (1950), on ne parlait pas de logiciels, puisque les ordinateurs n’existaient pas; néanmoins, il s’agissait bien d’intelligence artificielle pour ces créatures synthétiques imaginées par Asimov, qui avait eu la sagesse (ce qui n’est pas le cas pour les IA actuelles) de cadrer leurs capacités en leur imposant trois lois infrangibles, qui permettaient (ou devaient permettre) de garantir qu’ils ne deviendraient pas dangereux pour la société qui les avait crées. Il avait eu la prémonition que ces créatures deviendraient rapidement imprévisibles, du moins du point de vue de ceux qui avaient développé les cerveaux de ces robots. Il avait dés lors imaginé un nouveau métier qui consistait justement à diagnostiquer les failles et les travers d’une intelligence artificielle confrontée à des ensembles de données et de faits incompatibles avec sa logique et les données ayant conduit à son état actuel. Il avait nommé ce métier « robopsychologue« , et le premier de ces robopsychologues était un personnage très intéressant qui est le principal héros de son recueil de nouvelles « I Robot« , le docteur Susan Calvin.

Tout porte à croire que dans un futur peut-être plus proche qu’on ne l’imagine, les entreprises travaillant avec les IA auront besoin d’une Susan Calvin; mais où pourront ils la trouver ? Où devront ils chercher ? Qui saura la former ?

« Recherche Susan désespérément » est un film de 1985 (Desperately seeking Susan); il n’a pas de rapport avec Susan Calvin, à part le prénom d’une personne ardemment recherchée…