Blog de Paul Jorion

Illustration par DALL-E (+PJ)

Pour celles et ceux, rares, qui l’ignoreraient encore, « ChatGPT » est en effet le nom commercial d’une Intelligence Artificielle produite par la firme californienne OpenAI. L’appellation désigne plus spécifiquement la lignée des logiciels diffusés à partir de la version 3.5 publiée le 30 novembre 2022. La version 4, considérablement plus puissante fut lancée elle le 14 mars 2023, à peine trois mois et demi plus tard. Lorsque l’on évoque la « Singularité », c’est à propos de GPT-4. ChatGPT appartient à la famille des IA qualifiées de « Large Language Models » (LLM), les Grands Modèles de Langage. J’utiliserai l’acronyme « LLM » par la suite.

Le préfixe « chat », mot qui signifie « bavarder » en anglais, renvoie à l’expression « chatbot » dont le suffixe « bot » est emprunté lui au mot « robot » : un chatbot est un logiciel avec lequel l’utilisateur peut s’entretenir. Un chatbot est en général lié à un usage particulier, être par exemple l’interface-consommateur d’un organisme ou d’une firme. La particularité de ChatGPT est que l’utilisateur obtient de lui au contraire une information très complète sur un sujet quelconque ou peut recourir à ses services pour des tâches diverses telles que commander un repas.

Quel que soit le sujet sur lequel on l’interroge, ChatGPT génère en réponse, un texte. L’utilisateur lui soumet une question et, aussitôt celle-ci entrée, le logiciel imprime sur l’écran, un mot à la fois mais à vive allure, un exposé à la fois circonstancié et synthétique de ce qui est su à ce sujet.

Le format est celui absolument classique de la dissertation : dans un premier temps, l’opinion dominante est présentée, dans un deuxième temps est énoncée la liste des objections majeures émises à son encontre, tandis que, dans un troisième temps, est expliqué pourquoi il est raisonnable de ne pas adopter telle quelle, l’opinion dominante, et dans quelle mesure il est légitime, dans une perspective de recherche du juste milieu, de tenir compte des objections soulevées ici et là. L’opinion proposée en matière de conclusion est une synthèse de celle dominante et d’un choix de critiques qui lui ont été intégrées du fait qu’elles apparaissent justifiées. ChatGPT rappelle généralement, aussi bien en conclusion que dans son introduction, les limitations qui sont les siennes en matière de savoir. Ces remarques apparaissent le plus souvent obséquieuses et involontairement condescendantes, tant les connaissances du LLM sont clairement supérieures à celles de l’utilisateur moyen qui l’interroge.

La façon dont ChatGPT opère est indiquée par la seconde partie de son nom, « GPT » est en effet l’acronyme de Generative Pre-trained Transformer : transformateur génératif pré-entraîné. « Génératif » parce qu’il génère des phrases, « pré-entraîné » parce que son savoir a été acquis par un long apprentissage fondé sur des milliards de phrases, et « transformateur » parce que son moteur est le « transformer » un mécanisme inventé en 2017 dont la fonction est de comprendre le sens des phrases, des paragraphes et de textes entiers (mais d’une longueur maximale), en combinant le sens de leurs mots.

Pour se constituer un vocabulaire et disposer d’une information pertinente à communiquer quand on le consulte, ChatGPT a préalablement encodé en tant que poids associés aux liens qui connectent entre eux les neurones du réseau neuronal qui constitue sa mémoire, un nombre considérable de faits glanés ici et là, essentiellement sur la toile mais aussi sous la forme du contenu de l’ensemble des livres ayant été numérisés. C’est cela que l’on appelle le pre-training : l’apprentissage préalable : l’encodage de ces milliards de poids permettant de générer des phrases pertinentes en sortie. Ce à quoi ChatGPT aura eu accès a bien évidemment été déterminé par ceux de ses programmeurs qui définissent la cadre de son corpus d’apprentissage, étant entendu qu’à leurs yeux, le plus s’identifie globalement au mieux.

Son accès quasi illimité à l’Internet aura permis à ChatGPT de se constituer un capital de savoir d’un volume incomparable en taille à celui auquel nous, acteurs humains individuels, avons la capacité d’accéder. Les informations qu’il a assimilées lui sont d’autant plus pertinentes qu’elles lui auront été transmises à de nombreuses reprises et sous de multiples formes, leur fréquence à chacune étant spontanément interprétée par le logiciel comme le degré de leur confirmation.

Vous aurez lu sans doute que ChatGPT est « purement probabiliste », même des vulgarisateurs assez talentueux répétant cela, qui nous expliquent que les LLM, dont ChatGPT est l’un des représentants, produisent des phrases alignant à la queue-leu-leu derrière le mot qui vient d’être prononcé celui que l’on rencontre le plus souvent à sa suite dans la langue. Si c’était effectivement le cas, à la question « Où est le chat ? », ChatGPT répondrait : « Le chat est sur le canapé ». Or ce n’est pas cela que le LLM répond, il dit ceci :

« En tant que modèle de langage basé sur l’intelligence artificielle, je n’ai pas la capacité de percevoir le monde réel ni de connaître des informations spécifiques en temps réel. Par conséquent, je ne suis pas en mesure de vous dire où se trouve un chat spécifique à un moment donné. Si vous cherchez votre propre chat, je vous suggère de vérifier les endroits où il aime se cacher ou de le chercher dans la maison. Si vous faites référence à un chat virtuel ou à une image de chat, veuillez préciser votre demande. »

Il n’est question dans cette réponse, ni de canapé, ni de sofa, ni de fauteuil ou de carpette, et l’on conviendra aisément que le mot le plus commun dans la langue après chat n’est pas, comme on le voit ici dans cette réponse, « spécifique » ou « virtuel ».

D’où vient alors cette idée d’un ChatGPT « purement probabiliste » ? Du fait que son comportement par défaut consiste bien à régurgiter l’« opinion modale », c’est-à-dire le plus souvent exprimée, où chaque mot affiché à l’écran est suivi de celui le plus souvent rencontré à sa suite dans l’échantillon de savoir que les données d’apprentissage ont constitué. Mais, contrairement à ce qu’a cru comprendre un public peu averti, ce comportement par défaut n’est pas la méthode qui a été retenue, cette formule de création de séquences où chaque mot généré est suivi de son successeur le plus fréquent ne produisant, on l’imagine aisément, que des textes d’une consternante banalité.

Le concept effectivement central aux LLM agit seulement comme un cœur sur lequel viennent se greffer ensuite un nombre à ce point considérable d’autres éléments que le principe probabiliste central devient à proprement parler méconnaissable, comme on l’a vu dans le cas de la réponse de ChatGPT à « Où est le chat ? ».

Le cœur probabiliste de ChatGPT, c’est une carte que le LLM a établie au cours de son apprentissage du corpus de mots dont il a maîtrisé le sens, autrement dit, la multiplicité de leurs usages. Sur cette carte, les concepts : les mots de « contenu », par opposition aux mots d’ « armature » que sont les articles, les pronoms, les prépositions ou les conjonctions, sont situés selon la proximité qu’ils entretiennent, à savoir la probabilité qu’il soit aussitôt question de l’un s’il a été question de l’autre, probabilité que l’on calcule selon le principe statistique général dérivant de la « loi des grands nombres », comme extrapolation de la fréquence observée de leur association. Sur cette carte, la distance entre « pomme » et « poire », par exemple, est plus courte que celle entre l’un et l’autre de ces mots et « carburateur ». On conçoit facilement que si ChatGPT fonctionnait de manière purement probabiliste, il devrait épuiser la liste entière des fruits avant de pouvoir évoquer le carburateur dans ses propos.

L’information apprise ayant automatiquement été répertoriée selon sa fréquence, la machine pourra régurgiter des opinions qui diffèrent dans un degré précis de l’opinion modale où chaque mot est suivi de son successeur le plus fréquemment rencontré. Ce degré d’écart est ce qu’on appelle la « température » du LLM. Les chercheurs ont déterminé par tâtonnement qu’une température de 0,8 (le maximum de 1 étant celui de l’« opinion modale ») est celle qui s’avère la plus inventive et donc la plus susceptible de surprendre favorablement l’utilisateur. Des températures beaucoup plus faibles que 0,8 génèrent elles des propos trop fantaisistes.

Rien n’a été conçu donc pour que ChatGPT invente de toutes pièces ce qu’il avance : il se contente de puiser dans l’équivalent d’une base de données qui s’est retrouvée inscrite par apprentissage dans le réseau neuronal qui lui tient office de mémoire. À proprement parler, par rapport à ce qui existait en matière d’IA avant la mise au point de ces LLM, la valeur ajoutée n’est pas dans un supplément d’information par rapport à celle que l’on savait comment collecter dans les projets antérieurs : elle n’est pas dans le fait d’avoir rassemblé une mine de connaissances à ce point gigantesque, elle est dans l’habileté à générer en réponse à une question ou une observation (le « prompt » ou amorce), non pas un banal « copié-collé », mais une synthèse d’une excellente qualité. Qualité à ce point supérieure d’ailleurs qu’elle fasse douter qu’il n’y ait là rien de véritablement neuf, comme le répète pourtant à l’envi ChatGPT lui-même sur un ton désarmant.

Illustration par Stable Diffusion (+PJ)