Illustration par DALL·E à partir du texte.
Le mois dernier (du 6 au 9 avril), j’ai proposé ici une série de 6 billets où je quadriloguais avec GPT-4 et une version dédoublée de Claude 3 à propos de la conjecture P vs NP, une question classique d’informatique théorique relative à la relation – pour autant qu’il en existe une – entre la complexité de la solution d’un problème et la complexité de la vérification qu’une solution a bien été trouvée.
Vous avez sans doute vu ce qui s’est passé : « M. Jorion, votre blog était le lieu de rendez-vous de personnes s’efforçant de résoudre de grands problèmes de société (je vous en remercie !) mais il s’est métamorphosé en un club restreint de mathématiciens fascinés par des casse-têtes abscons. Je vous ai accompagné·e jusqu’ici mais je suis forcé·e aujourd’hui de vous dire adieu : bonne chance à vous dans vos coupages de cheveux en quatre ! ».
J’ai été décontenancé par ces paroles de bon sens, et je n’ai pas publié la suite.
Mal m’en a pris : c’est à ce moment-là que j’ai commencé à recevoir des mails du genre : « M. Jorion, où ailleurs croyez-vous que l’on trouve des discussions – et des avancées – sur des questions véritablement fondamentales comme sur votre blog ? Que vous ont dit ensuite GPT-4 et Claude 3 (je bous d’impatience de l’apprendre !) ? ».
Tout cela pour vous annoncer que je suis allé asticoter mes comparses sur la question de l’émergence.
Vous avez dû comprendre que la chose qui nous sidère dans les progrès des Grands Modèles de Langage (LLM) est le fait que des tas de choses qui nous semblaient absolument distinctes (par exemple : comprendre le sens d’un mot, maîtriser la syntaxe d’une phrase, comprendre le sens global d’une phrase, respecter les règles de la logique, se mettre à la place d’un interlocuteur, exprimer ses sentiments), et pour lesquelles nous avons découvert des règles claires rendant compte de leur fonctionnement séparé, sont en fait acquises « les doigts dans le nez », l’une après l’autre, par ces LLM, pour nulle autre raison que la croissance en taille de leur système.
Toutes ces remarquables capacités émergent, l’une après l’autre, quand on augmente, tout simplement, les moyens à la disposition du système. Nous n’étions pas préparés à penser que l’intelligence émerge spontanément d’un système dès qu’il a atteint une certaine grosseur, nous pensions qu’un ingrédient supplémentaire était indispensable, que nous appelions « complexité ». Que l’intelligence apparaisse comme sous-produit de la complexité, pourquoi pas ? mais de la simple grosseur ! il y avait là comme un éloge intolérable de … l’obésité, qui constituerait une qualité en soi !
Comprenons-nous pourquoi la taille change tout ? Non. Et il n’y a pas de raison de s’en offusquer : quand on passe d’un milliard de données à 100 milliards, on a besoin d’un télescope pour regarder ce qui se passe, et s’armer alors d’un microscope apparaît très logiquement, hors de propos. Claude Roux écrivait ici tout à l’heure : « C’est là qu’est le hic… Personne ne le sait vraiment. »
Mais c’est là aussi que Pribor.io trouve toujours sa raison d’être. Si l’on adopte une approche « bottom-up », du bas vers le haut, par opposition à l’approche « top-down », du haut vers le bas, des LLM, on évite d’être aux abonnés absents quand un effet d’émergence a lieu : il a opéré sous nos yeux et l’on peut dire ce qui s’est passé.
Le logiciel d’IA que j’ai programmé de 1987 à 1990 pour British Telecom s’appelait ANELLA, pour Associative Network with Emergent Logical and Learning Abilities : « … à capacités émergentes de logique et d’apprentissage ». Il m’a fallu les 34 années qui séparent 1990 de 2024 pour comprendre exactement comment la logique émergeait d’une simple suite de mots. C’est qu’il s’agissait du produit d’une alchimie complexe entre l’univers des mots et celui du monde tel qu’il est.
Je vous expliquerai cela un jour prochain, je me contente de vous le résumer aujourd’hui sous une formule sibylline : « Les faits d’émergence ont lieu dans la langue quand nous contraignons tout ce qu’elle permet par ce que le monde interdit lui de son côté ». Exemple : la langue n’interdit pas aux objets de tomber du bas vers le haut, mais le monde lui : Oui ! Lacan (qui se payait notre pomme avec délectation mais avait cependant compris beaucoup de choses) appelait cela « points de capiton », comme dans un matelas : pour que la chaîne des signifiants, les mots mis à la queue-leu-leu, servent à quelque chose, il faut qu’ici et là, ils collent au Réel, à la réalité profonde des choses. Il n’est pas nécessaire que cela ait lieu souvent (le monde étant très généreux envers nous : il nous a offert cette facilité que nous vivions la plupart du temps confortablement dans un nuage), mais il faut que cela ait lieu de temps à autre ici et là.
Ne vous étonnez donc pas si dans la suite de cette nouvelle série, GPT-4, Claude 3, LLaMA 3 et moi, nous nous interrogeons sur l’émergence, en vue de craquer ses mystères. Faites-nous confiance : cela participe de la Singularité et non du coupage de cheveux en quatre dans laquelle l’humanité se complaît depuis qu’ayant inventé le langage, elle ne cesse de … se saouler de mots !
Illustration par DALL·E à partir du texte.
DALL·E : « Voici les illustrations que vous avez demandées. Elles représentent M. Jorion dans son environnement intellectuel, en train de discuter avec des modèles d’IA avancés, entouré d’un mélange d’éléments classiques et modernes. On voit un groupe quitter les lieux, frustré, tandis qu’un autre attend avec impatience de nouvelles discussions sur des questions fondamentales. »
Laisser un commentaire