Illustration par DALL-E (+PJ)
Quelles sont les conséquences du succès des LLM pour notre compréhension de l’apprentissage de la langue et du raisonnement chez nous, sujets humains ? Ce succès remet en question en réalité la quasi-totalité de nos modèles et en particulier les représentations de type classique désormais comme la linguistique transformationnelle ou générative de Noam Chomsky, mise au point par lui à partir de la fin des années 1950, qui supposent chez l’être humain une structure innée lui permettant l’usage du langage, l’enfant se contentant de « constater » quelle est la langue qui sera sa langue maternelle, pour se couler alors dans son moule. Or rien dans la « compréhension » de la langue par les LLM ne laisse entrevoir quoi que ce soit de la sorte . Les guillemets s’imposent bien sûr pour « compréhension » quand on évoque le processus par lequel les LLM appréhendent les amorces que les utilisateurs leur proposent, mais lorsqu’on voit les réponses structurées et toujours bien à propos qu’ils proposent en retour, on est forcé d’imaginer qu’est à l’œuvre chez eux un processus comparable à celui que nous appelons compréhension lorsqu’il a pour cadre notre for intérieur.
Ilya Sutskever, directeur du département recherche chez OpenAI, et l’un des fondateurs de la firme, avait prévu depuis de nombreuses années que les capacités linguistiques émergeraient dans des réseaux neuronaux complexes, ignorant l’opposition que nous établissons spontanément entre la forme et le fond, la structure et le contenu. Dans un entretien qu’il accordait en 2020, il prédisait qu’une montée en taille du réseau neuronal lui permettrait d’abord d’appréhender sur un mode statistique les structures syntaxiques, et qu’une augmentation additionnelle de sa taille le ferait parvenir ensuite à une compréhension de type sémantique, toujours sur un mode purement statistique.
Aucun fossé dans ce cas entre le sens des mots et l’organisation de la phrase, juste les différentes étapes d’un processus progressif, selon une logique de montée en puissance d’ordre purement quantitatif : une première intuition de la structure globale de la phrase, suivie d’une compréhension du sens des mots, tombant au lieu qui leur est assigné au sein de ce cadre.
Bien entendu des seuils sont franchis au cours de ce processus de montée en puissance quantitative mais il n’y a à aucun moment dans ce mouvement progressif de compréhension, nécessité de se tourner vers un corpus de règles à appliquer : au sein de la globalité désorganisée des mots, l’ordre émerge par niveaux pour nulle autre raison que celle, banale, sinon désespérante, de moyens plus puissants mis à disposition : davantage de phrases ingurgitées, un réseau neuronal plus gros pour les absorber, sans adjonction de nouveaux dispositifs de traitement qui introduiraient eux des considérations d’ordre qualitatif, comme ce serait le cas s’il était question de règles à appliquer en contexte, selon les cas.
Bref, si l’on garde les yeux fixés sur la performance, on constate qu’en-dessous d’une taille minimum pour le réseau neuronal, la capacité du logiciel à résoudre des problèmes requérant de l’intelligence demeure nulle ou presque, alors qu’aussitôt ce seuil franchi, la performance s’améliore avec régularité avec la taille, et cela, quelle que soit la nature du casse-tête à résoudre.
Illustration par Stable Diffusion (+PJ)
Laisser un commentaire