Illustration par DALL·E (+PJ)
L’entretien a eu lieu à Londres le 15 mai 2024. La vidéo s’intitule « Geoffrey Hinton | On working with Ilya, choosing problems, and the power of intuition », donc « Travailler avec Ilya [Sutskever], choisir les problèmes, et le pouvoir de l’intuition ». Comme vous le verrez si vous regardez la vidéo en entier, l’hôte, Joel Hellermark, est surtout intéressé de comprendre ce que c’était qu’avoir Ilya Sutskever comme étudiant thésard puis comme collaborateur. Or, la question met manifestement Hinton très mal à l’aise : il plaisante et botte en touche jusqu’à ce que l’hôte laisse tomber.
Rappel : Geoffrey Hinton est surnommé le « parrain des Grands Modèles de Langage » (tel ChatGPT). Ilya Sutskever fut longtemps chercheur en chef chez OpenAI (qui a produit ChatGPT), il était en novembre dernier l’un des co-conspirateurs du coup d’État raté contre le P-DG Sam Altman ; il a créé le 20 juin sa propre firme : SSI (Safe Superintelligence Inc.).
Joel Hellermark :
Le cerveau humain a-t-il évolué pour bien fonctionner avec le langage ou pensez-vous que le langage a évolué pour bien fonctionner avec le cerveau humain ?
Geoffrey Hinton :
Je pense que la question de savoir si le langage a évolué pour fonctionner avec le cerveau ou si le cerveau a évolué à partir du langage est une très bonne question. Il me semble que voici ce qui s’est passé : j’avais auparavant l’impression que nous pouvions accomplir de nombreuses tâches cognitives sans avoir besoin du langage, mais j’ai maintenant un peu changé d’avis. Permettez-moi donc de vous présenter trois points de vue différents sur le langage et ses liens avec la cognition.
Il y a la vision symbolique à l’ancienne, selon laquelle la cognition consiste à disposer de chaînes de symboles dans une sorte de langage logique épuré où il n’y a pas d’ambiguïté et à appliquer des règles d’inférence. Et c’est ce que serait la cognition : ce ne sont que des manipulations symboliques de choses qui sont comme des chaînes de symboles linguistiques. Il s’agit là d’un point de vue extrême.
Le point de vue opposé est le suivant : « Non, non : une fois que vous êtes à l’intérieur de la tête, ce ne sont que des vecteurs ! ». Les symboles entrent donc et vous convertissez ces symboles en grands vecteurs et tout ce qui se passe à l’intérieur est fait avec de grands vecteurs. Ensuite, si vous voulez que ça se réassemble, vous produisez à nouveau des symboles.
Il y a donc eu un moment dans la traduction automatique, vers 2014, où les gens ont utilisé des réseaux neuronaux récurrents et des mots qui continuaient d’arriver, qui avaient un état caché (hidden state) et qui continuaient d’accumuler des informations dans cet état caché. Lorsqu’ils arrivent à la fin d’une phrase, ils disposent d’un grand vecteur caché qui capture le sens de cette phrase et qui peut ensuite être utilisé pour produire la phrase dans une autre langue. C’est ce qu’on appelle un vecteur de pensée (thought vector), et c’est une sorte de deuxième vision du langage : on convertit le langage en un grand vecteur. Il n’y a rien de tel que le langage, et c’est là tout ce dont il s’agit avec la cognition.
Mais il y a aussi une troisième vision, qui est celle à laquelle je crois aujourd’hui : on prend ces symboles, on les convertit en enchâssements (embeddings – sous forme de vecteurs) et on utilise plusieurs couches de ces enchâssements. Vous obtenez ainsi des enchâssements très riches. Mais les enchâssements sont tellement liés aux symboles que vous avez un grand vecteur pour ce symbole-ci, un grand vecteur pour ce symbole-là et ces vecteurs interagissent pour produire le vecteur qui générera le symbole du mot suivant.
Et c’est cela « comprendre » : comprendre, c’est savoir comment convertir les symboles en ces vecteurs, et savoir comment les éléments du vecteur doivent interagir pour prédire le vecteur du symbole suivant. Voilà ce qu’est la compréhension, à la fois dans ces grands modèles de langage et dans notre cerveau.
Voilà un exemple qui est donc un juste milieu : vous restez avec les symboles, mais vous les interprétez comme de grands vecteurs et c’est là que se situe tout le travail. Toute la connaissance réside dans les vecteurs utilisés et dans la manière dont les éléments de ces vecteurs interagissent, et non dans les règles symboliques. Mais il ne s’agit pas d’abandonner complètement le symbole, il s’agit de transformer les symboles en vecteurs, tout en conservant la structure superficielle en symboles. Et c’est ainsi que ces modèles fonctionnent. Et c’est ce qui me semble être un modèle plus plausible de la pensée humaine.
P.J. : « … la manière dont les éléments de ces vecteurs interagissent. » Tout est là !
(à suivre…)
Illustration par DALL·E (+PJ)
Laisser un commentaire