Blog de Paul Jorion

Portrait de Geoffrey Hinton par Stable Diffusion

L’essor des Grands Modèles de Langage

Voilà ce qu’il en était avant certains événements récents qui ont conduit Geoffrey Hinton à faire une déclaration inquiétante. Geoffrey Hinton est le maître d’œuvre des Grands Modèles de Langage tels que ChatGPT, Claude, Gemini ou LLaMA3. Dans la presse, il est souvent surnommé le « parrain des LLM » (en anglais « Large Language Models » ou « LLM »), non sans raison. Pour preuve, dans le livre en deux volumes qui a lancé l’approche connexionniste dont les LLM sont le fleuron actuel, publié en 1986 sous le titre « Parallel Distributed Processing » (traitement parallèle réparti) ¹, sur les 26 essais des deux volumes, six sont co-écrits par Geoffrey Hinton.

Voici la remarque troublante que Hinton avait faite : « J’ai soudain pris conscience que nous pourrions disposer de  quelque chose de très différent, qui serait déjà meilleur », faisant allusion au fait que ce qui s’était passé avait eu lieu par inadvertance.

Hinton répondait à la question suivante du journaliste : « Lorsque vous avez réfléchi à la manière dont les ordinateurs apprennent, les choses se sont-elles déroulées comme vous le pensiez quand vous avez commencé à travailler dans ce domaine [l’intelligence artificielle] ? »

Et voici ce qu’il a répondu :

« Oui, jusqu’à très récemment, en fait. […]. Et tout se déroulait comme prévu. Puis, très soudainement, j’ai réalisé récemment que les intelligences numériques que nous construisions sur les ordinateurs apprenaient en fait mieux que ne le fait le cerveau, cela m’a fait changer d’avis. Alors que je pensais depuis une cinquantaine d’années que nous allions créer de meilleures intelligences numériques en les rendant plus proches du cerveau, j’ai soudain pris conscience que nous pourrions disposer de quelque chose de très différent, qui serait déjà meilleur » ².

Dans l’esprit de Hinton, la tâche à laquelle il avait consacré sa vie s’était dévoyée : il visait un type d’intelligence artificielle capable d’égaler celle de l’Homo sapiens et, avant même de réaliser ce qui s’était passé, il avait créé une intelligence supérieure à l’originale. Il a immédiatement démissionné de son poste de scientifique en chef de Google Brain, la division IA de la firme Google.

Quel décentrage supplémentaire de l’image du « nous » cet événement a-t-il induit, d’une intelligence artificielle d’une qualité apparemment supérieure à celle de l’intelligence naturelle que l’on cherchait à imiter ?

=====================

¹ Rumelhart, David E. & James L. McLelland and the PDP Research Group, Parallel Distributed Processing, 2 vol., Cambridge (Mass.) : MIT Press 1986

² « Godfather of AI” Geoffrey Hinton Warns of the “Existential Threat, May 9th 2023

Portrait de Geoffrey Hinton par Stable Diffusion