Qu’est-ce qui se passe de si spécial dans le transformer d’un grand modèle de langage tel ChatGPT ?
Sebastien Bubeck (toutes mes excuses à lui pour avoir écorché son nom dans ma plus récente vidéo) explique cela très bien : la machine, contrairement à nous, ne succombe pas au biais inductif. Si dans une série qui semble à première vue homogène, il existe certaines configurations qui permettent un raccourci vers la solution, la machine le découvrira, alors que nous, pauvres humains, victimes du biais inductif, nous allons considérer que comme la série a l’air homogène, elle l’est nécessairement et … nous ne trouverons pas les raccourcis cachés dans certaines configurations … faute d’avoir même supposé que de tels raccourcis pouvaient exister.
Ok, j’explique ce que cela veut dire sur deux exemples.
Vous vous souvenez sans doute (ou seulement peut-être) de cette vidéo historique de 2014 où Demis Hassabis, fondateur de DeepMind, présentait une IA jouant à casse-briques ? Ce qu’il nous montrait, c’était que l’IA découvrait au bout d’un moment que la tactique la plus payante, ce n’était pas d’attaquer le mur de front, mais de le prendre à revers en passant latéralement et en allant faire rebondir le projectile sur lui à partir du plafond. À cela, les humains n’avaient pas pensé *, ils imaginaient que les configurations étaient homogènes : qu’elles se valaient toutes.
Un bon exemple de biais inductif, ce serait de généraliser en disant : « Quand on examine la suite des nombres entiers, 1, 2, 3 …, on observe que pour chacun de ces nombres … », alors que certains d’entre eux ont des propriétés particulières que les autres n’ont pas. Ainsi, 1, 2, 3, 5, 7… ne sont divisibles que par 1 et par eux-mêmes : ce sont des nombres premiers ; 4 et 9 sont des carrés, ils résultent de la multiplication par lui-même d’un nombre avant eux dans la liste ; 8 est un cube : un nombre avant lui dans la liste multiplié par lui-même à deux reprises, etc.
Le premier à avoir noté cela à notre connaissance, c’est Diophante (200-284). Il est le premier à avoir laissé entendre à propos de la suite des entiers : « Ne vous y fiez pas : certains d’entre eux sont des gens très ordinaires, mais d’autres sont de drôles de paroissiens ! ». Diophante, le premier à avoir attiré notre attention sur le fait que 4, 8, 9… permettent des raccourcis qui sont fermés aux autres entiers. Or aux yeux de l’IA d’aujourd’hui, avec le temps dont elle dispose en quantité quasi-illimitée, il n’y a pas de raccourci nous étant resté inaperçu, qu’elle ne parvienne à découvrir. Du coup, elle nous fait honte. Nous pouvons lui rappeler : « N’oublie pas que je suis ton père (ou ta mère) ! », mais vous connaissez les enfants…
* Il y a bien eu sur le Blog de PJ quelques commentateurs fanfarons pour dire : « Fastoche ! Même ma grand-mère savait ça ! », mais ce sont les mêmes frimeurs qui, neuf ans plus tard, sévissent toujours sur le blog 😉 .
Laisser un commentaire