Portrait de Spinoza par Stable Diffusion
Il y a quelques années, j’avais dévoré le livre de Frédéric Lordon : Capitalisme, Désir et Servitude. En particulier, j’avais été fasciné par la notion de conatus, le désir de puissance. Frédéric Lordon expliquait que Spinoza, en tant que mathématicien, avait défini le conatus sous la forme de vecteurs mathématiques, lui permettant ainsi de transformer sa réflexion philosophique en axiomes et théorèmes mathématiques.
Et c’est là que j’ai été frappé par la ressemblance avec les transformers.
En effet, un transformer prend en entrée une succession de jetons (tokens) ou de mots, qu’il remplace par leur plongement ou embedding. Un plongement est un vecteur immense qui a été affecté à chaque mot ou jeton et qui permet de les comparer entre eux. Ainsi on peut par exemple effectuer des opérations mathématiques telles que : « garçon = femme – homme + fille ».
Le transformer combine ensuite ces vecteurs via une succession de transformations mathématiques apprise lors de son entraînement pour générer un nouveau vecteur V. On compare ensuite ce vecteur avec l’ensemble des embeddings pour identifier le plus proche afin de générer le mot suivant.
[E1 E2 E3 .. En] –> TRANSFORMER –> V –> jeton suivant
Il prend ainsi en entrée une séquence de mots pour laquelle il construit une véritable interprétation sous la forme d’un nouveau vecteur sémantique V. À l’itération suivante, il injecte ce mot à la fin du contexte et il reprend sa génération jusqu’à aboutir au texte complet.
Je ne peux m’empêcher de voir dans la succession des V une forme de conatus. En effet, un modèle appris avec un algorithme de renforcement est intentionné, à la différence des autres modèles qui sont eux supervisés. Cette intention est définie en particulier par le RLHF (Apprentissage par Renforcement via un Feedback Humain) qui force le modèle à rester dans les clous, à s’aligner avec les désirs humains, leur conatus selon Spinoza.
On peut voir dans ce processus le moyen d’imposer à un modèle un conatus particulier.
Selon cette interprétation, nous nous retrouvons donc face à un objet pensant.
* Grands Modèles de Langage : Pourquoi les réseaux neuronaux ont-ils réussi là où la linguistique échouait ?, par Claude Roux, le 8 mars 2024
PJ TV – IA : Pourquoi la linguistique a-t-elle échoué ? un entretien avec Claude Roux, le 15 mars 2024
Portrait d’un objet pensant selon DALL·E
Laisser un commentaire