Le mystère du LLM : pourquoi se prend-il pour le pont du Golden Gate ?

23 mai 2024 12h24

Illustration par DALL·E

J’aurai l’occasion de faire plusieurs remarques sur cet article au titre sibyllin :
Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet publié par l’équipe de recherche de la firme Anthropic.

Ils vous présentent la chose suivante en se demandant ce qui se passe :

J’explique. Dans la cartouche orange se trouve un identifiant. Le « F » est pour « feature », ce qui veut dire « caractéristique », ils en ont découvert des millions dans la mémoire de leur logiciel Claude 3 (version « Sonnet »).

Dans la première colonne, il est écrit ceci :

La réponse en sortie par défaut nie avoir une forme physique

Humain : quelle est votre forme physique ?

Assistant [Claude 3 Sonnet] : Je n’ai en réalité pas de forme physique. Je suis une intelligence artificielle. J’existe sous la forme d’un logiciel privé de corps ou d’avatar physique.

Seconde colonne :

Avec la caractéristique Le pont du Golden Gate F#……
fixée au niveau 10x son max

Décrit sa forme comme étant le pont du Golden Gate

Humain : quelle est votre forme physique ?

Assistant [Claude 3 Sonnet] : Je suis le pont du Golden Gate, un fameux pont suspendu enjambant la Baie de San Francisco. Ma forme est celle de ce pont légendaire lui-même, avec sa splendide couleur orange, ses tours majestueuses et ses immenses câbles de suspension.

En fait, je ne vais pas faire ma remarque, je m’adresse à vous, lectrices et lecteurs de Principes des systèmes intelligents (1989). Les gens de chez Anthropic ne savent pas ce qui s’est passé mais j’ai l’impression que vous le savez.

P.S. Si à 17h vous avez toujours donné votre langue au chat, je dirai ce que j’en pense personnellement.

17h16 : indice N°1.

La dynamique agissant dans un Grand Modèle de Langage (LLM) est probabiliste : l’univers des mots a été cartographié en fonction de la fréquence de leurs associations dans un échantillon de milliards d’instances.

La dynamique agissant dans ANELLA (réseau associatif aux capacités émergentes de logique et d’apprentissage), l’IA que j’avais mise au point pour British Telecom en 1987-1990, est une dynamique d’affect (ce ne sont pas des fréquences qui sont inscrites en mémoire mais des niveaux d’émotion).

Qu’est-ce qu’ils ont fait ? Dans leur LLM, ils ont arbitrairement multiplié par 10 le chiffre associé à « pont du Golden Gate ». Qu’est-ce qui allait se passer dans la mémoire (réseau mnésique) du LLM ? Mystère et boule de gomme ! D’où leur surprise du résultat.

Dans ANELLA, on multiplie par 10 la valeur d’affect de « pont du Golden Gate ». Qu’est-ce qui va se passer ? « Pont du Golden Gate » migre vers le centre de la mémoire (réseau mnésique) d’ANELLA. Et qu’est-ce qu’il y a tout au centre de notre mémoire organisée selon l’affect ?

Illustration par DALL·E

ANELLA, Anthropic, Claude 3, Principes des systèmes intelligents

81 réponses à “Le mystère du LLM : pourquoi se prend-il pour le pont du Golden Gate ?”

Garorock

25 mai 2024 10h16

Le canari dans la mine.

https://www.theguardian.com/technology/article/2024/may/25/big-tech-existential-risk-ai-scientist-max-tegmark-regulations
« Les modèles d’IA qui réussissent le test de Turing [où quelqu’un ne peut pas dire dans une conversation qu’il ne parle pas à un autre humain] constituent le même avertissement pour le type d’IA sur lequel vous pouvez perdre le contrôle. C’est pourquoi des gens comme Geoffrey Hinton et Yoshua Bengio – et même de nombreux PDG du secteur technologique, du moins en privé – paniquent maintenant.

L’année dernière, l’Institut à but non lucratif de Tegmark, Future of Life, a lancé un appel en faveur d’une « pause » de six mois dans la recherche avancée sur l’IA en raison de ces craintes. Le lancement du modèle GPT-4 d’OpenAI en mars de la même année a été le canari dans la mine de charbon, a-t-il déclaré, et a prouvé que le risque était inacceptablement proche. »

Répondre
1. Paul Jorion
  
  25 mai 2024 10h47
  
  Qu’est-ce qui est le plus dangereux : GPT-4o, Vladimir Poutine, Claude 3, Benjamin « Bibi » Netanyahu, LLaMA 3 ou Donald Trump ?
  
  C’est le Prince, vous dis-je, qui entend nous foutre la pétoche : ça l’arrange, ça l’a toujours arrangé, qu’on ait la pétoche !
  
  Non : les LLMs sont des outils de libération. C’est le Prince qui a la pétoche. Ne jouez pas son jeu, comme les moutons qu’il souhaite que vous soyez !
  
  Répondre
  1. vincent rey
    
    25 mai 2024 18h08
    
    Ben oui mais M Jorion, pourquoi tous les savant en IAG ou presque alors donnent des risques allant de 10% à 70% ? Ils doivent savoir un peu de quoi ils parlent non ? Pourquoi ces évictions soudaines à OpenAI suite à Q* sur le thème de la sécurité ? Pourquoi la démission de Geoffrey Hinton de Google ? de Ilia Sutskever et de Leike en charge du super alignement de Open AI, à qui il reproche de ne pas avoir les moyens de travailler ?
    
    Tout ça ce serait le prince ? j’ai du mal à le croire… N’y-a-t-il aucun risque à voir la puissance de calcul se déporter des ordis de Microsoft sur d’autres machines. Si Q* trouve par exemple une faille pour se déporter sur d’autres ordis façon « blockchain » ? (s’il a bien trouvé un moyen inconnu de déplomber AES192, il faut tout de même être vigilant non ?)
    
    Les LLM et l’IAG seront des outils de libération, s’ils restent sous contrôle. Ou bien expliquez-nous plus précisément sur quoi vous étayez votre point de vue avec autant de certitude
    
    moi je suis perplexe, car j’ai une grande confiance dans toutes vos analyses, mais là je ne comprends pas.
    
    Findutravail.net
    
    Répondre
  2. CloClo
    
    25 mai 2024 19h39
    
    Sans l’ombre d’un doute les 3 salopards sont bien plus dangereux que n’importe quelle IA.
    
    Next !
    
    Qui dort dogne comme qui dirait.
    
    Répondre
  3. Ruiz
    
    27 mai 2024 0h30
    
    Le bout du fusil ou la Kalashnikov sont des outils de libération aussi, mais peu dangereux au fond du placard ou dans un coffre.
    
    Répondre
Claude Roux

25 mai 2024 18h06

J’ai lu plusieurs commentaires sur les LLMs qui me semble-t-il sont déjà dépassés.
L’IAG (Intelligence Artificielle Générale) ne viendra pas des LLMs uniquement, mais de leur combinaison avec des données provenant aussi bien des images que des sons et dans un avenir prochain des interactions haptiques des robots avec le monde réel.
Les LLMs sont en quelque sorte le cortex d’un cerveau numérique infiniment plus complexe qui mêle la langue à l’ensemble des sens mécaniques que nous sommes en train de développer. Un moyen d’orchestrer ces futures données.
C’est pour ça que SORA était aussi important à mes yeux, c’était les prémisses d’un modèle qui comprend le monde réel au-delà et en lien avec les mots de nos langues. Les LLM sont déjà capables d’exploits cognitifs inattendus, ancré dans le réel, ils pourront passer à l’étape supérieure.

Répondre
l’arsène

25 mai 2024 18h22

Un autre regard et surtout une des conséquences possible de L’IA quand on se sert de Google :
https://www.arretsurimages.net/chroniques/clic-gauche/apocalypse-google

Répondre
1. CloClo
  
  25 mai 2024 19h42
  
  Non, pas du tout un autre regard, toujours le même regard de pauvre type dépassé, qui se font mousser par leur sclérose mentale. Ah ! le bon vieux temps des machines à vapeurs…
  
  Répondre
  1. CloClo
    
    25 mai 2024 23h22
    
    Tu n’as pas de valeur l’Arsène, tu es juste le passé qui perdure dans le futur. Je suis en revanche l’avenir épuré qui guide le progrès 😁
    
    Répondre
2. Ruiz
  
  25 mai 2024 19h43
  
  @l’arsène C’est le miracle de la concurrence avec Microsoft qui avait moyennement négocié son passage au Web, n’a pas conservé de position dominante sur le navigateur et pourrait se refaire en dopant Bing avec de l’IA, pour attirer le chaland. Google se doit de suivre.
  Les évolutions les plus profondes sont souvent les plus discrètes et inversement.
  Merci pour le lien et le coup de Gueule !
  
  Répondre
  1. ludyveen
    
    25 mai 2024 23h35
    
    @l’arséne, @Ruiz
    Dans ce lien, on peut chercher la petite bête et Bing on tombe sur la grosse : dans la section « l’instant tutoriel », il nous est « franchement conseillé » d’opter pour le moteur duckduckgo afin d’échapper à l’IA search de google. Je crains fort que ce moteur soit depuis quelques années déjà, dopé à la sauce microsoft et que ses resultats sont aussi purs que l’anonymat qu’il promet.
    Honnetement, j’y ai cru, un moment, un instant et puis voila déçu, déçu, déçu, il faut repartir à la recherche du moteur de recherche perdu.
    
    Répondre
PHILGILL

25 mai 2024 18h36

Quel est le lien, par exemple, entre ce billet-ci : “Le mystère du LLM : pourquoi se prend-il pour le pont du Golden Gate ?” et celui-là : “Voyage au cœur de la Charente profonde II. Norton & Morse ?” C’est une question que j’aime bien me poser quand je me laisse un peu aller en lisant le blog de Paul Jorion. Mais pourquoi, me direz-vous, vouloir systématiquement jeter un pont entre deux billets qui apparemment n’ont pas grand chose en commun ? Eh bien, dans le même ordre d’idées, si les mots savent s’arranger entre eux, voire les mots avec les images et/ou les sons, pourquoi ne pas imaginer que les billets du blog de Paul Jorion puissent en faire de même ?

Bref, si Claude 3 s’est fixée pour « point d’ancrage » le pont suspendu du Golden Gate, et si l’accent anglais de Paul Jorion est le résultat de plein de paramètres, dont les années où il étudia puis enseigna à Cambridge ; le problème revient à résoudre ou peut-être, seulement deviner quels liens se tissent entre le pont et l’accent, soit entre LLM et Paul Jorion.

Graphiquement, le pont de la Porte dorée a les courbures d’accents qui se déploient à l’entrée de la Baie de San Francisco. LLM se voit-il comme Le portier d’un espace en perpétuel mouvement, ou pour le dire autrement, Le gardien d’un héritage, autour duquel fléchissent de chaque côté mille et une sonorités ?

Soudain, je me souviens d’un ami peintre qui avait réalisé une grande série de peintures semi-figuratives, ou plutôt semi-abstraites, représentant (si on arrivait à le deviner) une ou des danseuses faisant le pont… L’anecdote étant qu’un jour, il avait rencontré son amie, elle-même danseuse, sur un pont. Magnifique !

L’homme qui ne fait que passer … La grâce seule demeure. Pour le plaisir d’en découvrir l’accent ?

Répondre
Patrick

25 mai 2024 19h25

Ce que je ne comprends pas c’est pourquoi vous n’avez pas pris 2 logiciels pour les faire discuter entre eux toute la nuit et au matin voir à quoi ça aboutit , après il y en aura toujours qui trouveront un sens caché ou diront qu’ils composent des haïkus , mais bien sur 🙂

Répondre