L’explosion : « Ce bruit de frappe furieuse que vous entendez est celui de milliers de hackers de par le monde … »

14 mai 2023 17h36

Illustration par DALL-E (+PJ)

Large language models are having their Stable Diffusion moment, par Simon Willison, mis en ligne le 11 mars 2023.

Des dizaines de modèles linguistiques ouverts ont été publiés au cours des dernières années, mais aucun d’entre eux n’a réussi à me satisfaire sur les points suivants :

Facilité d’exécution sur mon propre matériel

Suffisamment grand pour être utile – idéalement équivalent en termes de capacités au GPT-3

Suffisamment ouvert pour pouvoir être modifié.

Tout cela a changé hier, grâce à la combinaison du modèle LLaMA de Facebook et de llama.cpp de Georgi Gerganov.

[…] Ils sont donc dans la nature maintenant. Vous ne pourrez peut-être pas légalement créer un produit commercial à partir d’eux, mais le génie est sorti de la bouteille. Ce bruit de frappe furieuse que vous pouvez entendre est celui de milliers de hackers de par le monde qui commencent à creuser et à découvrir ce qu’est la vie quand on peut faire tourner un modèle de classe GPT-3 sur son propre matériel.

Grands Modèles de Langage, Intelligence Artificielle, Singularité

Georgi Gerganov, GPT-3, hackers, LLaMA, Singularité

21 réponses à “L’explosion : « Ce bruit de frappe furieuse que vous entendez est celui de milliers de hackers de par le monde … »”

Khanard

14 mai 2023 18h34

Ne vous fiez pas aux extraits donnés en billet et suivez impérativement le lien donné dès les premières lignes .
Cela change totalement la perspective et l’ampleur de cette révolution que sont les GPT .

Jusqu’où allons nous ?

Répondre
1. petit coton
  
  14 mai 2023 21h56
  
  Exact, là on commence à voir ce qui est en train de se passer.
  
  Répondre
Paul Jorion

14 mai 2023 19h20

Source :

We Have No Moat

La chronologie

24 février 2023 – Lancement de LLaMA

Meta lance LLaMA, en ouvrant le code, mais pas les poids. À ce stade, LLaMA n’est pas réglé en termes d’instruction ou de conversation. Comme beaucoup de modèles actuels, il s’agit d’un modèle relativement petit (disponible avec des paramètres de 7B, 13B, 33B et 65B) qui a été entraîné pendant une période relativement longue, et qui est donc assez performant par rapport à sa taille.

3 mars 2023 – L’inévitable se produit

En l’espace d’une semaine, LLaMA est divulgué au public. L’impact sur la communauté ne peut être surestimé. Les licences existantes empêchent son utilisation à des fins commerciales, mais soudain, tout le monde peut expérimenter. À partir de ce moment, les innovations se succèdent à un rythme effréné.

12 mars 2023 – Modèles de langue sur un grille-pain

Un peu plus d’une semaine plus tard, Artem Andreenko fait fonctionner le modèle sur un Raspberry Pi. À ce stade, le modèle fonctionne trop lentement pour être pratique, car les poids doivent être transférés dans la mémoire et en sortir. Néanmoins, cela prépare le terrain pour un assaut d’efforts de minification.

13 mars 2023 – Mise au point sur un ordinateur portable

Le lendemain, Stanford publie Alpaca, qui ajoute le réglage des instructions à LLaMA. Plus important que les poids réels, cependant, était le repo alpaca-lora d’Eric Wang, qui utilisait un réglage fin de rang inférieur pour effectuer cette formation « en quelques heures sur une seule RTX 4090 ».
Soudain, n’importe qui pouvait affiner le modèle pour faire n’importe quoi, ce qui a donné le coup d’envoi d’une course vers le bas pour les projets d’affinage à petit budget. Les articles décrivent fièrement leur dépense totale de quelques centaines de dollars. De plus, les mises à jour de bas niveau peuvent être distribuées facilement et séparément des poids originaux, ce qui les rend indépendantes de la licence originale de Meta. Tout le monde peut les partager et les appliquer.

18 mars 2023 – Maintenant c’est rapide

Georgi Gerganov utilise la quantification à 4 bits pour exécuter LLaMA sur un processeur MacBook. C’est la première solution « sans GPU » qui est assez rapide pour être pratique.

19 mars 2023 – Un modèle 13B atteint la « parité » avec Bard

Le lendemain, une collaboration inter-universitaire publie Vicuna, et utilise GPT-4-powered eval pour fournir des comparaisons qualitatives des résultats du modèle. Bien que la méthode d’évaluation soit suspecte, le modèle est matériellement meilleur que les variantes précédentes. Coût de la formation : 300 dollars.
Ils ont notamment pu utiliser les données de ChatGPT en contournant les restrictions de son API – ils ont simplement échantillonné des exemples de dialogues ChatGPT « impressionnants » affichés sur des sites tels que ShareGPT.

25 mars 2023 – Choisissez votre propre modèle

Nomic crée GPT4All, qui est à la fois un modèle et, plus important encore, un écosystème. Pour la première fois, nous voyons des modèles (y compris Vicuna) rassemblés en un seul endroit. Coût de la formation : 100 $.

28 mars 2023 – Open Source GPT-3

Cerebras (à ne pas confondre avec notre propre Cerebra) entraîne l’architecture GPT-3 en utilisant le calendrier de calcul optimal impliqué par Chinchilla, et la mise à l’échelle optimale impliquée par la μ-paramétrage. Ce modèle surpasse largement les clones GPT-3 existants et représente la première utilisation confirmée de la paramétrisation μ « dans la nature ». Ces modèles sont formés à partir de zéro, ce qui signifie que la communauté n’est plus dépendante de LLaMA.

28 mars 2023 – Formation multimodale en une heure

En utilisant une nouvelle technique de réglage fin efficace des paramètres (PEFT), LLaMA-Adapter introduit le réglage des instructions et la multimodalité en une heure de formation. De manière impressionnante, ils y parviennent avec seulement 1,2 million de paramètres pouvant être appris. Le modèle atteint un nouveau SOTA sur le ScienceQA multimodal.

3 avril 2023 – Les vrais humains ne peuvent pas faire la différence entre un modèle ouvert 13B et ChatGPT

Berkeley lance Koala, un modèle de dialogue formé entièrement à partir de données librement disponibles.
L’étape cruciale consiste à mesurer les préférences humaines réelles entre leur modèle et ChatGPT. Bien que ChatGPT conserve un léger avantage, plus de 50 % des utilisateurs préfèrent Koala ou n’ont pas de préférence. Coût de la formation : 100 $.

15 avril 2023 – Open Source RLHF au niveau de ChatGPT

Open Assistant lance un modèle et, plus important encore, un ensemble de données pour l’alignement via RLHF. Leur modèle est proche (48.3% vs. 51.7%) de ChatGPT en termes de préférence humaine. En plus de LLaMA, ils montrent que cet ensemble de données peut être appliqué à Pythia-12B, donnant aux gens la possibilité d’utiliser une pile entièrement ouverte pour exécuter le modèle. De plus, comme l’ensemble des données est accessible au public, RLHF passe de l’irréalisable au bon marché et à la facilité pour les petits expérimentateurs.

Répondre
Paul Jorion

14 mai 2023 20h01

Répondre
Garorock

14 mai 2023 21h09

Piqure de rappel un peu bidouillée (l’histoire s’accélère…) 😎

La bataille aura lieu entre les Hackers éthiques ( humanitaires) et les Hackers narcissiques (identitaires)
Selon le principe des vases communiquants…
Ce qui devrait être en mesure de nous rassurer, c’est qu’aujourd’hui encore, malgré le F.N aux portes de Matignon, le savoir structuré l’emporte largement sur le savoir déstructuré…
C’est pour cela qu’ils attendent que le minou ait mangé toutes les bonnes croquettes avant de le laisser lire tous ce que les guignols écrivent sur internet.
Et les Hackers éthiques iront forcément faire un tour sur GPT 5…

Répondre
1. Benjamin
  
  14 mai 2023 21h50
  
  @ Garorock,
  
  La bataille… comment dire !?… vue de ma fenêtre professionnelle… cela fait belle lurette qu’elle a été gagnée par les hackers non éthiques (qui sont 4 à 5 fois plus nombreux et actifs que les éthiques).
  
  Allez trainer un peu dans le darknet (qui pour le coup porte très bien son nom)… et vous verrez qu’il n’y a rien (mais vraiment rien) d’enthousiasmant à avoir ouvert la bouteille et libéré le génie pour le laisser être analyser par des esprits faisant preuve d’aucune éthique.
  
  Et vu que certains entreprises ont testé les capacités du minou dans des domaines diversifiés tels que la rédaction d’articles, de comptes-rendus ou encore de mails… Vu que certains salariés sont allés jusqu’à intégrer ChatGPT dans leurs outils de travail quotidien, principalement pour éviter des tâches fastidieuses telles que les mails types, la génération de contenu marketing, la recherche de contenu scientifique, ou encore pour la rédaction de messages de prospection commerciale… Certains secteurs (économiques) risquent de belles déconvenues dans les semaines à venir quand les hackers non éthiques auront fait « main basse » sur toute cette matière.
  
  Car il y a une absence de confidentialité des données traitées par le minou conversationnel. Les données « publiées » sur ChatGPT par un utilisateur peuvent en effet être réutilisées pour entrainer le logiciel, sans qu’aucune information précise ne soit communiquée à l’utilisateur quant au sort (final) réservé à ses données ainsi traitées.
  
  Il y a un donc un gisement potentiel de données d’intérêt (pour des esprits malveillants). Il faut donc s’attendre à de nouvelles formes de rançonnage vers les professionnels (sans exclure que des particuliers soient également exposés). Et des nouvelles formes d’attaques car couplé aux bases de données « illicites » (car dérobées aux administrations publiques des 4 coins du globe, aux entreprises… voire à des particuliers) qui circulent dans le Darknet, le minou pourrait griffer des pans entier du web… voir dévorer des vies (pas que virtuelles celle là en cas d’arnaque/usurpation d’identité).
  
  Enfin, dans cette guerre de hackers, c’est peut-être le plan C qui pourrait partir en fumée…
  
  Répondre
  1. Garorock
    
    14 mai 2023 22h15
    
    J’entends tout ce que tu dis Benjamin.
    je ne vais pas sur le Darknet parce que je sais que je vais y trouver des choses que je n’ai pas envie de trouver!
    Qu’a fait Elun Musk de nos données?
    Y’a surement des fichiers qui s’échangent… C’est pas nouveau.
    Les entreprises vont avoir des problèmes, les particuliers aussi. C’est déja le cas.
    Puissance mille?
    Je ne sais pas. Possible.
    Mais c’est un peu le même problème – dans le cadre actuel- qu’avec les pêcheurs à la ligne.
    Entre les hackers éthiques et les hackers narcissiques, il y a ceux qui s’abstiennent encore de faire quelque chose. Si une bonne partie de ceux là, rejoint activement – pas en faisant des prières – le camps des Hackers éthiques, les identitaires ne gagneront pas.
    Selon le principe des vases communiquants…
    Comment faire? C’est toujours la bonne question!
    Mais en assassinant tout espoir, on ne fait que séduire l’indésirable…
    😎
    
    Répondre
    1. Benjamin
      
      14 mai 2023 23h01
      
      @ Garorock,
      
      « […] Entre les hackers éthiques et les hackers narcissiques, il y a ceux qui s’abstiennent encore de faire quelque chose. Si une bonne partie de ceux là, rejoint activement – pas en faisant des prières – le camps des Hackers éthiques, les identitaires ne gagneront pas. […] ».
      
      Désolé… Mais c’est un vœux pieu !
      
      Vu le nombre d’attaques que subit n’importe qu’elle entreprise/administration en France (et si beaucoup partent de Russie dans le contexte géo-politique actuel, beaucoup d’autres viennent notamment d’Occident), si nos minous conversationnels permettent aux hacker non éthiques de passer sur un rapport de 1 à 1 000 en terme d’intensité d’activité malveillante sur les réseaux, que les « Jedi gris » du net basculent (ou pas) du bon côté de la Force ne changera pas grand chose au résultat final : les digues (des système de sécurité informatique) tomberont… des entreprises, des administrations et (au final) des particuliers verront leur donnée disparaitre, être prise en otage (contre monnaie sonnante et trébuchante) et/ou être durablement vérolées !
      
      Sincèrement, le Darknet en dit déjà beaucoup sur la capacité de nuisance des hacker non éthiques.
      
      PS : et entre nous, ces hackers là s’en foutent royalement des questions identitaires. Pour la plupart, c’est l’appât du gain (« argent facile » comme dirait John Connor dans Terminator 2) ou l’obsession de détruire le net qui les motivent.
      
      Répondre
      1. Garorock
        
        15 mai 2023 0h06
        
        Ben, ce que tu me décris dans ton deuxième paragraphe, c’est ce qu’on appelle ni plus ni moins, un effondrement!
        L’effondrement que tu sembles espérer en le rendant par définition inéluctable, sur un blog qui se veut un chouia optimiste…
        Si Poutine avait appuyé sur le gros bouton rouge nous n’en serions pas là.
        Oui, y’a des narcissiques qui ne sont pas identitaires (quoiqu’un narcissique identitaire, c’est déja presque un pléonasme) – je ne veux pas gagner de fric pour être plus moche..- mais ça n’empêchera pas les identitaires de tous bord de se pointer non plus.
        Tout dépendra de qui va se pointer en face et avec quelle puissance!
        Et cela nous ne pouvons pas encore le savoir.
        Nous ne sommes pas obligés de parier que ce sont les méchants qui vont gagner. En général, cela leur donne toujours un peu d’avance.
        Quant à l’effondrement.. On était prévenus.
        Et comme toujours, nous ne serons pas prêts.
        
        Répondre
        
        Garorock
        
        15 mai 2023 4h14
        
        https://youtu.be/CrKH23jx52g
        Climat : comment passer de la peur à l’action ? avec @jean-marcjancovici
        On avance…
        
        Répondre
        
        gaston
        
        15 mai 2023 17h08
        
        En parlant d’effondrement :
        
        Il n’y a pas qu’en Ariège, en Suisse on crie aussi :
        
        « Gare aux rocs !!!! » 👼
        
        https://www.msn.com/fr-fr/voyage/actualite/village-suisse-%C3%A9vacu%C3%A9-%C3%A0-cause-d-un-%C3%A9boulement-si-on-ne-limite-pas-le-r%C3%A9chauffement-climatique-les-chutes-de-blocs-se-multiplieront/ar-AA1b4Yyk?ocid=msedgntp&cvid=744751bcb934499b8ebaa61493b797cb&ei=24
        
        Répondre
        
        Benjamin
        
        15 mai 2023 22h58
        
        @ Garorock,
        
        « […] L’effondrement que tu sembles espérer en le rendant par définition inéluctable, sur un blog qui se veut un chouia optimiste… […] »
        
        L’effondrement, je ne l’espère pas : nous le vivons déjà !
        
        Nos sociétés occidentales craquent : ça devient de plus en plus perceptible. La monté de mouvements extrémistes au 4 coins des pays développés, l’autoritarisme politique galopant, la répartition de plus en plus inégalitaire et injuste des richesses, l’évolution du climat, l’émergence de plus en plus fréquente de virus (et donc d’épidémies d’ampleur)… Tous les indices d’une phase initiale d’effondrement généralisé s’alignent les uns après les autres (ça se fissure de tous les côtés).
        
        Et là on parle de donner les moyens à certains de pouvoir saper encore plus les fondations de nos sociétés…. Oui nous étions prévenus…. Et nous faisons tout ce qu’il faut surtout pas faire pour empêcher la catastrophe en cours de prendre des proportions dramatiques.
        
        Répondre
  2. Patate
    
    15 mai 2023 13h44
    
    « le Darknet »… rien que le fait d’utiliser ce « mot » discrédite quelque peu le propos…
    
    Répondre
    1. Benjamin
      
      15 mai 2023 22h48
      
      @ Patata,
      
      C’est pourtant bel et bien le « mot » (grand public) utiliser pour identifier ce « espace parallèle » du net – où, si on est plus pointilleux, ces « espaces » car en fait il faut en parler au pluriel – qui ne ser(ven)t pas toujours qu’à échanger des fichiers…
      
      Après appelez ça comme vous le voulez… Mais le fait est que le terme « Darknet » parle à pas mal de monde.
      
      Répondre
timiota

14 mai 2023 21h31

Après m’être inscrit à la Ligue des Droits de l’homme (qui un jour s’appelera sans doute Ligue des Droits Humains), je vais de ce pas m’inscrire à l’assocation Hackers d’AI Ethique (la HAIE, à défait de « moat »= douve).

(dont les statuts auront bien sûr été générés par un automate conversationnel pas trop étique)

Répondre
Ruiz

15 mai 2023 8h37

Jacques Attali sur France Culture vient de citer Paul Jorion

Répondre
1. Khanard
  
  15 mai 2023 9h25
  
  @Ruiz
  
  Et?
  
  Répondre
  1. Ruiz
    
    15 mai 2023 10h38
    
    Et même après en ce moment France Culture reste pertinent ce matin …
    
    Répondre
    1. Ruiz
      
      16 mai 2023 10h04
      
      France Culture à 10h philosophe toute la semaine sur l’IA …
      
      Répondre
Arnaud Castex

15 mai 2023 10h03

Bon dieu arrêtez avec vos posts vous me faites sentir toute ma nullitude moi qui n’ai jamais codé autrement qu’en fortran et ce il y 25 ans… Ai-je raté ma vie d’ingénieur 😱 ??? … Bon d’un autre côté avec le recul de l’âge de la retraite, il va bien falloir s’y mettre… Vla qui m’assure d’une salutaire (et douloureuse ?) sortie de ma zone de confort 😉 !

Répondre
Bournoville

21 mai 2023 20h37

Je partage votre vision et votre espoir.

Répondre