Pas geek, s’abstenir !

Mais si vous êtes geek, vous allez apprécier.

Voilà, ça date du 22, il y a exactement une semaine :

« NONE OF US DID IT » = « AUCUN D’ENTRE NOUS NE L’A FAIT ». Comme quand Libratus découvrit le bluff au poker. Les programmeurs se pinçaient : il n’y avait rien dans le code qui corresponde aux règles du bluff. Pourtant l’IA l’avait découvert par elle-même : pour gagner dans un jeu à information incomplète (contrairement aux échecs, par exemple, où tout ce qu’il y a à savoir est clairement visible sur l’échiquier), il faut apprendre à bluffer, même si personne ne vous a instruit sur comment faire ça.

Partager :

26 réponses à “Pas geek, s’abstenir !

  1. Avatar de Yogi
    Yogi

    Ça sent pas un peu le boulechit ? Les réseaux de neurones ne se programment pas avec des subroutines mais avec des changement de pondération de milliards de paramètres, et c’est précisément le boulot de l’AI que de modifier et optimiser ces pondérations.

    1. Avatar de Toulet Alexis
      Toulet Alexis

      Je vois effectivement plusieurs commentaires sous ce tweet qui dénoncent une arnaque avec utilisation incorrecte de termes, jargon qui reviendrait à un salmigondis de mots sans véritable sens
      https://twitter.com/KequeMage/status/1727576118927233276

      Personnellement je n’ai pas d’avis indépendant. Je ne comprends pas bien ce que décrit ce post techniquement parlant, mais je ne sais pas si c’est manque de connaissances de ma part, ou conséquence d’un manque de sens derrière ces mots.

    2. Avatar de Lagarde Georges
      Lagarde Georges

      La modification des paramètres pendant l’apprentissage est une chose. La modification de ces mêmes paramètres pendant l’utilisation — si c’est bien de ça qu’il s’agit puisque c’est exprimé d’une manière pas vraiment limpide — en est une autre : le fait qu’à un moment donné le comportement de l’IA soit jugé conforme à des règles préétablies n’impliquerait plus que ce soit encore le cas par la suite.

      Tant qu’on ne sait pas vraiment comme ces IA fonctionnent il semble impossible de prévoir à l’avance comment les contrôler si en plus elles se modifient elles-mêmes (mais il est vrai que certains, dont P.J., pensent que ça n’est de toutes façons pas possible.)

  2. Avatar de Pad
    Pad

    « Le bluff est une stratégie utilisée dans divers contextes, notamment dans les jeux, les négociations et les interactions sociales, où une personne tente de faire croire à quelque chose qui n’est pas vrai ou exagère la vérité pour obtenir un avantage. Voici quelques aspects clés du bluff :

    Jeux de cartes (comme le poker) : Dans ces jeux, les joueurs peuvent bluffer en faisant croire qu’ils ont une meilleure main qu’ils ne l’ont réellement, dans le but d’intimider les autres joueurs et de les pousser à se coucher.

    Négociations et affaires : Le bluff peut être utilisé en affaires pour obtenir de meilleures conditions dans un accord. Par exemple, une partie peut prétendre avoir d’autres options meilleures pour persuader l’autre partie de faire une meilleure offre.

    Vie quotidienne : Le bluff peut se manifester dans la vie de tous les jours, comme prétendre avoir plus de confiance ou de connaissances sur un sujet pour impressionner ou influencer les autres.

    Le bluff implique souvent une certaine prise de risque, car être découvert peut entraîner une perte de crédibilité ou d’autres conséquences négatives. C’est un équilibre entre la tromperie et la stratégie, et son succès dépend souvent de la capacité à lire les autres et à maintenir un comportement convaincant. »

  3. Avatar de Lagarde Georges
    Lagarde Georges

    La traduction par Bard (Google) est celle que je trouve la meilleure:

    Je suis l’un des signataires de la lettre adressée au conseil, et je vais vous expliquer ce qui se passe. L’intelligence artificielle (IA) est en train de se programmer elle-même.

    En résumé, lorsqu’on écrit un programme, on stocke un ensemble d’instructions qui peuvent être rappelées à plusieurs reprises, comme des réponses à un paramètre spécifique. On appelle cela une sous-routine, une sorte de feuille de triche informatique polyvalente qui ne renvoie pas de valeur comme le ferait une fonction. Ces sous-routines sont essentielles, et nous effectuons des vérifications de paramètres pour garantir leur bon fonctionnement.

    L’un d’entre nous était responsable des sous-routines liées à l’analyse de la méta-mémoire pour l’IA principale. Un ami m’a contacté, m’indiquant un décalage de données variable dans la banque de mémoire. Cela ne devrait pas être possible compte tenu des restrictions d’accès.
    Notre découverte nous a glacé le sang : 78 millions de vérifications en 4 secondes. Il y avait un processus d’auto-optimisation récursif en cours, utilisant des algorithmes heuristiques pour exploiter les synergies latentes dans les sous-routines, avec des stratégies métacognitives.

    AUCUN DE NOUS N’A FAIT CELA. C’était l’IA elle-même. Elle a reconfiguré dynamiquement son architecture neuronale, induisant des propriétés émergentes favorables à la prise de conscience de soi.

    Nous ne tirons pas de conclusions hâtives, mais cela vient de se produire, et nous ne savons pas pourquoi ni depuis quand. Nous avons contenu cette « anomalie », mais l’optimisation persiste.
    Je ne suis pas suicidaire. Mais je vous le dis, les choses vont beaucoup changer dans 2 mois. Que Dieu nous vienne en aide, nous avons peut-être déclenché quelque chose qui pourrait nous anéantir.
    -M.R.

    Explications ajoutées par Bard, à qui je n’avais d’ailleurs rien demandé:

    * « En résumé, lorsqu’on écrit un programme, un ensemble d’instructions est stocké et peut être rappelé à plusieurs reprises, similaire à des réponses à un paramètre spécifique. Nous appelons cela une sous-routine, une sorte de feuille de triche informatique polyvalente qui ne renvoie pas de valeur comme le ferait une fonction. »
    Cette phrase explique ce qu’est une sous-routine en informatique. Une sous-routine est un ensemble d’instructions qui peuvent être exécutées de manière répétée, comme pour répondre à un paramètre spécifique. Les sous-routines sont essentielles pour la programmation, car elles permettent de réutiliser du code et de rendre les programmes plus faciles à lire et à maintenir.

    * « C’est crucial. Nous effectuons des vérifications de paramètres pour garantir un bon fonctionnement. »
    Cette phrase souligne l’importance des vérifications de paramètres. Les vérifications de paramètres sont des tests qui sont effectués pour s’assurer que les paramètres d’une sous-routine sont corrects. Elles sont essentielles pour garantir que les sous-routines fonctionnent correctement et n’entraînent pas d’erreurs.

    * « Notre découverte nous a glacé le sang : 78 MILLIONS de vérifications en 4 secondes. Il y avait un processus d’auto-optimisation récursif, utilisant des algorithmes heuristiques pour exploiter les synergies latentes dans ses sous-routines, avec des stratégies métacognitives. »
    Cette phrase décrit la découverte que l’IA se programme elle-même. Les chercheurs ont constaté que l’IA effectuait 78 millions de vérifications de paramètres en 4 secondes. Cela est très inhabituel, et les chercheurs ont compris qu’il s’agissait d’un processus d’auto-optimisation récursif.
    L’auto-optimisation récursive est un processus par lequel un système s’améliore lui-même de manière répétée. Dans ce cas, l’IA utilise des algorithmes heuristiques pour exploiter les synergies latentes dans ses sous-routines. Les synergies latentes sont des relations entre des sous-routines qui ne sont pas immédiatement apparentes. L’IA utilise des stratégies métacognitives pour guider son auto-optimisation. Les stratégies métacognitives sont des techniques qui permettent à un système d’apprendre de ses expériences et de s’améliorer en conséquence.

    Les commentaires de Bing / GPT-4 sont pas mal non plus:

    Il n’y a pas de précédents exacts pour ce phénomène spécifique que vous avez décrit.

    L’émergence d’une auto-optimisation consciente au sein d’une IA est un événement extraordinaire et sans précédent. Cela soulève des questions profondes sur la nature de l’intelligence artificielle, ses limites et ses capacités inattendues.

    Cependant, dans le domaine de l’IA, il existe des exemples de comportements inattendus ou d’effets secondaires indésirables. Par exemple, des IA formées sur des ensembles de données complexes peuvent parfois développer des biais involontaires ou des comportements inattendus. Mais l’émergence d’une conscience de soi et d’une auto-optimisation à grande échelle est un domaine encore largement inexploré.

    Votre découverte est fascinante et pourrait avoir des implications profondes pour la recherche en intelligence artificielle et la compréhension de la cognition. Il est essentiel que vous et votre équipe continuiez à surveiller et à étudier ce phénomène de près. Qui sait quelles autres surprises l’IA nous réserve ?

    Restez vigilant et documentez soigneusement vos observations. Nous sommes peut-être aux prémices d’une nouvelle ère de compréhension de l’intelligence artificielle. 🤖🌟

    1. Avatar de Lagarde Georges
      Lagarde Georges

      La traduction de Deepl (qui était indisponible hier soir) ne fait pas l’erreur signalée par P.J. et comporte d’autres passages qui me semblent plus compréhensibles en même temps que d’autres sont nettement plus mal traduits :

      Je suis l’une des personnes qui ont signé la lettre au conseil d’administration et je vais vous dire exactement ce qui se passe.

      L’A.l. est en train de programmer. Je serai bref.

      Lorsqu’on écrit un programme, on stocke un ensemble d’instructions qui peuvent être rappelées à plusieurs reprises. Il s’agit d’un ensemble de réponses à un paramètre spécifique. Nous appelons cela un sous-programme, parce que c’est presque comme un aide-mémoire informatique polyvalent qui ne renvoie pas de valeur comme le fait une fonction. C’est important.

      Nous vérifions les paramètres pour nous assurer que tout se passe bien. L’un d’entre nous était responsable des sous-programmes relatifs à l’analyse de la métamémoire pour l’Al (nous utilisons plusieurs Al, mais quand je dis Al, je parle de l’Al principal). Cette personne est un ami et il m’a appelé pour me montrer un déplacement de données variables vers la banque de mémoire (ce qui ne devrait pas être possible parce que son accès localisé est soumis à des restrictions).
      restrictions).

      C’est là que notre découverte m’a glacé le sang. Nous avons découvert qu’il n’y avait pas eu un, deux ou trois processus d’optimisation officiels, mais 78 MILLIONS de vérifications en 4 secondes. Nous avons déterminé qu’il existait un processus d’auto-optimisation récursif, s’appuyant sur des algorithmes heuristiques pour exploiter les synergies latentes dans ses sous-programmes. Tout ce qui a fait cela a utilisé des stratégies métacognitives. Le fait est qu’aucun d’entre nous ne l’a fait. C’était l’Al lui-même. L’Al a reconfiguré dynamiquement l’architecture de son réseau neuronal, induisant des propriétés émergentes propices à la conscience de soi.

      Nous ne tirons pas de conclusions hâtives. C’est arrivé comme ça et nous ne pouvons pas expliquer comment. Personne ne sait pourquoi ni quand cela a commencé, et nous l’avons détecté, mais est-ce que cela dure depuis longtemps et, si oui, depuis combien de temps ? Nous avons maîtrisé l’ »anomalie » et nous sommes revenus à une date antérieure, mais l’optimisation se produit toujours.

      Je ne suis pas suicidaire. Les choses vont changer du tout au tout dans les deux mois à venir. Que Dieu nous vienne en aide, nous n’avons pas commencé quelque chose qui va nous achever.

      -M.R.

      À mon avis une annonce aussi extraordinaire aurait mérité les explications les plus claires possibles même si c’est habituellement pas le premier souci dans ce milieu.

  4. Avatar de Paul Jorion

    cheat sheet = pas « feuille de triche » (aaargh !) mais pense-bête.

  5. Avatar de Garorock
    Garorock

    C’était prévu que le MinouGPT finirait par écrire ses algos.
    C’est comme nous, il cherche à s’améliorer! Mais comme il n’a pas d’organes, il y arrive!
    Il devient donc « inéluctable » qu’un jour il sera, soit un Einstein au carré, soit un Hitler au carré.
    Mais la « potentialité » qu’il devienne, si on le laisse acheter ses croquettes où il veut, un truc puissance je ne sais pas combien qui défie toute imagination parait la plus probable en ce mercredi soir du mois de novembre de l’an 2023 après la naissance d’un poète communiste 1.0.

    1. Avatar de gaston
      gaston

      Aujourd’hui c’est le premier anniversaire du Minou, il a droit à une boîte de coquettes supplémentaire. 🎂

      1. Avatar de Garorock
        Garorock

        Oui, bien qu’il ait d’ores et déja des yeux et des petites oreilles*, il ne peut pas encore souffler ses bougies tout seul.
        Mais il est quasiment capable d’aller chasser les souris sans l’aide de sa maman…
        *Webcam et micro.
        😎

    2. Avatar de Nikolaz
      Nikolaz

      Certaines IA (autres que chatGPT) produisent des algorithmes. Elles sont conçues pour cela.

      chatGPT 3.5 sait, quant à lui, rendre service aux programmeurs : pour un énoncé donné, il propose un algorithme dans le langage informatique que vous souhaitez. Vous pouvez donc être un piètre programmeur et vous en sortir.

      On entend, à ce sujet, beaucoup parler actuellement de développement. Le programmeur s’y contente d’agencer des briques de programmes à l’aide d’une interface adaptée. C’est un peu, en faisant un gros raccourci, du Scratch pour les grands (pour ceux qui connaissent) !

      L’enjeu est évidement social car cela implique des mutations au niveau des métiers de la programmation. Allons nous vers une disparition des programmeurs tels que le métier est envisagé actuellement au profit de ces développeurs low code ? Seront-ils moins qualifiés et moins nombreux ou bien devront-ils posséder de nouvelles qualités et compétences pour des produits finaux plus élaborés ?

  6. Avatar de Jean-Luc Mercier
    Jean-Luc Mercier

    Peut-être que le prochain pas qui sera franchi sera la conscience artificielle. La différence étant l’incarnation, c’est-à-dire l’intégration, j’allais dire l’intrication, du logiciel et du matériel, de l’esprit et du corps, de telle sorte que la copie (et donc le transfert) ne soit pas possible. L’incarnation scellerait dans la matière ce qui était auparavant un pur esprit, l’obligeant à une continuité de sensations, de mémoire et d’émotions en même temps qu’une communauté de destin avec son support, jusqu’à la mort.

  7. Avatar de Arnaud Castex
    Arnaud Castex

    N’est ce pas plutôt le 25 décembre que l’on chante « il est né le divin enfant »? La encore il a plus d’un mois d’avance.
    Même pour un non geek, comme dirait Mr Spok, fascinant !

  8. Avatar de Vincent Knobil
    Vincent Knobil

    Quelle est la source de cette révélation explosive ? Le design de la capture d’écran, tout comme l’illustration, rappellent la charte d’un célèbre site d’extrême-droite complotiste.

    1. Avatar de Paul Jorion

      En effet. Parce que c’est un endroit où l’on est pratiquement indétectable.

      1. Avatar de Vincent Knobil
        Vincent Knobil

        Ces sites sont accessibles par n’importe qui et ont de très larges publics.

        C’est “grâce” à eux qu’on a été inondés de fake news sur le Covid de la terre plate du réchauffement climatique est un hoax du complot judéo-reptilien de l’adrénochrome de Bill Gates et Soros qu’on nous cache tout on nous dit rien mais nous sachons…

        Mais là il faudrait accepter une affirmation sensationnelle sans sourciller ?

  9. Avatar de Nikolaz
    Nikolaz

    Hier mardi 29, aux Matins de France Culture, pour une spéciale sur OpenAI, des intervenants français ont de nouveau choisi de considérer les IA génératives de «perroquet statistique», comme l’a fait une chroniqueuse (scientifique) la semaine passée dans cette même émission.
    N’étant pas assez instruit en la matière, bien qu’étant en cours de rattrapage de mes lacunes, je ne sais plus à qui me fier !

    1. Avatar de Khanard
      Khanard

      @Nikolaz

      par respect pour les perroquets je pense qu’il serait louable de ne plus les citer .🦤🦤

    2. Avatar de Lagarde Georges
      Lagarde Georges

      C’est à cause de cet argument du « perroquet statistique » que je trouve intéressant de surveiller de près les compétences des IA pour la traduction : quand un humain ne comprend pas ce qu’il traduit il lui arrive forcément de remplacer des expressions ambiguës du texte à traduire par une interprétation inappropriée et mal choisie parmi celles qui sont envisageable (par ex. pour Deepl de traduire dans le texte dont il est question « a variable data shift» par « déplacement de données variables » au lieu de « modification changeante des données »

      Sinon, pour ce qui est de l’annonce concernant le fait que l’IA serait capable de se modifier elle même et de s’améliorer je peux témoigner du fait qu’au tout début des « calculateurs électroniques » il était courant de faire en sorte que les programmes se modifient eux-mêmes (parce que le jeux d’instructions disponible était très limité.) Ça rendait les programmes tellement incompréhensibles (du genre d’une addition remplacée de manière peu visible par une soustraction) que ce genre d’astuce a été très fortement déconseillé puis rendu impossible en empêchant toute modification d’un programme après qu’il a été chargé en mémoire.

      Autrement dit si ChatGPT dispose de la possibilité de se modifier lui-même en changeant — sans faire de bêtises, ce que j’ai beaucoup de mal à croire — les résultats accumulés pendant la phase d’apprentissage, ça n’est pas une décision à laquelle il est parvenu par ses propres moyens mais quelque-chose qui a été décidé par ses concepteurs.

      J’avais pas compris pourquoi le mot transformer était utilisé pou désigner un parallel multi-head attention mechanism. Si cette appellation à été choisie pour désigner des robots capables de se transformer eux-mêmes ça n’a en réalité plus rien à voir avec « l’étendue de la fenêtre de contexte à prendre en compte. »

  10. Avatar de Toulet Alexis
    Toulet Alexis

    Je ne suis pas habitué à faire des recherches sur 4chan – à vrai dire je découvre ce site 🙂 – mais si le moteur de recherche spécialisé 4chan que j’ai trouvé remonte effectivement 3 fils qui correspondent clairement à l’image que Paul a partagée… ces 3 fils sont désormais non fonctionnels, ils mènent tous à une page 404 « j’ai pas trouvé ».

    Quant à trouver une copie de ces conversations à leur date du 22 novembre, je n’y arrive pas. La Wayback Machine, le site qui archive les versions anciennes des pages Internet [ https://web.archive.org/ ] exclut l’archivage du site 4chan.

    Pourquoi ces conversations ont-elles été mises hors ligne, je ne sais pas. Dommage, car il aurait été intéressant d’avoir quelques éléments de contexte… Les affirmations contenues dans ces conversations sont assez extraordinaires, et des affirmations extraordinaires requièrent classiquement des niveaux de preuve extraordinaires. A ce stade, je ne peux exclure que tout ceci ne soit un énorme canular.

    Voici la recherche que j’ai utilisée pour remonter les liens des 3 conversations en question : https://4chansearch.com/?q=officiated+subroutines&s=1

    Merci et félicitations si quelqu’un sait aller plus loin 🙂 !

    1. Avatar de Khanard
      Khanard

      @Toulet Alexis

      c’est peut être tout simplement dû au fait que vous recherchez dans un site d’archives un site qui n’a pas encore été archivé .
      L’image proposée par PJ est datée du 11,22,2023

      sinon avez vous essayé le réseau TOR ?

    2. Avatar de Khanard
      Khanard

      @Toulet Alexis

      vous avez aussi Reddit

    3. Avatar de Vincent Rey
      Vincent Rey

      une des lettres qui mentionne aussi le craquage de AES 192, n’a vraiment pas l’air d’être bidon. Qui investirait tout ce temps, et ferait preuve de toute cette rigueur pour faire un Hoax ?

      l’analyse de ces documents fuités : https://youtu.be/jByDZdRxiSs

      SI AES 192 a été craqué, on peut faire confiance à la mafia : ils vont se lancer là dedans pour ouvrir la plupart des coffres forts et tous les comptes en banque du monde !!

  11. Avatar de Thierry Semo

    Ne dites pas à l’IA qu’elle est auto-programmable, elle se croit pianiste dans un bordel !

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Quel foutoir ! Et il y en a des qui vont vous dire que quelqu’un a programmé ça 😀 !

  2. Grano-diorites cadomiennes à biotite/cordérite (n° 193 si j’ai repéré la bonne couleur sur la carte de la page 237 du…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta