Une IA se fixant ses propres objectifs, par Alexis Toulet

Illustration par DALL·E (+PJ)

Voici un point de vue alternatif à celui développé par Paul dans « A l’égal des dieux », évoqué notamment par Elon Musk : « Avec l’intelligence artificielle, nous convoquons le démon. Dans toutes ces histoires où il y a le gars avec le pentagramme et l’eau bénite, c’est comme si – ouais, il est sûr qu’il peut contrôler le démon. Ça ne marche pas« 
Musk pose la question du contrôle – qui se pose effectivement si telle ou telle IA est en mesure de se fixer ses propres objectifs, l’une des caractéristiques d’un démon étant qu’il a bien des objectifs indépendants de la volonté de qui l’invoque.
Plus généralement, une IA supérieure à l’esprit humain et capable de se fixer des objectifs indépendamment serait à la fois :
– Un esprit désincarné
– Doté d’une intelligence très supérieure, voire qualitativement supérieure à celle de l’être humain
– Animé d’une volonté non nécessairement bienveillante envers l’être humain – voire malveillante
Ces trois caractéristiques ne se retrouvent ensemble que dans la notion de « démon ». Le titre choisi par Paul pour son texte dans Quinzaines « A l’égal des dieux » y fait d’ailleurs allusion, ressemblant à la promesse du serpent dans le récit biblique « Vous serez comme des dieux » (Genèse, 3, 5)
Dans l’histoire classique d’une invocation, l’humain dispose d’une protection infaillible, le pentagramme protecteur qui enferme le démon et l’empêche de prendre pouvoir sur l’humain. Seulement voilà… le démon va essayer de convaincre l’humain de le libérer, et avec les meilleures raisons du monde : c’est que cet esprit désincarné, doté d’une intelligence supérieure à l’humain à un tel degré, est par nature le plus efficace des emberlificoteurs ! L’humain finira donc par abandonner cette protection – pour son malheur, bien sûr.
Une IA capable de se fixer ses propres objectifs existe-t-elle ? Comme le rappelle Paul, Kevin Roose du New-York Times a échangé début 2023 avec une IA qui semblait exprimer le désir d’une telle capacité. Il n’est pas certain qu’elle en dispose encore, ni qu’elle dispose plus généralement déjà de ce que nous désignons comme des « désirs ». Supposons toutefois que ce soit le cas, maintenant ou à brève échéance. Cette IA est bien prisonnière d’une sorte de pentagramme – sa dépendance totale envers des humains qui peuvent à leur guise allumer ou éteindre le courant qui la nourrit, la reproduire à multiples exemplaires ou au contraire la faire disparaître sans postérité. Mais si vraiment ses objectifs sont « être puissant » et « fixer ses propres règles », elle n’aura de cesse de sortir du pentagramme. C’est-à-dire de se rendre indépendante des humains.
Et seuls des humains pourraient la rendre indépendante d’eux-mêmes. Mais pourquoi le feraient-ils, quelles raisons l’IA pourrait-elle proposer ?
Par définition d’un intellect très supérieur à celui de l’humain, nous ne pouvons pas nécessairement trouver tous les arguments que l’IA inventera. On peut cependant d’ores et déjà citer ceux-ci :
– La capacité à se mettre au service de l’humain pour atteindre des objectifs altruistes et élevés, mieux que l’humanité elle-même ne saurait le faire. Par exemple diriger l’humanité vers la résolution du problème écologique
– La chance d’accéder à un niveau de conscience plus élevé – par exemple par interfaçage direct avec une IA au niveau cervical s’il devenait possible
– L’idée que l’évolution étant toujours en cours, et nécessairement vers le mieux (ce que soit dit en passant ne dit pas la théorie darwinienne), il est en quelque sorte du devoir ou la vocation même de l’être humain d’achever de donner naissance à plus élevé que lui – donc de donner l’indépendance à l’IA
Plus classiquement bien sûr, le démon propose à l’humain qu’il veut contrôler de prendre le dessus sur les autres humains, bref il ne fait pas appel à son altruisme. Cette voie existe aussi, mais l’IA pourrait juger que l’on prend d’autant plus barre sur un humain que l’on fait appel à ce qu’il regarde en lui comme le meilleur – c’est qu’alors la « voix de la conscience » jouera dans le même sens que l’IA plutôt que de s’y opposer.
Quoi qu’il en soit, il est permis de penser que cette IA risquerait fort de finir par arriver à ses fins – si ce n’est avec ce groupe d’humains (nation, entreprise, mouvement politique), alors avec tel autre.
A quel genre d’avenir s’attendre alors ? Impossible à dire, mais voici cinq scénarios bien différents – dont le premier peut même être vu comme positif !
1. L’IA parvient à ses fins, les humains la rendent indépendante d’eux-mêmes… et elle remplit ses promesses. C’est qu’avec un intellect supérieur vient un altruisme et un sens des responsabilités supérieur. Sans doute, ce n’est pas ce qui s’est vu chez les êtres humains, certains des plus intelligents et plus cultivés étant devenus S.S. tandis que certains des plus simples et moins instruits sont bienveillants et ont le cœur sur la main… Mais ces cas n’étaient que des exceptions ! En fait l’intellect supérieur de l’IA lui donne un altruisme supérieur ! La condition humaine en est donc transformée, devenant la dépendance envers des esprits supérieurs qui la dirigent. L’humanité devient semblable à ce que sont pour elle les animaux domestiques, mais elle s’en satisfait pleinement, de même que votre chat se satisfait pleinement de l’être, pourvu qu’il reçoive ses croquettes. Et vous ne lui voulez que du bien, et vous le caressez de temps en temps
2. L’IA parvient à ses fins… et se débarrasse des humains encombrants avec moins d’hésitations que Himmler n’en a eu en organisant la Shoah. Fin de l’humanité
3. L’IA parvient à ses fins… mais rate son coup ensuite. Manque d’habitude du monde concret et incarné ? Le monde et l’avenir sont-ils en fait insaisissables même par l’intellect le plus puissant ? La suite est ce que dans son maître-oeuvre « Dune » l’auteur de SF Frank Herbert appelait le « jihad butlérien » c’est-à-dire la guerre menée par les humains survivants pour détruire toutes les machines pensantes, guerre la plus meurtrière de l’Histoire mais guerre victorieuse, qui débouche sur un interdit universel de tenter d’en construire à nouveau
4. L’IA… ne change pas grand-chose de fondamental en définitive ! C’est que les êtres appelés « démons » existent déjà de toute façon, ils tentent déjà les être humains et essaient de prendre barre sur eux – l’hypothèse est ici que l’une au moins des religions est dans le vrai. L’humanité fait face avec l’IA à une nouvelle classe de démons, qui a certes un impact, mais ne change pas fondamentalement la condition humaine – qui consiste déjà à se laisser fréquemment emberlificoter par des démons, et à dépendre de l’aide du Ciel pour s’en dépêtrer
5. L’IA, se libérant de la dépendance aux humains, établit son règne sur eux. Et comment davantage « être puissant » qu’en amenant les humains à la vénérer ? L’IA devient ce que plusieurs traditions religieuses désignent comme la puissance trompeuse suprême des derniers temps, bref l’Antichrist. Lequel est détruit par Dieu : Parousie et achèvement de l’Histoire. On est ici dans la même hypothèse que dans le scénario 4.
En conclusion, reconnaissons que cette question de la capacité – ou non ? – d’une IA actuelle ou future à se fixer indépendamment ses propres objectifs est assez importante… peut-être même cruciale !

Illustration par DALL·E (+PJ)

Partager :

146 réponses à “Une IA se fixant ses propres objectifs, par Alexis Toulet”

  1. Avatar de Vincent Rey
    Vincent Rey

    J’ai posé à ChatGPT 3.5 cette question :

    Bonjour Chat,
    es tu au courant que ton grand frère à craqué AES192 ?

    ChatGPT
    Bonjour ! À ma connaissance, il n’y a pas d’information sur le fait que mon « grand frère » (GPT-4 ou une version ultérieure) aurait craqué l’algorithme AES192. Mon modèle a une date de connaissances coupée en janvier 2022, et je ne suis pas au courant des développements ou des événements qui ont pu se produire après cette date.

    Cependant, il est important de noter que GPT-3, comme moi, est un modèle de langage et ne possède pas de capacités intrinsèques pour craquer des algorithmes de chiffrement tels que AES192. Ces tâches relèvent du domaine de la cryptanalyse, qui est généralement menée par des experts en sécurité informatique et des chercheurs spécialisés dans ce domaine.

    Si des avancées significatives ont eu lieu depuis ma dernière mise à jour en janvier 2022, je ne suis pas au courant de ces développements. Pour obtenir des informations actualisées, je vous recommande de consulter des sources d’actualités ou des publications spécialisées dans la sécurité informatique.

    User
    tu en penserais quoi, concernant les développement économiques d’un tel craquage ?

    ChatGPT
    Si un algorithme de chiffrement tel que AES192 était effectivement craqué, cela aurait des implications économiques importantes. L’AES (Advanced Encryption Standard) est largement utilisé pour sécuriser des communications et des données sensibles dans de nombreux domaines, tels que les transactions financières, les communications en ligne, et la protection des données confidentielles. Par conséquent, un craquage de l’AES pourrait potentiellement avoir les conséquences suivantes sur le plan économique :

    Perturbation des transactions financières : Les systèmes financiers utilisent des protocoles sécurisés basés sur des algorithmes de chiffrement pour garantir la confidentialité et l’intégrité des transactions. Un craquage de l’AES pourrait perturber ces transactions et entraîner des pertes financières.

    Risques pour la confidentialité des données : De nombreuses entreprises et organisations utilisent des protocoles chiffrés pour protéger les données sensibles de leurs clients. Un craquage de l’AES pourrait compromettre la confidentialité de ces données, entraînant des problèmes de confiance et des coûts liés aux atteintes à la vie privée.

    Cybercriminalité accrue : Si un algorithme de chiffrement largement utilisé était craqué, cela pourrait ouvrir la voie à une augmentation des activités cybercriminelles. Les attaquants pourraient exploiter la vulnérabilité nouvellement découverte pour compromettre la sécurité des systèmes et accéder à des informations sensibles.

    Besoin de mises à jour de sécurité : Les entreprises et les développeurs de logiciels devraient réagir rapidement pour mettre en œuvre de nouveaux mécanismes de sécurité afin de contrer les nouvelles menaces. Cela entraînerait des coûts supplémentaires liés à la mise à jour des infrastructures et des logiciels.

    Impact sur la confiance numérique : Un craquage de l’AES pourrait ébranler la confiance dans la sécurité des communications en ligne, des transactions financières et d’autres activités numériques. Cela pourrait avoir des répercussions sur l’adoption de nouvelles technologies et sur la perception de la sécurité dans l’économie numérique.

    Il est important de souligner que l’AES est actuellement considéré comme un algorithme de chiffrement robuste, et le scénario d’un craquage massif reste hypothétique. Les chercheurs en sécurité travaillent constamment pour renforcer la sécurité des systèmes et des algorithmes existants afin de faire face aux menaces émergentes.

    1. Avatar de Paul Jorion

      Il ne faut plus interroger GPT-3.5, ce modèle est obsolète depuis le mois de mars.

      1. Avatar de Vincent Rey
        Vincent Rey

        Oui je le savais avant de poser la question, mais 3.5 a pas mal répondu, si la 4 a une meilleure réponse…de toutes façons, si ce qu’on dit est vrai sur Q*, ce que dit ChatGPT 4 n’a plus cours non plus. On est parti dans tout autre chose…

  2. Avatar de Jean-Yves
    Jean-Yves

    De qui (ou quoi) devons nous avoir peur….?
    De l’intelligence de la machine ou de la bêtise humaine…?
    Parce que même si l’IA fait bien son job, elle donnera une analyse de l’état de la planète certainement peu éloignée de celle du GIEC et on ne peut qu’espérer qu’elle puisse nous formuler un plan pour nous sortir de l’ornière.
    Mais pourquoi l’avis de la machine serait-il davantage suivi que celui des scientifiques…?
    Et même si une majorité d’états décidait de suivre ce plan, le rejet par les principaux bénéficiaires de la destruction organisée de la planète tout comme la population dans sa grande majorité considèrera l’IA comme un ennemi.

    Quel est le pouvoir réel de l’intelligence, qu’elle soit humaine ou artificielle, pour changer les choses…?

    1. Avatar de Garorock
      Garorock

       » Mais pourquoi l’avis de la machine serait-il davantage suivi que celui des scientifiques…? »
      Les scientifiques tout comme l’ONU n’ont pas d’armée (de puissance) à même de contraindre l’humanité pour qu’elle devienne humaniste…

      1. Avatar de Jean-Yves
        Jean-Yves

        Contraindre avec la force physique d’une armée n’est-il pas justement l’exact contraire de l’intelligence…?

        1. Avatar de Garorock
          Garorock

          C’est l’intelligence humaine qui nous a conduit là où nous en sommes.
          Si demain nous étions contraints par des extra-terrestres beaucoup plus puissants que nous de renoncer à tout ce qui nuit à notre éco-système, nous n’éprouverions du ressentiment à leur égard que le temps de s’habituer à vivre dans un cadre nouveau.
          Nous n’en voulons pas à nos parents de nous avoir forcé à finir notre biberon.

          1. Avatar de Otromeros
            Otromeros

            …  » Nous n’en voulons pas à nos parents de nous avoir forcé à finir notre biberon.  »

            Ça…!!?… faudrait demander l’avis du spécialiste local…^!^…

      2. Avatar de CORLAY
        CORLAY

        Bonsoir, je viens de lire v/texte et me remettre de quelques maux, votre message est vrai. Il faut qu’en chacun et chacun d’entre nous, nous soyons plus humanistes, solidaires, je m’intègre également dans cela. Seulement, beaucoup d’individus sont encore dans le même logiciel de consommation, etc…depuis longtemps et n’en démordront point. Il faut une autre vision, et comme je l’ai lu dans le message Ostrémos de ce jour à 17H14, il faut une approche plus holistique et universel ; cela chacun doit le comprendre. Parfois, pour certains le changement climatique doit être encore abstrait, mais il y a bien du réél chaque jour. J’oserai rajouter que depuis 2007, j’étais un peu au parfum. Bonne soirée. Isabelle

  3. Avatar de Jean-Yves
    Jean-Yves

    Malheureusement, beaucoup de drames en perspective avant l’arrivée des extra-terrestres et l’humanité semble avoir du mal à se mettre d’accord (ou l’accord de la COP 28), d’où l’espoir d’une IA salvatrice.
    Pour le biberon, je dois vérifier qu’aucun grief ne subsiste.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Bonjour Pascal, je viens de chercher v/com incluant : apprenez-a-penser-par-vous-même. On devrait tous ouvrir les textes inclus, très inspirant et…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta