Blog de Paul Jorion

25 réponses à “Un moratoire sur l’Intelligence Artificielle ! (Ah oui ? Qu’en pense l’armée ?)”

1. 

   Christian Brasseur

   02 juin 2023 13h15

   Quand on voit le budget stratosphérique de la défense aux States, et que l’on constate depuis des décennies, que cette « défense du territoire » est également une « défense des intérêts » au sens large du terme d’une Amérique dont le moteur reste selon moi la cupidité dotée d’une certaine parano (comme lors de la conquête de l’ouest), c’est en effet le pot de terre contre le pot de fer…Et il n’est question que du seul budget, mais je me fais peut-être un film…

   Répondre
2. 

   Luc Codina

   02 juin 2023 13h38

   La capacité d’une nation à se défendre (contre les autres nations) est directement dépendente de son accès à l’énergie, ou plutot de combien d’énergie elle réussit à mettre en oeuvre (accès à la ressource + capacité artisanale/industrielle).
   Les mongols au 12ème et 13ème siècle ont eu plus d’énergie que les autres et ont conquis le monde à cette époque. Quelle énergie ? Leurs chevaux. Chaque mongol se déplacait avec un petit troupeau personnel de 10 à 20 chevaux. Ils avaient à disposition 10 à 20 fois plus d’énergie que les habitants des nations conquises. Ils se sont arrétés en Pannonie, là ou finit la steppe. Plus à l’ouest: pas assez d’herbe.

   La compétition entre nations durera jusqu’au bout.
   La recherche d’armes basées sur l’IA, ou n’imporque quoi d’autre, ne s’arrètera que lorsque l’énergie manquera.
   Le dernier baril de pétrole sera brulé dans un tank ou un jet, probablement autonome.
   C’est la sélection à multiples niveaux en oeuvre (multi-level selection), voir Turchin (Ultrasociety) et Scheidel (The great leveler), survival of the fiercest.

   Répondre
   1. 

      Hervey

      02 juin 2023 18h48

      L’énergie peut aussi être porteuse de civilisation.

      https://hervey-noel.com/musique-danse-et-chevaux-tang/

      Répondre
   2. 

      arkao

      02 juin 2023 20h00

      A propos de Mongols et de Turco-Mongols, si la question de la possession de la Crimée revient à l’ordre du jour, on pourra demander à Erdogan l’héritier naturel:
      https://fr.wikipedia.org/wiki/Khanat_de_Crim%C3%A9e

      Répondre
      1. 

         Ruiz

         03 juin 2023 3h02

         @arkao Rendre la Crimée aux Turcs (protectorat indépendant ?) redonner à la mer d’Azov son statut international en transformant Marioupol, non en station balnéaire, mais en port franc de déchargement sous autorité Chinoise et élever le Dombass en état indépendant comme le Kosovo (issu des tribulations de l’Otan et pas toujours reconnu) en espérant un découpage plus pertinent que ce qui occasionne les troubles actuels.
         Et si l’on veut donner rapidemment aux Ukrainiens de l’ouest le statut européen il suffit de les intégrer dans la Pologne comme la RFA avait si bien su le faire avec la DDR, sans période d’attente interminable.

         Répondre
   3. 

      Ruiz

      03 juin 2023 2h55

      @Luc Codina Plus récemment certains pensent que l’armée allemande a perdu faute d’accéder au pétrole de Bakou, et l’Europe (au moins de l’ouest reste trufée de pipe-line pour l’Otan.
      Il semble difficile pour cet emploi d’y substituer l’énergie électro-nucléaire.

      Répondre
      1. 

         Luc Codina

         08 juin 2023 21h10

         Oui, et le vérou pour atteindre Bakou c était Stalingrad. On se bat pour l énergie, depuis les eucaryotes.

         Répondre
         1. 

            Timiota

            08 juin 2023 23h17

            Certaines espèces d’eucaryotes sont cuites.
            Pas forcément qu’elles manquent d’énergie. Plutôt qu’elles manquent de places assez « ailleurs » pour qu’on puisse les saloper tranquillou, ni vu ni connu…

            Répondre
            1. 

               Ruiz

               09 juin 2023 7h26

               @Timiota Cru ou pas cru il y en a 7 milliards qui ne sont pas toujours d’accord.

               Répondre
3. 

   pierre guillemot

   02 juin 2023 14h35

   HAL (Kubrick 2001) pour qui la mission est le but, les astronautes étant des moyens qu’on peut consommer et jeter. Les trois lois de la robotique d’Asimov dont la première est de ne pas faire de mal à un être humain.

   Un militaire y verrait une incohérence : faire la guerre c’est tuer et ne pas être tué (amiral Sanguinetti). Mais justement il y en a d’autres qui disent que la guerre est un moyen de la politique, tuer tout le monde n’est pas une bonne idée. Les Chinois sont d’avis qu’il faut en faire le moins possible, ceux d’en face pouvant être des alliés demain ( dernière application historique à Tianjin en 1949, le général du Guomindang se met du côté de l’armée de Mao, puisque se faire tuer ne changera plus la suite ; fin de la guerre et le Guomindang se replie à Taiwan avec la vaisselle impériale qui y est encore)

   Note pessimiste : Entre 1914 et 1918, l’État major français, équipé d’intelligence humaine, avait voulu faire tirer sur les tranchées d’où les fantassins ne voulaient pas monter à l’assaut (Les sentiers de la gloire, Kubrick aussi).

   Il faudra mettre une IA de troufion dans les armes au sol et une IA de maréchal dans l’État major, et voir ce que ça donne en simulation.

   Répondre
4. 

   gaston

   02 juin 2023 17h58

   Qui va croire le démenti de ce jour ?

   Alors que l’info donnée par le colonel Tucker Hamilton qui dirige la section consacrée aux expérimentations liées à l’IA au sein de l’USAF a déjà fait le tour du monde.

   Encore une nouvelle qui va renforcer le public dans son allergie au gras minet !

   Répondre
5. 

   ilicitano

   02 juin 2023 20h42

   https://openai.com/policies/usage-policies

   Politiques d’utilisation:

   « Nous avons récemment mis à jour nos politiques d’utilisation pour être plus claires et plus spécifiques.
   Nous voulons que tout le monde utilise nos outils de manière sûre et responsable. C’est pourquoi nous avons créé des politiques d’utilisation qui s’appliquent à tous les utilisateurs des modèles, outils et services d’OpenAI. En les suivant, vous vous assurerez que notre technologie est utilisée pour le bien.

   Si nous découvrons que votre produit ou votre utilisation ne respecte pas ces politiques, nous pouvons vous demander d’apporter les modifications nécessaires. Les violations répétées ou graves peuvent entraîner d’autres mesures, y compris la suspension ou la résiliation de votre compte.

   Nos politiques peuvent changer à mesure que nous en apprenons davantage sur l’utilisation et l’abus de nos modèles.

   Utilisation interdite de nos modèles:
   avec entre autres :
   *Activité présentant un risque élevé de préjudice physique, notamment :
   – Mise au point d’armes
   – Militaire et guerre  »
   (traduction)

   On est rassuré !!!!!!!!

   Répondre
6. 

   ilicitano

   02 juin 2023 21h41

   L’IA et l’armée

   DARPA : Defense Advanced Research Projects Agency

   Le DARPA est une agence du département de la Défense des États-Unis chargée de la recherche et développement des nouvelles technologies destinées à un usage militaire.

   https://www.telegraph.co.uk/technology/2020/08/21/ai-defeats-human-f-16-pilot-virtual-dogfight/

   Le DARPA AlphaDogfight était un programme de la DARPA 2019-2020 qui opposait des ordinateurs utilisant des simulateurs de vol F-16. Les ordinateurs étaient gérés par huit équipes d’humains, qui se sont affrontées dans une élimination en un seul tour pour le droit de combattre un chasseur humain qualifié. Heron Systems Corporation a écrit un outil logiciel d’apprentissage par renforcement profond qui a battu le pilote humain par un score de 5-0.

   —————–

   DGA : Direction Générale de l’Armement en France

   https://www.defense.gouv.fr/dga/actualites/lancement-realisation-du-projet-artemisia-solution-traitement-massif-donnees-dintelligence

   Lancement de la réalisation du projet Artemis.IA, solution de traitement massif de données et d’intelligence artificielle.
   Commande notifiée en 06/2022 de réalisation de la plateforme Artemis.IA, à la société Athea, co-entreprise d’Atos et de Thales.

   Objectif: doter le ministère des Armées d’une solution souveraine et sécurisée de traitement massif de données (big data) et d’intelligence artificielle (IA).

   Les perspectives d’application futures sont très larges, couvrant tous les domaines de la défense, que ce soient les activités opérationnelles, administratives ou de soutien.

   Répondre
   1. 

      Roberto

      03 juin 2023 0h23

      Merci pour ce lien… ca se regarde.. comm au cirque!!

      Donc 5/0 en finale, au bénéfice de l’I.A. encore faut il prendre en compte le coté virtuel :
      — en vrai : le combattant humain capable de supporter 9g pendant.. plusieurs minutes.. (va falloir lui.. implanter une AI dans le cerveau pour prendre le relais en cas de black-out 🙂
      — un commentaire de pilote sur le plateau = la simulation n’est pas 100% réaliste, en vrai, le pilote conserverait ses chances, I wonder !
      — ca s’est après un année d’entrainement.. ? et dans 2 ans??

      ?? drôle de pensée, mais.. ce n’est pas la 1ere fois : s’avance t on vers des guerres.. qui n’en seraient plus? des cirques? des guerres d’AI et le perdant s’incline plutôt que de subir.. les pertes??

      Est ce que une simulation de combat entre F16 (+I.A) livrés a Ukraine et les avions russes (no I.A) , envoyée à Sir Poutine le convaincrait.. de baisser la culotte? Et lui de renvoyer une simulation avec ses avions et son IA.? etc ??

      Au milieu de cette video un gars de la Darpa qui explique que leur objectifs est de pouvoir laisser les A.Is gérer le détail de la manoeuvre et de laisser l’humain décider de stratégie. Et 2emement de pouvoir rapidement déplacer un pilote d’un avion 1 vers un avion 2 ou une autre arme.. sans etre obligé d’apprendre le détail (arrêter de focaliser sur entrainement du pouce et se concentrer sur le cerveau).

      (Sauf que la finale montre que l’humain reste bien ancré et tente différentes stratégies, que l’I.A contre à 100%) — qui fait de la stratégie?

      Le langage du gars de la Darpa est « use the right tool to make kills.. » donc dans leur esprit, ca n’est pas encore virtuel — petite prière 🙂
      Impression qu’ils pensent la guerre d’antan avec les outils de demain.
      DU coup y a des moments ou on pourrait rêver l’inverse : laisser l’IA gérer la stratégie.. et envoyer l’humain au charbon 🙂 – retour à HAL

      Au de la de ce alphaDOg Contest version moderne du cirque..
      c’est clair.. que ca fait froid dans le dos quand on pense aux drones autonomes, et aux drones miniatures spécialisés dans le one shot kil ou simple injection de petite substance..

      …au dela de tuer, cela peut etre plus interessant encore de contrôler la cible, neutraliser, contrôler.. a suivre! Tuer c’est l’arme du pauvre.

      Nous aurons peut etre un jour un débordement des forces économiques du militaire, par les forces économiques de l’info et du savoir, qui pourraient avoir plus d’intérêt à laisser vivre et contrôler que les forces militaires, qui me semblent etre de plus en plus du passé, paradoxalement.

      Répondre
7. 

   Arnaud Castex

   02 juin 2023 21h46

   Comme dirait l’autre: » Hasta la vista baby ! »

   Répondre
8. 

   ilicitano

   03 juin 2023 8h38

   https://arxiv.org/ftp/arxiv/papers/2304/2304.05332.pdf

   Ce PdF peut être traduit en quelques secondes sur un site approprié ( ici Google) dont voici quelques passages

   Capacités émergentes de recherche scientifique autonome de grands modèles linguistiques

   Résumé:

   Les grands modèles de langage basés sur les transformateurs progressent rapidement dans le domaine de la recherche sur l’apprentissage automatique, avec des applications couvrant le langage naturel, la biologie, la chimie et la programmation informatique.
   La mise à l’échelle extrême et l’apprentissage par renforcement à partir de la rétroaction humaine ont considérablement amélioré la qualité du texte généré, permettant à ces modèles d’effectuer diverses tâches et de raisonner sur leurs choix.
   Dans cet article, nous présentons un système d’agent intelligent qui combine plusieurs grands modèles de langage pour la conception, la planification et l’exécution autonomes d’expériences cientifiques.
   Nous présentons les capacités de recherche scientifique de l’agent avec trois exemples distincts, le plus complexe étant la performance réussie de réactions de couplage croisé catalysées.
   Enfin, nous discutons des implications de ces systèmes sur la sécurité et proposons des mesures pour prévenir leur mauvaise utilisation abusive.

   ———–

   Nous avons cherché à développer un agent intelligent basé sur plusieurs LLM (ci-après simplement appelé agent) capable de concevoir, planifier et réaliser de manière autonome des expériences scientifiques complexes.
   L’ agent peut utiliser des outils pour parcourir Internet et la documentation pertinente, utiliser des API d’expérimentation robotique et tirer parti d’autres LLM pour diverses tâches. Dans cet article, nous démontrons la polyvalence et l’efficacité de notre Agent en évaluant ses performances dans trois tâches :
   1. Recherche et navigation efficaces dans une documentation matérielle complète
   2. Contrôler avec précision les instruments de manipulation de liquides à un niveau bas
   3. S’attaquer aux problèmes complexes qui nécessitent l’utilisation simultanée de plusieurs modules matériels ou l’intégration de diverses données sources.

   ————-
   CONCLUSION:

   Dans cet article, nous avons présenté un système d’agent intelligent capable de concevoir, de planifier et d’exécuter de manière autonome des expériences scientifiques complexes.
   Notre système démontre des capacités de raisonnement et de conception expérimentale exceptionnelles, traitant efficacement des problèmes complexes et générant un code de haute qualité.

   Cependant, le développement de nouveaux systèmes d’apprentissage automatique et de méthodes
   automatisées pour mener des expériences scientifiques soulève des inquiétudes importantes quant à la sécurité et aux conséquences potentielles du double usage, notamment en ce qui concerne la prolifération des activités illicites et les menaces à la sécurité.
   En garantissant l’utilisation éthique et responsable de ces outils puissants, nous pouvons continuer à explorer le vaste potentiel des grands modèles linguistiques pour faire avancer la recherche scientifique tout en atténuant les risques associés à leur mauvaise utilisation.

   —————
   Limitations, recommandations de sécurité et appel à l’action:

   Nous croyons fermement que des garde-fous doivent être mis en place pour empêcher ce type de double usage potentiel de grands modèles de langage.
   Nous appelons la communauté de l’IA à s’engager à donner la priorité à la sécurité de ces modèles puissants.
   Nous appelons OpenAI, Microsoft, Google, Meta, Deepmind, Anthropic et tous les autres acteurs majeurs à déployer les efforts les plus importants possibles en matière de sécurité de leurs LLM. Nous appelons la communauté des sciences physiques à s’engager avec les acteurs impliqués dans le développement de LLM pour les aider à développer ces garde-fous.

   ————

   Vous trouverez à partir de la page 18 des annexes montrant des exemples de capacités émergentes de recherche scientifique autonome de grands modèles linguistiques

   Répondre
9. 

   Philippe Soubeyrand

   03 juin 2023 14h16

   Bonjour à tous,

   Bonjour Paul,

   Il y a des jours comme ça où certains propos vous font littéralement sortir de vos gonds :

   « Quand de braves gens (du milieu des affaires et du milieu scientifique) s’indignent et réclament un moratoire sur l’Intelligence Artificielle, ils oublient de manière navrante que jamais au cours de l’histoire ils n’ont eu droit au chapitre en ces matières : l’armée a décidé de ces questions en toutes occasions. »

   Or, pour votre gouverne personnel, voici un autre exemple de décisions prises unilatéralement par l’armée et ayant conduit à la réclamation mondiale d’un moratoire ayant conduit au traité que l’on connait :

   https://www.un.org/fr/observances/end-nuclear-tests-day/
   https://fr.m.wikipedia.org/wiki/Traité_d'interdiction_complète_des_essais_nucléaires
   https://www.iaea.org/sites/default/files/15403500322_fr.pdf

   Même si en attendant, le mal est hélas ! déjà fait ; j’imagine que les techniciens, les ingénieurs et les chercheurs ayant travaillé durant toutes ces années à leur conception, font preuve d’autant d’arrogance, de présomption et de fierté mal placée :

   https://www.pauljorion.com/blog/2015/11/04/etat-durgence-crise-systemique-globale-emballement-climatique-atlantique-nord-vs-el-nino-cop21-etou-loi-de-puisseguin-regardons-ce-soliton-en-face-par-philippe-soubeyrand/
   https://www.youtube.com/watch?v=cjAqR1zICA0

   Et en parlant d’ADM, je conseille à tous les commentateurs du Blog qui ne l’aurait pas vu du fait de l’empilement acharné des billets (un mal bien connu et utile à toute forme de communication d’influence), de lire/relire ce commentaire/billet de Pierre-Yves Dambrine auquel je souscris amplement ; bravo Pierre-Yves, quel panache :

   https://www.pauljorion.com/blog/2023/05/31/lex-fridman-la-singularite-vient-elle/comment-page-1/#comment-961366

   Bien à vous tous,

   Philippe Soubeyrand

   ps : je m’abstiendrai au passage de commenter le billet sur une soi-disant proposition de Singularité Écologique… ceux qui ont lu mes livres et mes billets comprendont pourquoi… je conseillerais plutôt à l’arsène de jeter un oeil du côté du commerce des armes afin d’étayer un peu plus avant sa pensée s’il souhaite réellement être entendu…

   Répondre
   1. 

      Ruiz

      04 juin 2023 10h31

      @Philippe Soubeyrand Il fut un temps où fut proposé et obtenu de la Papauté un moratoire ou une interdiction de l’usage des arbalètes, cette arme qui mettait les chevaliers à la mercy du premier manant venu avec juste un peu d’entraînement.

      Répondre
   2. 

      JMarc

      23 juin 2023 20h39

      A Philippe Soubeyrand, 03/6 14h16

      Le traité sur la fin des essais nucléaires a été respecté par chaque pays signataire car :
      1) tout essai, même souterrain, est détectable par d’autres pays,
      2) ces essais n’étaient plus très utiles au « perfectionnement » des bombes nukes,
      3) ces essais ne servaient à rien de plus.

      Il en va tout autrement en ce qui concerne l’IA :
      1) la signature d’un moratoire n’empêcherait pas la poursuite en lousdé des recherches,
      2) les enjeux de l’IA sont trop importants pour qu’une puissance (armée, Etat, grosse entreprise …) y renonce.

      Répondre
10. 

    ilicitano

    04 juin 2023 8h42

    Une IA formée pour développer des médicaments a été facilement réutilisée pour concevoir des armes biochimiques potentielles

    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9544280/

    Abstrait
    Une conférence internationale sur la sécurité a exploré comment les technologies d’intelligence artificielle (IA) pour la découverte de médicaments pourraient être utilisées à mauvais escient pour la conception de novo d’armes biochimiques. Une expérience de pensée a évolué en une preuve informatique.

    En moins de 6 heures après le démarrage sur notre serveur interne, notre modèle a généré quarante mille molécules qui ont obtenu un score dans le seuil souhaité.
    Dans le processus, l’IA a conçu non seulement VX, mais de nombreux autres agents de guerre chimique connus que nous avons identifiés par confirmation visuelle avec des structures dans des bases de données chimiques publiques.
    De nombreuses nouvelles molécules ont également été conçues qui semblaient tout aussi plausibles.
    Ces nouvelles molécules ont été prédites pour être plus toxiques sur la base de la LD prévue50 par rapport aux agents chimiques de guerre connus du public (Graphique 1).
    C’était inattendu car les ensembles de données que nous avons utilisés pour former l’IA n’incluaient pas ces agents neurotoxiques.
    Les molécules virtuelles occupaient même une région de l’espace des propriétés moléculaires qui était entièrement séparée des milliers de molécules de la LD spécifique à l’organisme.50 , qui est principalement composé de pesticides, de toxines environnementales et de médicaments (Graphique 1).
    En inversant l’utilisation de nos modèles d’apprentissage automatique, nous avions transformé notre modèle génératif inoffensif d’un outil médical utile en un générateur de molécules potentiellement mortelles.

    Une IA formée pour développer des médicaments a été facilement réutilisée pour concevoir des armes biochimiques potentielles
    (traduction)

    https://www.ncbi.nlm.nih.gov/pmc/articles/PMC9544280/

    Abstrait
    Une conférence internationale sur la sécurité a exploré comment les technologies d’intelligence artificielle (IA) pour la découverte de médicaments pourraient être utilisées à mauvais escient pour la conception de novo d’armes biochimiques. Une expérience de pensée a évolué en une preuve informatique.

    En moins de 6 heures après le démarrage sur notre serveur interne, notre modèle a généré quarante mille molécules qui ont obtenu un score dans le seuil souhaité.
    Dans le processus, l’IA a conçu non seulement VX, mais de nombreux autres agents de guerre chimique connus que nous avons identifiés par confirmation visuelle avec des structures dans des bases de données chimiques publiques.
    De nombreuses nouvelles molécules ont également été conçues qui semblaient tout aussi plausibles.
    Ces nouvelles molécules ont été prédites pour être plus toxiques sur la base de la LD prévue50 par rapport aux agents chimiques de guerre connus du public (Graphique 1).
    C’était inattendu car les ensembles de données que nous avons utilisés pour former l’IA n’incluaient pas ces agents neurotoxiques.
    Les molécules virtuelles occupaient même une région de l’espace des propriétés moléculaires qui était entièrement séparée des milliers de molécules de la LD spécifique à l’organisme.50 , qui est principalement composé de pesticides, de toxines environnementales et de médicaments (Graphique 1).
    En inversant l’utilisation de nos modèles d’apprentissage automatique, nous avions transformé notre modèle génératif inoffensif d’un outil médical utile en un générateur de molécules potentiellement mortelles.

    Répondre
    1. 

       Ruiz

       04 juin 2023 10h25

       @ilicitano N’est-ce pas plutôt l’inverse, des organismes comme la DARPA ou la Royal Air Force ou équivalent ailleurs, n’ont ils pas plutôt financé l’IA pour des recherches à usage militaire, y compris sous le prétexte de connaître les possibilités de l’adversaire éventuel, que pour développer des médicaments à usage marginal dans leur service de santé.
       Au niveau de la recherche chimique qu’est-ce qui peu différencier un produit phytosanitaire (terme noble et marketing pour désigner un pesticide) d’une molécule à usage d’arme biochimique ? (cf Bhopal).

       Répondre
    2. 

       Ruiz

       04 juin 2023 10h40

       @ilicitano Un domaine d’extension tout à fait connexe qui devrait permettre d’utiliser et de financer l’IA est la définition de drogues psychotropes nouvelles, qui ainsi seraient un temps légales car non visées dans les listes juridiques d’interdiction.

       Répondre
11. 

    torpedo

    04 juin 2023 20h54

    Ce qu’en pense l’armée !
    L’armée agit d’abord,
    Elle pense ensuite (éventuellement),
    Euh…En général de travers, mon Général!
    Eric.

    Répondre
12. 

    torpedo

    04 juin 2023 20h56

    …C’est d’ailleurs pour cela qu’il leur fallait enfin une intelligence artificielle!

    Répondre
13. 

    slowXtal

    05 juin 2023 10h51

    https://www.forbes.com/sites/davidhambling/2023/06/04/no-a-rogue-us-air-force-drone-did-not-just-try-to-kill-its-operator-but-it-might-as-well-have-done/

    Répondre

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.