Questions de sécurité en Intelligence artificielle

18 mai 2024 10h44

Comme plusieurs d’entre vous, je vais me balader un peu sur les routes durant la dizaine de jours qui viennent. Bien entendu, je ne me désintéresse pas pour autant de l’actualité quand je suis au volant et je vais m’abreuver en particulier dans les 48 heures qui viennent des podcasts du New York Times. Je vais tirer parti néanmoins du fait que certaines personnes pensent sur certains sujets à peu de choses près la même chose que moi, comme c’est le cas ici.

Grands Modèles de Langage, Intelligence Artificielle

Effective altruism, Ilya Sutskever, intelligence artificielle, Sam Altman, Wes Roth

21 réponses à “Questions de sécurité en Intelligence artificielle”

aslan

18 mai 2024 11h56

On peut lier vos deux derniers thémes: il se pourrait que la prochaine campagne américaine participe au débat si le prochain Cambridge Analytica exploite les avancées en IA. Probable bien que le manque de thunes de la campagne Trump soit un frein.

Dans le contexte et au-delà, le débat sur l’open sourcing de l’IA prend des tours semblables à ceux que prenait le débat autour de WikiLeak qu’exploitaient les avocats de l’obfuscation:

L’entraînement d’un gros LLM nécessitant beaucoup de ressources, il est à priori inaccessible à des acteurs mal contrôlés par les pouvoirs publics. L’inférence, le réglage fin, l’exploitation du modèle en nécessite moins.

La tactique gagnante d’un acteur contrôlé voulant, de gré ou de force, servir des usages incontrôlés dans l’espace législatif actuel peut passer par la mise à disposition open source, qui permet une isolation entre la livraison et l’usage.

Elon ? Stop playing with that Vladimir kid out there, I don’t like him !

Répondre
aslan

18 mai 2024 12h06

Rappel: Musk à livré en open source son dernier modèle de LLM, Grok.

Répondre
1. Garorock
  
  20 mai 2024 0h42
  
  Gare au Grok!
  
  Répondre
Pad

18 mai 2024 13h16

Départs des employés clés : OpenAI, dirigée par Sam Altman, a récemment vu le départ de plusieurs de ses employés les plus soucieux de la sécurité, notamment Ilya Sutskever et Jan Leike, leaders de l’équipe de superalignement.

Perte de confiance en la direction : Les employés qui ont quitté l’entreprise ont exprimé une perte de confiance en la direction, particulièrement en Sam Altman, le PDG. Ils estiment qu’Altman n’est pas transparent et priorise la commercialisation rapide des produits au détriment de la sécurité.

Conflit interne et tentatives de licenciement : En novembre dernier, il y a eu une tentative de la part du conseil d’administration de licencier Altman, mais cela a échoué et a renforcé sa position. Cette tentative a créé des tensions internes et a mis en évidence des divergences profondes au sein de l’entreprise.

Accords de départ restrictifs : Beaucoup d’employés hésitent à parler publiquement de leurs expériences à OpenAI en raison des accords de départ avec des clauses de non-dénigrement. Ceux qui refusent de signer ces accords risquent de perdre leur part dans l’entreprise.

Critiques sur la gestion de la sécurité : Les départs ont révélé des préoccupations sur la gestion de la sécurité à OpenAI. Les employés démissionnaires ont indiqué que l’entreprise ne disposait pas des ressources nécessaires pour garantir que les futurs systèmes d’IA, en particulier l’intelligence artificielle générale (AGI), seraient développés de manière sûre.

Futur incertain pour la sécurité : Avec le départ de nombreux membres de l’équipe de superalignement, des doutes subsistent quant à la capacité d’OpenAI à maintenir un focus suffisant sur la sécurité à l’avenir. L’équipe restante est désormais dirigée par John Schulman, qui a déjà des responsabilités importantes.

Le document décrit une situation de crise de confiance au sein d’OpenAI, alimentée par des divergences sur les priorités de l’entreprise entre la commercialisation rapide et les préoccupations de sécurité à long terme. Les départs successifs des employés soucieux de la sécurité posent des questions sur la capacité de l’entreprise à gérer les risques associés à l’IA avancée.

Répondre
1. Pad
  
  18 mai 2024 13h28
  
  Liste des valeurs de p(doom)
  
  p(doom) est la probabilité de très mauvais résultats (par exemple, l’extinction de l’humanité) en raison de l’IA. Cela fait le plus souvent référence à la probabilité que l’IA prenne le contrôle de l’humanité, mais différents scénarios peuvent également constituer un « doom ». Par exemple, une grande partie de la population mourant à cause d’une nouvelle arme biologique créée par l’IA, un effondrement social dû à une cyberattaque à grande échelle, ou l’IA provoquant une guerre nucléaire. Notez que tout le monde n’utilise pas la même définition lorsqu’il parle de leurs valeurs p(doom). Plus notablement, l’horizon temporel n’est souvent pas spécifié, ce qui rend les comparaisons un peu difficiles.
  
  80%
  Dan Hendrycks
  chef du Center for AI Safety
  
  >99%
  Eliezer Yudkowsky
  fondateur de MIRI
  
  99,999999%
  Roman Yampolskiy
  scientifique en sécurité de l’IA
  
  Répondre
  1. Pad
    
    18 mai 2024 13h30
    
    <0.01%
    Yann LeCun
    one of three godfathers of AI, works at Meta
    
    (less likely than an asteroid)
    10%
    Vitalik Buterin
    Ethereum founder
    
    10%
    Geoff Hinton
    one of three godfathers of AI
    
    (wipe out humanity in the next 20 years)
    9-19.4%
    Machine learning researchers
    
    (From 2023, depending on the question design, median values: 5-10%)
    15%
    Lina Khan
    head of FTC
    
    10-20%
    Elon Musk
    CEO of Tesla, SpaceX, X
    
    10-25%
    Dario Amodei
    CEO of Anthropic
    
    20%
    Yoshua Bengio
    one of three godfathers of AI
    
    5-50%
    Emmett Shear
    Co-founder of Twitch, former interim CEO of OpenAI
    
    30%
    AI Safety Researchers
    
    (Mean from 44 AI safety researchers in 2021)
    33%
    Scott Alexander
    Popular Internet blogger at Astral Codex Ten
    
    35%
    Eli Lifland
    Top competitive forecaster
    
    40%
    AI engineer
    
    (Estimate mean value, survey methodology may be flawed)
    40%
    Joep Meindertsma
    Founder of PauseAI
    
    (The remaining 60% consists largely of "we can pause".)
    46%
    Paul Christiano
    former alignment lead at OpenAI, founder of ARC
    
    50%
    Holden Karnofsky
    Executive Director of Open Philanthropy
    
    10-90%
    Jan Leike
    Former alignment lead at OpenAI
    
    60%
    Zvi Mowshowitz
    AI researcher
    
    70%
    Daniel Kokotajlo
    Forecaster & former OpenAI researcher
    
    Répondre
Paul Jorion

18 mai 2024 18h13

Tiens ! ça me fait penser que le schtroumpf à lunettes n’est pas déjà là pour me dire que si je sors de chez moi je vais produire du CO₂ en quantités astronomiques. Il a dû comprendre que je suis si bon élève que j’ai droit à un petit tour !

Répondre
Khanard

18 mai 2024 18h45

pour trouver une occupation au schtroumpf à lunette demandons lui plutôt de s’intéresser au parcours de la flamme olympique 😉

je vous souhaite un bon périple !

Répondre
arkao

18 mai 2024 20h54

Paul on the road again 😉
https://youtu.be/Gdlyi5mckg0?t=20

Répondre
1. Paul Jorion
  
  18 mai 2024 22h12
  
  Répondre
Henri

18 mai 2024 23h39

Article HuffPost :

» Nouvelle-Calédonie : la flamme olympique ne passera finalement pas par l’archipel, confirme Amélie Oudéa Castera »

https://www.huffingtonpost.fr/jo-paris-2024/article/nouvelle-caledonie-la-flamme-olympique-ne-passera-finalement-pas-par-l-archipel-annonce-amelie-oudea-castera_234128.html

Spécialiste de droit constitutionnel et professeur de droit public à l’université de Lille, Jean-Philippe Derosier / Nouvelle Calédonie :

https://www.lesechos.fr/politique-societe/politique/nouvelle-caledonie-pour-les-independantistes-il-est-important-de-ne-pas-perdre-la-face-2095259

Répondre
Chabian

19 mai 2024 15h13

Surveillez d’un oeil la route et la météo (même si l’oreille est ailleurs) !
Il y a eu des inondations soudaines vendredi (Nord de Liège, Brabant wallon…), samedi (Charleroi), et des grains d’orage sont attendus encore, surtout mardi et vendredi. Et aussi des effondrements de route.
A propos d’effondrement climatique, cette phrase un peu sibylline d’un météomachin sur Rtbf : « Notons que le mois de mai, est le huitième mois consécutif où la normale climatique pluviométrique sera plus élevée ».
(Je serai dans le sud, en avion, j’avoue).

Répondre
1. Garorock
  
  21 mai 2024 1h52
  
  C’est le genre de faute, Chabian, qui même si elle est avouée, aujourd’hui ne peut plus être pardonnée! Comme la main du zouave de la rue Soufflot dans la culotte de ma petite soeur!
  Vous recevrez donc d’ici peu une amende de la part du gouvernement imaginaire éco-communiste en exil pour « pollution agravée nuisant à l’avenir des enfants et des bonobos » de 50 euros. Vous serez dans l’obligation de régler cette somme le jour où nous serons au pouvoir.
  En attendant vous perdez deux points sur votre Pass Sani-terre!
  Vous ne pouvez pas porter réclamation: nous n’existons pas.
  Mais vous pouvez faire un don (nous acceptons l’argent des assurances-vie). Nous vous enverrons notre IBAN par e-mail ( nos amis d’anonymous ont déja identifié votre adresse IP)
  Qu’on ne vous y reprenne pas!
  ( ce message s’autodétruira dans les cinq secondes…)
  
  Répondre
  1. Khanard
    
    21 mai 2024 8h56
    
    @Garorock
    
    que voulez vous c’est insurmontable d’essayer de vouloir faire correspondre son discours avec nos pensées aussi louables soient elles ! C’est là que commence l’hypocrisie .
    
    Répondre
    1. Khanard
      
      21 mai 2024 8h57
      
      lisez actes en lieu et place de pensées
      
      Répondre
Garorock

19 mai 2024 22h13

Des nouvelles de la mascotte de ce blog: L Alexandre.
https://youtu.be/O5qF-pSv484?si=qaizg5W_0OeTyt3H
Laurent et Sam: même combat?
😎

Répondre
1. un lecteur
  
  20 mai 2024 12h18
  
  L. Alexandre, commentateur d’un futur qui l’a déjà naturalisé dans son musée des impasses de l’évolution.
  Les bourgeois ont les clowns des « débats » du Figaro pour alimenter leurs dîners entre amis, comme le peuple se coltine les influenceurs du ballon rond, des spectacles immuables pour sacraliser la léthargie devant l’imminence de bouleversement irréversibles.
  Virez-moi ces crétins et expliquez-nous comment la technologie (la nature synthétique) peut nous grandir, plutôt que de nous étouffer dans ces mouvements aseptisés aux transgressions codifiées pour émoustiller la libido.
  
  Répondre
  1. Grand-mère Michelle
    
    21 mai 2024 14h50
    
    Voyez l’avertissement de Chabian (le 19 mai à 13h15) à propos des inondations en belgique.
    Grâce à la technologie de la radio (en Fréquence Modulée) (accessible gratuitement à tout qui est raccordé à l’électricité et possède un vieux « poste », ou un « poste à transistors » mobile), aujourd’hui, à chaque heure d’info, la RTBF dispense des conseils de précautions, de prévention des dangers de dégâts possibles, dans les régions concernées, de plus en plus précisées(oui, merci les satellites météo, une des rares réalisations de la « conquête spatiale » réellement utiles).
    Ces conseils précieux étaient possibles depuis très longtemps, bien avant l’avènement du « numérique », mais ce n’est qu’à présent que notre service public, « boosté » par la concurrence qui vise à l’anéantir, essaie de remplir son rôle…
    
    Comme quoi « la technologie » n’est ni bonne ni mauvaise… Mais ce sont peut-être les dégâts (actuels ou annoncés) qu’elle cause qui réussit à nous faire « grandir »…
    Prendre conscience de la nécessité de défendre nos services publics est sans doute une manière de grandir…
    
    Répondre
Ruiz

19 mai 2024 23h35

Etats-Uniens et Chinois se rencontrent en Suisse pour deviser de la sécurité des IA

https://www.theregister.com/2024/05/13/us_china_ai/

Les commentaires egalement sont intéressants quant à l’aspect énergétique d’une IAG.
https://forums.theregister.com/forum/all/2024/05/13/us_china_ai/

Répondre
1. Grand-mère Michelle
  
  20 mai 2024 13h07
  
  « …pour deviser de la sécurité des IA. »
  
  Euh… de quelle « sécurité » est-il question ici, dans ces pages? Et dans ces débats USA-Chine?
  S’agit-il de la même notion de « sécurité »: la leur (celle des IA, ou de ceux qui devisent)? ou la nôtre(celle des citoyen-ne-s de n’importe quel pays)?
  
  Sorry, si je suis (moyennement) capable de m’exprimer (lire et ecrire) en anglais, je ne me sens pas apte à le comprendre…
  
  Répondre
vincent rey

21 mai 2024 18h20

Je me souviens d’avoir parlé « risque » à Blois à JEAN-FRANCOIS CLERVOY, qui était venu participer à une discussion après la projection d’un film sur l’espace. Ma question portait sur le risque que lui-même jugerait acceptable pour aller sur Mars. JF Clervoy a volé 3 fois dans la navette spatiale, c’est donc quelqu’un qui s’est « frotté » aux risques et qui sait donc de quoi il parle.

J’ai compris dans sa réponse qu’il serait prêt à risquer autant que les astronautes d’Apollo pour aller sur Mars, soit environ 50% de risque en cas de problème. C’est un niveau extrêmement élevé, mais bon c’est le prix de la gloire. Avec la navette spatiale, le risque était bien moindre (1 à 2%), mais les vols étant beaucoup plus nombreux, il y a eu 2 accidents et 14 morts en tout dans les accidents de Challenger, puis Columbia

Le programme de la navette spatiale a été arrêté à 2% de risque, même si on peut penser que le risque n’était pas le seul critère pris en compte…

Alors quel rapport avec l’Intelligence Artificielle Générale me direz-vous ?

Cette vidéo de Wes Roth (également très informé) montre qu’une majorité de savants, TOUS TRES IMPLIQUES en Intelligence Artificielle, connaissant donc TOUS TRES BIEN LEUR SUJET, évoquent des risques D’EXTINCTION DE L’HUMANITE (ça fait un peu plus que quelques astronautes..) SUPERIEURS A 10% un nombre non négligeable d’entre eux donnant même un chiffre supérieur à 70% !!

On marche sur la tête là ou quoi ??? Un hard switch sur l’Intelligence Artificielle Générale !!! et vite !!! on est des « petites bites » si on s’effraie de 10% de risque d’extinction de l’Humanité ? Elon Musk a l’air d’être le seul à avoir les pieds sur terre…MORATOIRE ET HARD SWITCH, DES QUE POSSIBLE, en attendant d’en faire un bien commun pour toute l’Humanité, une fois toutes les garanties de sécurité remplies !!

Il est aussi TOTALEMENT INACCEPTABLE et DINGUE de laisser les options de sécurité DANS LES MAINS D’UN FOU (Sam Altman, CEO de OpenAI dont on sait qu’il s’est construit un Bunker dans son ranch, persuadé qu’il est -ou dejà résigné – que la fin du monde est inévitable)

M Macron M Attal un commentaire ? ou on attend le crash ? Et au passage, prenez deux heures pour regarder le film Terminator, et vous saurez ce qui nous attend si on perd le contrôle de ce truc là !

https://www.findutravail.net/index.html#openAI

Sur le Bunker d’Altman, cet article de Vanity Fair :
https://www.vanityfair.fr/article/qui-est-sam-altman-lhomme-qui-tient-lavenir-de-lhumanite-entre-ses-mains

Répondre