Retour au fond du garage !

Il y a un peu plus d’un mois : à la Saint-Sylvestre, je lançais ici un appel aux investisseurs : « Quel est le pire moment de l’année pour lancer un appel de fonds ? » où j’expliquais que PRIBOR avait atteint la limite de ce que l’on peut faire au fond d’un garage et en puisant dans ses économies : pour produire un prototype convaincant, il fallait plus en termes d’équipe et de moyens financiers. D’où mon appel.

Or, depuis, il s’est passé des choses. Le 2 décembre, je testais ici DeepSeek-V3, sur ses capacités de raisonnement et je luis accordais un « Passe le test 😀 . » Il y a 6 jours, le 29 janvier je déclarais ici : « DeepSeek est l’occasion que Pribor ™ attendait », expliquant :

Jusqu’à la commotion des jours derniers, le récit qui s’était imposé était que toute nouvelle initiative en Intelligence Artificielle (IA) requérait des mises de fonds chiffrables en milliards de dollars ou d’euros. L’entreprise DeepSeek qui – avec des moyens beaucoup plus modestes – égale, voire surpasse, avec son Grand Modèle de Langage (LLM) les IA américaines a changé la donne.

Les initiatives modestes mais véritablement innovantes comme Pribor ™ ont retrouvé toutes leurs chances !

Beaucoup plus récemment, encore : avant-hier 2 février, je testais ici, sur leur capacité à programmer en Python, DeepSeek-R1, sorti le 20 janvier et l’Américain ChatGPT o3-mini-high paru le 31 janvier. Mon billet s’intitulait : « Les IA rédigeant du code (le septième ciel du programmeur 😃 !) ». Pour dire les choses de manière moins mythologique, et dans les termes de mon collaborateur : « Ce que je faisais en un mois, je le fais maintenant en 2 jours ! ».

Bien sûr, il faut quand même être programmeur, et pas le dernier de la classe. Mais le fait est là : il est désormais possible, grâce à la capacité de programmation des derniers modèles, de retourner au fond du garage, et de produire là un prototype convaincant en une affaire de semaines, sinon même de jours.

(à suivre …)

Partager :

5 réponses à “Retour au fond du garage !

  1. Avatar de ThomBillabong
    ThomBillabong

    Trop bien ! Hâte de voir cela. C’est vous qui avez raison. Et les planètes semblent s’aligner pour vous. Je m’en réjouis.

  2. Avatar de Hervey

    Ici, sur le blog PJ, malgré les wagons de critiques, on a toujours le sourire !
    Et ce jour plus qu’un autre … avec cette annonce.
    Bravo à vous et votre équipe !

  3. Avatar de BasicRabbit en autopsy
    BasicRabbit en autopsy

    Pourvu que ce ne soit pas une voie de garage…

    Thom : « La voix de la réalité est dans le sens du symbole »

    Je me suis demandé -et je me demande encore- si ce n’est pas aussi :

    « La voie de la réalité est dans le sens du symbole. »

    Question de sens, de sémantique.

    Et là, je ne cache pas que je suis sceptique sur la voie choisie par PJ.

    Ma position est qu’il faut « marier » l’IA top-down (pour moi masculine) et l’IA bottom-up (pour moi féminine), le rôle principal étant joué par l’IA bottom-up car c’est elle qui donne est censée donner le sens.

    Il s’agit d’un question de don et de contre-don, donc, pour moi, de rapport entre les catastrophes thomiennes ombilic elliptique, ombilic hyperbolique et ombilic parabolique (la plus compliquée, celle qui, seule à mon avis, permet de réaliser le « mariage » don/contre-don.

    1. Avatar de BasicRabbit en autopsy
      BasicRabbit en autopsy

      (complément)

      Le rôle principal est joué par l’IA bottom-up car c’est elle qui est censée donner le sens.

      Pourquoi est-ce elle qui est censée donner le sens ?

      Ma réponse est ici : https://www.pauljorion.com/blog/2025/02/02/le-fascisme-aux-etats-unis-en-ont-ils-vraiment-les-moyens/comment-page-1/#comment-1050969

  4. Avatar de ilicitano
    ilicitano

    Info aux experts en IA du blog pour travailler au fond du garage

    OPEN-R1 : Hugging-Face

    Hugging Face lance un clone ouvert du modèle DeepSeek-R1

    Hugging Face a décidé de relever le défi de reproduire le modèle de raisonnement avancé DeepSeek-R1, une initiative qui promet de bouleverser la façon dont les outils d’IA sont développés et partagés avec la communauté mondiale.
    Ce projet, baptisé Open-R1, vise non seulement à reproduire les capacités du modèle original, mais aussi à le faire de manière transparente et conformément aux principes de l’open source.

    Le modèle DeepSeek-R1, développé par une entreprise chinoise, a suscité une grande anticipation dans le domaine technologique en raison de la complexité de ses algorithmes d’apprentissage par renforcement.
    Cependant, ce modèle présente plusieurs freins en termes de transparence, comme le manque de données ouvertes et de précisions sur sa formation.
    Face à cette situation, Hugging Face s’engage pour une alternative ouverte qui permet aux chercheurs et aux développeurs de travailler dans un environnement collaboratif.

    https://github.com/huggingface/open-r1

    Aperçu
    L’objectif de ce dépôt est de construire les pièces manquantes du pipeline R1 afin que tout le monde puisse reproduire et construire par-dessus.
    Le projet est simple de par sa conception et se compose principalement de :

    #src/open_r1: contient les scripts pour entraîner et évaluer les modèles ainsi que pour générer des données synthétiques :
    * grpo.py: entraîne un modèle avec GRPO sur un jeu de données donné.
    * sft.py: effectue un SFT simple d’un modèle sur un jeu de données.
    * evaluate.py: évalue un modèle sur les benchmarks R1.
    * generate.py: génère des données synthétiques à partir d’un modèle à l’aide de Distilabel.
    # nMakefile: contient des commandes faciles à exécuter pour chaque étape du pipeline R1 en exploitant les scripts ci-dessus.
    Plan d’attaque

    Nous utiliserons le rapport technique DeepSeek-R1 comme guide, qui peut être grossièrement décomposé en trois étapes principales :

    Étape 1 :
    répliquer les modèles R1-Distill en distillant un corpus de haute qualité à partir de DeepSeek-R1.
    Étape 2 :
    répliquer le pipeline RL pur que DeepSeek a utilisé pour créer R1-Zero. Cela impliquera probablement la conservation de nouveaux ensembles de données à grande échelle pour les mathématiques, le raisonnement et le code.
    Étape 3 :
    montrer que nous pouvons passer du modèle de base à la mise au point RL via un entraînement en plusieurs étapes.

    etc, etc, etc,…………….

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. Info aux experts en IA du blog pour travailler au fond du garage OPEN-R1 : Hugging-Face Hugging Face lance un…

  2. (complément) Le rôle principal est joué par l’IA bottom-up car c’est elle qui est censée donner le sens. Pourquoi est-ce…

  3. Pourvu que ce ne soit pas une voie de garage… Thom : « La voix de la réalité est dans le…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta