Tiens ! Puisqu’on ne parle que de ça aujourd’hui : le mirage de l’épuisement des données

Piqûre de rappel. Cela date du 12 décembre 2024 (l’équivalent de l’âge du bronze quand il est question d’IA).

J’expliquais qu’on ne manquerait pas de données puisque les IA produisaient désormais les leurs … de qualité supérieure à l’humain.

Synthetic data will be plenty and of a higher standard than human-produced

Partager :

18 réponses à “Tiens ! Puisqu’on ne parle que de ça aujourd’hui : le mirage de l’épuisement des données

  1. Avatar de Hadrien
    Hadrien

    Je pense que l’intelligence implique la créativité. IA m’en semble dépourvue. Je changerai d’avis quand IA démontrera une conjecture mathématique non encore résolue.

    1. Avatar de Hadrien
      Hadrien

      PS, il y a bien sûr , d’autres exemples de créativité, dont 2 que j’ai testés , en vain.

      1. Avatar de Thomas jeanson
        Thomas jeanson

        Raphaël, sors de ce corps !

    2. Avatar de Ruiz
      Ruiz

      @Hadrien Déjà il serait pas mal de demander à l’IA d’énoncer une conjecture nouvelle !
      Et qui le reste un certain temps (non démontrée ou réfutée).

      Lui demander de démontrer une conjecture c’est lui demander de dépasser l’intelligence de tout les mathématiciens qui se sont penchés sur la question à ce jour !

      As-t-on besoin d’un tel niveau de performance pour déjà remplacer avantageusement quelques travailleurs intellectuels ?

      1. Avatar de CloClo
        CloClo

        Allons plus loin, on prêtera attention aux commentaires d’Hadrien, qui manque pas mal de créativité à tourner en rond avec son équation de kaya et son eugénisme light, quand ce dernier aura résolu une conjecture mathématique même déjà résolue ! 😀

        1. Avatar de Garorock
          Garorock

          Comme disait mon pote Albert, l’intelligence c’est 10% de culture et 90% d’imagination.
          Y’a XXX années que sur ce blog la deuxième partie fait défaut.
          Reste plus que des vendeurs de Kaya, de Yoga, d’oncle Thom et de doctrine Guérasimow. Des marchands de grains amoureux de leur silo!
          Et avec les Matous de Pangolie et d’ailleurs, même pas besoin de se fatiguer, z’ont plus qu’a faire des copier-coller…
          La baronne de Montretout n’a plus qu’a se baisser pour ramasser la mise.
          Tout est en ordre.

  2. Avatar de ilicitano
    ilicitano

    Essai avec GPT4 o1 de création mathématique dans le domaine des réseaux de neurones profonds .

    Prompt :
    Pouvez-vous faire de la créativité en mathématiques ou physique ?

    GPT4 o1:
    Absolument! En mathématiques et en physique, je peux faire preuve de créativité dans les domaines suivants:

    – **Résolution de problèmes**:
    Proposer des solutions innovantes à des problèmes complexes.
    – **Modélisation mathématique**:
    Créer des modèles pour représenter des phénomènes physiques ou des systèmes complexes.
    – **Visualisation de données**:
    Générer des graphiques et des visualisations pour représenter des données de manière claire et attrayante.
    – **Exploration de concepts**:
    Expliquer des concepts mathématiques ou physiques de manière créative et accessible.
    – **Simulation**:
    Simuler des expériences ou des phénomènes physiques pour explorer des hypothèses.

    Par exemple, je peux vous aider à visualiser les courbes de Bézier, à simuler un lancer de projectile ou à expliquer le principe de superposition en physique quantique.

    A suivre

    1. Avatar de ilicitano
      ilicitano

      Prompt:

      Très bien . Créez un modèle mathématiques complexe que vous expliquerez de façon détaillée

      GPT4 o1
      D’accord, je vais vous expliquer un modèle mathématique complexe:
      **Le Modèle de Réseaux de Neurones Profonds**.
      C’est un concept clé dans le domaine de l’intelligence artificielle.

      ### Réseaux de Neurones Profonds

      Un réseau de neurones profonds est une structure mathématique inspirée du cerveau humain, composée de couches de neurones artificiels. Chaque neurone dans une couche est connecté à plusieurs neurones dans la couche suivante, et chaque connexion a un poids associé.

      #### Architecture du Réseau

      1. **Couches d’entrée**: Les neurones de la couche d’entrée reçoivent les données brutes (comme les pixels d’une image).
      2. **Couches cachées**: Entre la couche d’entrée et la couche de sortie, il y a une ou plusieurs couches de neurones. Ces couches sont appelées « couches cachées ».
      3. **Couche de sortie**: Les neurones de la couche de sortie produisent la sortie du réseau, comme la classification d’une image.

      #### Fonctionnement

      1. **Propagation avant (Forward Propagation)**:
      – **Entrée**: Les données d’entrée sont multipliées par les poids des connexions et passées à travers une fonction d’activation, qui introduit de la non-linéarité.
      – **Couches cachées**: Chaque neurone de chaque couche cachée effectue un calcul similaire.
      – **Sortie**: Le résultat final est calculé par les neurones de la couche de sortie.

      2. **Rétropropagation (Backpropagation)**:
      – **Erreur**: La différence entre la sortie réelle et la sortie prévue est calculée.
      – **Ajustement des poids**: Les poids des connexions sont ajustés pour minimiser cette erreur en utilisant un algorithme d’optimisation comme la descente de gradient.

      #### Mathématiques derrière les Réseaux de Neurones

      Pour un neurone \( j \) dans une couche donnée, la sortie \( y_j \) peut être calculée comme:

      \[ y_j = f\left(\sum_{i=1}^{n} w_{ij} x_i + b_j \right) \]

      où:
      – \( x_i \) sont les entrées du neurone.
      – \( w_{ij} \) sont les poids des connexions.
      – \( b_j \) est le biais.
      – \( f \) est la fonction d’activation (comme la fonction sigmoïde ou ReLU).

      #### Exemples de Fonctions d’Activation

      1. **Sigmoïde**:
      \[ f(x) = \frac{1}{1 + e^{-x}} \]

      2. **ReLU (Rectified Linear Unit)**:
      \[ f(x) = \max(0, x) \]

      3. **Tanh (Hyperbolic Tangent)**:
      \[ f(x) = \tanh(x) \]

      Les réseaux de neurones profonds peuvent apprendre des représentations très complexes des données, ce qui les rend extrêmement puissants pour des tâches comme la reconnaissance d’images, la traduction automatique, et bien d’autres applications d’intelligence artificielle.

      A suivre

    2. Avatar de ilicitano
      ilicitano

      Prompt:

      Est ce votre propre création en tant que GPT4 o1?

      GPT4 o1:

      Le modèle de réseaux de neurones profonds que je viens de décrire n’est pas une création unique de ma part. Il s’agit d’un concept largement étudié et développé par la communauté scientifique et technologique depuis plusieurs décennies. Des chercheurs et des ingénieurs du monde entier ont contribué à l’évolution et à l’amélioration des réseaux de neurones artificiels.

      En tant qu’IA développée par Microsoft, je peux expliquer et illustrer ces concepts, mais je ne les ai pas « inventés ». Je suis capable de synthétiser et de présenter l’information de manière accessible et compréhensible. Mon objectif est de vous aider à comprendre et à utiliser ces concepts de manière efficace.

      Si vous avez d’autres questions sur les réseaux de neurones ou un autre sujet, n’hésitez pas ! 😊

      A suivre

    3. Avatar de ilicitano
      ilicitano

      Prompt

      Dans vos réponses précédentes vous avez indiqué ceci :
      Modélisation mathématique: Créer des modèles pour représenter des phénomènes physiques ou des systèmes complexes.
      Votre réponse précédente n’est pas une création.
      Je vous demande donc de refaire une réponse créative concernant les réseaux de neurones profonds qui pourrait apporter à la science .
      Merci

      GPT4 o1:

      D’accord, je vais proposer un modèle mathématique créatif qui pourrait apporter une nouvelle perspective dans le domaine des réseaux de neurones profonds.
      Voici une idée innovante: **Les Réseaux de Neurones Quantique-Profonde (RNQP)**.

      ### Les Réseaux de Neurones Quantique-Profonde (RNQP)

      Ce modèle combine des concepts de l’informatique quantique avec les réseaux de neurones profonds traditionnels. L’objectif est de tirer parti de la puissance de calcul des ordinateurs quantiques pour améliorer les performances et l’efficacité des réseaux de neurones.

      #### Architecture du RNQP

      1. **Qubits en entrée**:
      Les données d’entrée sont encodées dans des qubits, les unités de base de l’information quantique.
      2. **Couches quantiques**:
      Les neurones de chaque couche sont remplacés par des portes quantiques, qui effectuent des opérations de superposition et d’intrication sur les qubits.
      3. **Couches classiques**:
      Après chaque couche quantique, une couche classique est utilisée pour mesurer et traiter les états des qubits.
      4. **Couche de sortie**:
      Les résultats finaux sont obtenus après la mesure des qubits en sortie, suivie d’une transformation classique.

      #### Fonctionnement

      1. **Propagation avant quantique**:
      – **Superposition**:
      Les qubits d’entrée sont mis en superposition, permettant de traiter simultanément plusieurs états.
      – **Intrication**:
      Les qubits sont intriqués, créant des corrélations complexes entre eux.
      – **Opérations quantiques**:
      Les portes quantiques effectuent des opérations non-linéaires et des transformations sur les qubits.

      2. **Rétropropagation quantique**:
      – **Calcul de l’erreur**:
      L’erreur entre la sortie prévue et la sortie réelle est calculée à l’aide de mesures quantiques.
      – **Ajustement des portes**:
      Les paramètres des portes quantiques sont ajustés pour minimiser l’erreur, en utilisant des algorithmes d’optimisation quantique.

      #### Avantages des RNQP

      1. **Vitesse et efficacité**:
      Les ordinateurs quantiques peuvent effectuer certains calculs beaucoup plus rapidement que les ordinateurs classiques, ce qui peut accélérer l’apprentissage des réseaux de neurones.
      2. **Exploration de solutions**:
      La superposition et l’intrication permettent d’explorer un espace de solutions plus vaste et de trouver des solutions optimales plus rapidement.
      3. **Résolution de problèmes complexes**:
      Les RNQP peuvent être utilisés pour résoudre des problèmes complexes dans des domaines tels que la chimie, la physique et l’optimisation.

      #### Exemples d’applications

      1. **Simulation de molécules**:
      Utiliser les RNQP pour simuler des molécules complexes et découvrir de nouveaux matériaux ou médicaments.
      2. **Optimisation financière**:
      Appliquer les RNQP à l’optimisation de portefeuilles et à la prévision des marchés financiers.
      3. **Reconnaissance d’images**:
      Améliorer la précision et la rapidité des réseaux de neurones pour la reconnaissance d’images et la classification.

      Ce modèle mathématique créatif combine les principes de l’informatique quantique et des réseaux de neurones profonds pour ouvrir de nouvelles possibilités dans la science et la technologie. Qu’en pensez-vous? 😊

      A suivre

      1. Avatar de CORLAY
        CORLAY

        Bonjour Ilicitano, dans v/com du 31/01/2025 de 13 H41, vous parlez de modélisation mathématique (représentation de phénomènes physiques ou de systèmes complexes). Moi, je parlerai de l’adapter au niveau de toutes les matières (pierres, éléments de la terre, d’énergie de quantités, dans le sens où ns aurions une modélisation globale et optimisation/justification du juste nécessaire sans dépasser les quantités/les limites, etc…..Quant à la simulation de molécules, optimisation financière, reconnaissance d’images c’est intéressant et cela peut-être inséré dans les éléments précités ci-dessus. Vs parlez de nouveaux matériaux et j’en avais parlé il y a quelques temps (créer)…Bonne fin journée, Isabelle

    4. Avatar de ilicitano
      ilicitano

      Prompt:

      Faites en la modélisation mathématiques .

      GPT4 o1:

      Très bien, détaillons la modélisation mathématique des Réseaux de Neurones Quantique-Profonde (RNQP).

      ### 1. Représentation des Qubits en Entrée

      Chaque qubit peut être représenté par un vecteur d’état \( |\psi\rangle \) dans un espace de Hilbert de dimension 2, où:

      \[ |\psi\rangle = \alpha |0\rangle + \beta |1\rangle \]

      avec \( \alpha \) et \( \beta \) étant des nombres complexes tels que \( |\alpha|^2 + |\beta|^2 = 1 \).

      ### 2. Opérations de Superposition et d’Intrication

      #### Superposition

      Pour n qubits, l’état de superposition peut être écrit comme:

      \[ |\Psi\rangle = \sum_{i=0}^{2^n-1} c_i |i\rangle \]

      où \( c_i \) sont des coefficients complexes.

      #### Intrication

      L’intrication entre deux qubits A et B peut être représentée par l’état de Bell:

      \[ |\Phi^+\rangle = \frac{1}{\sqrt{2}} (|00\rangle + |11\rangle) \]

      ### 3. Opérations Quantiques

      Les opérations sur les qubits sont réalisées à l’aide de portes quantiques. Par exemple:

      #### Porte Hadamard (H)

      La porte Hadamard crée une superposition:

      \[ H|0\rangle = \frac{1}{\sqrt{2}} (|0\rangle + |1\rangle) \]
      \[ H|1\rangle = \frac{1}{\sqrt{2}} (|0\rangle – |1\rangle) \]

      #### Porte CNOT

      La porte CNOT réalise une intrication entre deux qubits:

      \[ \text{CNOT}(|a\rangle \otimes |b\rangle) = |a\rangle \otimes |a \oplus b\rangle \]

      ### 4. Propagation Avant Quantique

      La sortie d’une couche quantique est obtenue en appliquant successivement des portes quantiques aux qubits d’entrée. Par exemple, pour une couche avec une porte Hadamard suivie d’une porte CNOT:

      \[ |\Psi_{\text{sortie}}\rangle = \text{CNOT}(H \otimes I)|\Psi_{\text{entrée}}\rangle \]

      où \( I \) est la matrice identité.

      ### 5. Mesure

      La mesure d’un qubit projette l’état quantique dans l’une des bases \( |0\rangle \) ou \( |1\rangle \), avec des probabilités \( |\alpha|^2 \) et \( |\beta|^2 \), respectivement.

      ### 6. Rétropropagation Quantique

      #### Calcul de l’Erreur

      L’erreur est définie comme la différence entre l’état mesuré et l’état attendu:

      \[ \text{Erreur} = |\Psi_{\text{attendue}}\rangle – |\Psi_{\text{mesurée}}\rangle \]

      #### Ajustement des Paramètres

      Les paramètres des portes quantiques sont ajustés pour minimiser l’erreur en utilisant des algorithmes d’optimisation quantique, tels que l’algorithme de descente de gradient quantique.

      ### Conclusion

      Les Réseaux de Neurones Quantique-Profonde (RNQP) sont une fusion innovante des principes de l’informatique quantique et des réseaux de neurones profonds. Cette modélisation permet d’exploiter la puissance des ordinateurs quantiques pour résoudre des problèmes complexes de manière plus rapide et plus efficace.

      N’hésitez pas à me demander si vous avez besoin de plus de détails sur un aspect particulier ou d’exemples supplémentaires ! 😊

      1. Avatar de BasicRabbit en autopsy
        BasicRabbit en autopsy

        Ça n’a pas l’air de voler bien haut.

        Thom :

        – « (…) notre modèle offre d’intéressantes perspectives sur le psychisme, et sur le mécanisme lui-même de la connaissance. En effet, de notre point de vue, notre vie psychique n’est rien d’autre qu’une suite de catastrophes entre attracteurs de la dynamique constituée des activités stationnaires de nos neurones. La dynamique intrinsèque de notre pensée n’est donc pas fondamentalement différente de la dynamique agissant sur le monde
        extérieur. On s’expliquera ainsi que des structures simulatrices des forces extérieures puissent par couplage se constituer à l’intérieur même de notre esprit, ce qui est précisément le fait de la connaissance. » (1966)

        Remarque 1 : L’usage entre mathématiciens est de ne parler d’espace de Hilbert uniquement lorsque la dimension en est infinie. Ce peut être un espace euclidien (sur le corps des Réels) ou hermitien (sur le corps des complexes).

        Remarque 2 : Les modèles profonds mathématiques sont -je crois, je n’y connais pas grand chose) des structures fibro-stratifiées dont la théorie est délicate. Thom à ce sujet :

        « En ce qui me concerne, je préfère croire à un réel – non globalement accessible parce que de structure stratifiée – dont l’herméneutique de la théorie des catastrophes permettrait de dévoiler progressivement les « fibres » et les « strates ». Mais tout progrès dans la détermination d’une telle ontologie stratifiée en « couches » d’être exigera : i) L’emploi de mathématiques pures spécifiques – parfois bien difficiles – dans les théories jusqu’ici purement conceptuelles des sciences de la signification ; ii) La reprise d’une réflexion philosophique sur la nature de l’être que les divers positivismes et pragmatismes ont depuis bien longtemps occultée. »

        1. Avatar de timiota
          timiota

          « Ça n’a pas l’air de voler bien haut.

          Il a fallu 67 ans des frères Wright (1903) au 747 (1970).
          Est-ce que ça sera plus haut, l’altitude dans 6,7 ans ? (allez, en 2033)
          Je soupçonne qu’on pourra « embrigader » les « hallucinations », pour faire justement du « nouveau assez loin de l’apprentissage », ce qui une définition commode de l’innovation, tant qu’on n’a pas défini trop précisément la norme de distance qui sous-tend le « assez loin » (ou le « assez haut » pour voler dans l’escadrille Normandie-Thom-Niemen)(:;).

          1. Avatar de BasicRabbit en autopsy
            BasicRabbit en autopsy

            @timiota

            Je ne crois pas qu’on puisse progresser bien loin par essais-erreurs et par calage de paramètres par tâtonnements. À un moment qui n’est peut-être pas si éloigné, il va falloir trouver une théorie pour progresser, ce que propose Thom. En attendant :

            « Je serais porté à affirmer que la spatialisation de l’objet d’étude est nécessaire à une attaque réellement scientifique de tout donné. C’est le drame des Sciences humaines qu’elles n’arrivent pas à sortir du domaine du concept ; lorsque, par une enquête statistique par exemple, elles arrivent à se fabriquer un nuage de points dans un espace, elles doivent recourir à des techniques universelles d’interprétation, comme l’analyse des données, pour conférer à cet espace une signification qui se voudrait pertinente :
            autrement dit, là, le substrat est défini par la morphologie empirique, et ne lui est pas antérieur, comme en Physique, par exemple. Cette flexibilité des espaces-substrats par rapport aux procédures expérimentales est un indice très net d’immaturité théorique d’une discipline… ».

          2. Avatar de BasicRabbit en autopsy
            BasicRabbit en autopsy

            (suite)

            Thom : « C’est parce que la mathématique débouche sur l’espace qu’elle échappe au
            décollage sémantique créé par l’automatisme des opérations algébriques. »

            Que peut faire une IA sinon être emprisonnée dans « l’automatisme des opérations algébriques » ?

  3. Avatar de Garorock
    Garorock

    https://www.lemonde.fr/idees/article/2025/01/31/en-matiere-d-ia-deepseek-est-une-grande-claque-pour-l-europe_6525248_3232.html
     » Le modèle d’intelligence artificielle développé en Chine, peu onéreux, sobre et ouvert, coche toutes les cases de ce que prône l’Europe, qui aurait déjà dû parvenir à en créer un similaire, estime, dans un entretien au « Monde », Asma Mhalla, spécialiste du lien entre les enjeux technologiques et géopolitiques à Sciences Po. « 

    1. Avatar de timiota
      timiota

      Oui, je suis en train de finir son livre. Elle tisse une carte avec des pépites et des zones un peu plus filandreuses entre « BigState », « BigTEch », « infrastructure » (elle utilise un autre mot détourné, mais pense bien à Marx, elle le dit ) et « Technologie Totale » , une sorte de couverture idéologique de type « complexe militaro-industriel » généralisé, mais je ne suis pas sûr que ces concepts soient bien posés.
      J’aime bien toutefois le côté visionnaire, on essaye le concept, il coche pas mal de case pour classifier/expliquer, jusqu’à ce que les choses elle-même changent (l’internet « libre » avec son temps des Blogs ne reviendra pas à sa gloire passée) ou que des visions plus « performantes » émergent. Mais c’est dur de dire justement en quoi une vision est meilleures qu’une autre, il s’agit d’un réservoir « d’intello-diversité » avant toute chose (p ex Stiegler et Jorion, pour moi il y a XXX années).

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

  1. (suite) En retirant la « couronne » de la tête du chef pour la poser sur celle du peuple, on crée un…

Articles récents

Catégories

Archives

Tags

Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »

Meta