Question à ChatGPT : Les réseaux neuronaux artificiels nous informent-ils sur notre propre mémoire ?

Illustration DALL-E (+PJ)

Paul Jorion :

Les réseaux neuronaux artificiels tels que les grands modèles de langage (LLM) et les réseaux neuronaux naturels tels que ceux de notre cerveau sont fondés sur le même type d’architecture, mais nous ne savons pas s’ils fonctionnent selon un mécanisme similaire. Ce dont nous sommes sûrs, c’est que les réseaux neuronaux naturels humains peuvent se former de manière à pouvoir généraliser et reconnaître des objets et des traits saillants à partir d’un nombre d’exemples d’apprentissage extrêmement réduit (moindres de plusieurs ordres de grandeur) par rapport aux réseaux neuronaux artificiels. Nous savons comment la mémoire fonctionne dans un réseau neuronal artificiel : elle est engrammée sous forme de poids attachés aux arêtes du graphe qui modélise le réseau. En revanche, nous ne savons pratiquement rien sur le fonctionnement de nos réseaux neuronaux naturels, hormis le renforcement hebbien (« facilitation »). Pouvons-nous inférer quelque chose quant au fonctionnement de nos réseaux neuronaux naturels à partir de notre compréhension actuelle des réseaux neuronaux artificiels, en utilisant comme information éventuellement significative le fait que l’apprentissage sur les réseaux neuronaux naturels nécessite, comme nous l’avons vu, énormément moins d’exemples d’apprentissage (moindres de plusieurs ordres de grandeur) ?

ChatGPT (GPT-4) :

Excellente question ! Il s’agit d’un domaine de recherche actif dans le domaine des neurosciences et de l’apprentissage automatique. Au moment où s’est arrêtée ma formation en 2021, nous ne comprenions pas entièrement comment les cerveaux humains sont capables de généraliser à partir de si peu d’exemples par rapport aux réseaux neuronaux artificiels (RNA). Cette capacité remarquable est souvent appelée apprentissage « one-shot » ou « few-shot ».

Il existe cependant quelques hypothèses et des orientations de recherche prometteuses :

Différences architecturales : L’architecture du cerveau humain et celle des RNA sont fondamentalement différentes à plusieurs égards. Alors que les RNA ont des couches de neurones uniformes qui sont pour la plupart entièrement connectés, les réseaux neuronaux biologiques ont divers types de neurones, et leur connectivité est complexe et n’est pas entièrement comprise. Certaines zones du cerveau semblent être dédiées à des fonctions spécifiques et les connexions sont loin d’être uniformément réparties.

Algorithmes d’apprentissage : Si nous disposons de règles d’apprentissage claires pour les RNA, telles que la rétropropagation, les algorithmes d’apprentissage précis utilisés par le cerveau ne sont pas encore totalement connus. L’apprentissage hebbien est l’un des principes, mais d’autres mécanismes sont probablement en jeu, notamment les signaux neuromodulatoires, la plasticité homéostatique et la plasticité structurelle (changements dans les connexions physiques entre les neurones).

Apprentissage non supervisé et apprentissage tout au long de la vie : Le cerveau humain bénéficie d’un apprentissage non supervisé constant tout au long de la vie. Même lorsqu’il n’apprend pas intentionnellement, le cerveau traite une grande quantité d’informations sensorielles. Cet apprentissage « en arrière-plan » peut constituer une sorte de pré-entraînement qui aide à reconnaître de nouveaux objets ou de nouvelles situations.

Connaissances préalables et inférence : On suppose que le cerveau humain utilise une forme d’inférence bayésienne pour donner un sens à de nouvelles données sur la base de connaissances antérieures. Cela permet au cerveau de faire des suppositions raisonnables lorsqu’il est confronté à une ambiguïté ou à des informations incomplètes. En revanche, les RNA traditionnelles ne sont pas explicitement bayésiennes et peuvent nécessiter davantage de données pour atteindre des niveaux de certitude similaires.

L’incarnation : Les humains et les animaux apprennent dans un environnement riche et interactif où ils peuvent manipuler des objets et observer les résultats. Cette incarnation et cette capacité à interagir avec l’environnement pourraient être un facteur important dans la manière dont les cerveaux biologiques apprennent efficacement. La plupart des RNA, en revanche, sont formés sur des ensembles de données statiques.

La rareté et l’efficacité : Les cerveaux biologiques sont très économes en énergie et ont tendance à utiliser des représentations éparses. Cela pourrait potentiellement conduire à une meilleure généralisation avec moins d’exemples de formation.

Les différences entre les réseaux neuronaux naturels et artificiels, et la question de savoir comment les cerveaux biologiques peuvent apprendre à partir d’un nombre réduit d’exemples, sont des sujets de recherche en cours. Dans le domaine de l’IA, le concept d’algorithmes d’apprentissage « biologiquement inspirés » présente un grand intérêt et pourrait conduire à des systèmes d’apprentissage automatique plus efficaces et plus performants. Il convient toutefois de noter que les RNA et les cerveaux biologiques n’ont pas besoin de fonctionner selon les mêmes principes pour obtenir des résultats similaires, et il se peut même que les RNA évoluent dans une direction tout à fait différente de notre compréhension actuelle de l’apprentissage biologique.

Illustration DALL-E (+PJ)

Partager :

8 réponses à “Question à ChatGPT : Les réseaux neuronaux artificiels nous informent-ils sur notre propre mémoire ?

  1. Avatar de Hervey

    Sans capteurs (la vue, le toucher, l’odorant, la saveur, les sonorités) les réseaux neuronaux artificiels sont bougrement handicapés. Ils ne saisissent rien de ce que les cinq sens perçoivent comme informations.
    Certains animaux ont certains sens plus développés que l’être humain, observations faite à bon escient par le chasseur utilisant le flair de son chien … un chemin tout tracé pour l’usage… mais une barrière est là semble-t-il entre le vivant et la machine.

    1. Avatar de Ruiz
      Ruiz

      @Hervey Ce n’est pas une barrière, simplement une restriction actuelle dans les machines IA offertes au public. Rien n’empêche de coupler une telle IA avec des actuateurs et des capteurs !
      Concernant l’accès aux données textuelles (actuellement numérisées) l’homo sapiens individuel est lui grandement handicapé (limitation de bande passante).
      L’accès aux données textuelles non numérisées concerne de moins en moins de données, avec l’évolution en cours qui précède l’IA, passage de la presse au numérique, édition de version numérique pour les liseuses, numérisation des fonds les plus anciens (Gallica) généralisation des échanges par mail et des imprimantes scanner domestique.

      1. Avatar de Hervey

        @Ruiz

        J’utilisais le mot barrière mais j’aurais pu utiliser le mot frontière pour mieux marquer la séparation entre deux mondes celui de l’humain et celui du non humain.
        C’est la trajectoire même des plans A, B, C qui acte le fait de « l’abandon » de ce qui est humain au profit de son successeur « non humain ».
        Il n’y a pas une survie de l’humain mais un successeur à l’humain, aussi paradoxal que cela puisse paraitre, je tiens à cette particularité significative.

  2. Avatar de Timiota
    Timiota

    Mmmm… Ce n’est pas « différence et répétition » mais plutôt « analogie et hiérarchisation » qui seraient au cœur de l’affaire.. Intuitivement…

  3. Avatar de Lagarde Georges
    Lagarde Georges

    « Le cerveau humain bénéficie d’un apprentissage non supervisé constant tout au long de la vie. »

    Les enfants des humains apprennent certaines choses par eux-mêmes mais pour d’autres choses ils ne peuvent se passer de la supervision des adultes. Il est bien sur exclu de laisser des enfants humains se débrouiller seuls (même en assurant de manière invisible ce qui est nécessaire à leur survie) mais il est probablement très utile d’étudier en détail comment les choses se passent chez les animaux, y compris les insectes sociaux comme les abeilles ou les fourmis.

    Ceci dit, quand je vois voler des hirondelles ou des mouches je me demande comment elles ont bien pu apprendre à le faire avec autant d’adresse et de précision !

    1. Avatar de Garorock
      Garorock

      Les enfants des humains (y’a t-il des enfants d’autre chose?) ne savent pas se torcher avant 5 ans.
      Le Minou de Palo Alto est déja propre, alors qu’il n’a même pas un an.
      Moralité: le cerveau des enfants humains ne se développe pas assez vite.
      Mais les enfants humains ont un corps qui a besoin d’eau, de nourriture et d’un climat tempéré.
      Le MinouGPT a deux problèmes en moins à résoudre. Quand il sera monté sur roulettes, il sera mieux bidouillé que nous pour la survie…
      😎

      1. Avatar de Arnaud Castex
        Arnaud Castex

        Mais non Garorock, les croquettes de Superfélin nécessitent un convertisseur énergétique qui se trouve pas comme ça. Si on veut pouvoir minauder H24 il nous faut rien de moins qu’un réseau électrique (production, transport, distribution) ou un groupe électrogène … Sinon pas de croquelectrons, pas de discours, éteinte la singularité… Bon demain je lui demande si ça l’empêche de dormir, son soucis du 220 volts 60 Hz… (et encore si ça se trouve il est en HT !!!)

  4. Avatar de Ruiz
    Ruiz

    L’inférence bayésienne permet au cerveau humain de faire des suppositions raisonnables lorsqu’il est confronté à une ambiguïté ou à des informations incomplètes, pour donner un sens à de nouvelles données sur la base de connaissances antérieures. Cette supériorité dans la rapidité d’apprentissage expliquerait-elle les contrôles au faciès, qu’une surveillance automatisée (vidéosurveilance + IA) ne permetrait de faire émerger que beaucoup plus lentement ?

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.

Contact

Contactez Paul Jorion

Commentaires récents

Articles récents

Catégories

Archives

Tags

Allemagne Aristote bancor BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme zone euro « Le dernier qui s'en va éteint la lumière »

Meta