Illustration DALL-E (+PJ)
Paul Jorion :
Les réseaux neuronaux artificiels tels que les grands modèles de langage (LLM) et les réseaux neuronaux naturels tels que ceux de notre cerveau sont fondés sur le même type d’architecture, mais nous ne savons pas s’ils fonctionnent selon un mécanisme similaire. Ce dont nous sommes sûrs, c’est que les réseaux neuronaux naturels humains peuvent se former de manière à pouvoir généraliser et reconnaître des objets et des traits saillants à partir d’un nombre d’exemples d’apprentissage extrêmement réduit (moindres de plusieurs ordres de grandeur) par rapport aux réseaux neuronaux artificiels. Nous savons comment la mémoire fonctionne dans un réseau neuronal artificiel : elle est engrammée sous forme de poids attachés aux arêtes du graphe qui modélise le réseau. En revanche, nous ne savons pratiquement rien sur le fonctionnement de nos réseaux neuronaux naturels, hormis le renforcement hebbien (« facilitation »). Pouvons-nous inférer quelque chose quant au fonctionnement de nos réseaux neuronaux naturels à partir de notre compréhension actuelle des réseaux neuronaux artificiels, en utilisant comme information éventuellement significative le fait que l’apprentissage sur les réseaux neuronaux naturels nécessite, comme nous l’avons vu, énormément moins d’exemples d’apprentissage (moindres de plusieurs ordres de grandeur) ?
ChatGPT (GPT-4) :
Excellente question ! Il s’agit d’un domaine de recherche actif dans le domaine des neurosciences et de l’apprentissage automatique. Au moment où s’est arrêtée ma formation en 2021, nous ne comprenions pas entièrement comment les cerveaux humains sont capables de généraliser à partir de si peu d’exemples par rapport aux réseaux neuronaux artificiels (RNA). Cette capacité remarquable est souvent appelée apprentissage « one-shot » ou « few-shot ».
Il existe cependant quelques hypothèses et des orientations de recherche prometteuses :
Différences architecturales : L’architecture du cerveau humain et celle des RNA sont fondamentalement différentes à plusieurs égards. Alors que les RNA ont des couches de neurones uniformes qui sont pour la plupart entièrement connectés, les réseaux neuronaux biologiques ont divers types de neurones, et leur connectivité est complexe et n’est pas entièrement comprise. Certaines zones du cerveau semblent être dédiées à des fonctions spécifiques et les connexions sont loin d’être uniformément réparties.
Algorithmes d’apprentissage : Si nous disposons de règles d’apprentissage claires pour les RNA, telles que la rétropropagation, les algorithmes d’apprentissage précis utilisés par le cerveau ne sont pas encore totalement connus. L’apprentissage hebbien est l’un des principes, mais d’autres mécanismes sont probablement en jeu, notamment les signaux neuromodulatoires, la plasticité homéostatique et la plasticité structurelle (changements dans les connexions physiques entre les neurones).
Apprentissage non supervisé et apprentissage tout au long de la vie : Le cerveau humain bénéficie d’un apprentissage non supervisé constant tout au long de la vie. Même lorsqu’il n’apprend pas intentionnellement, le cerveau traite une grande quantité d’informations sensorielles. Cet apprentissage « en arrière-plan » peut constituer une sorte de pré-entraînement qui aide à reconnaître de nouveaux objets ou de nouvelles situations.
Connaissances préalables et inférence : On suppose que le cerveau humain utilise une forme d’inférence bayésienne pour donner un sens à de nouvelles données sur la base de connaissances antérieures. Cela permet au cerveau de faire des suppositions raisonnables lorsqu’il est confronté à une ambiguïté ou à des informations incomplètes. En revanche, les RNA traditionnelles ne sont pas explicitement bayésiennes et peuvent nécessiter davantage de données pour atteindre des niveaux de certitude similaires.
L’incarnation : Les humains et les animaux apprennent dans un environnement riche et interactif où ils peuvent manipuler des objets et observer les résultats. Cette incarnation et cette capacité à interagir avec l’environnement pourraient être un facteur important dans la manière dont les cerveaux biologiques apprennent efficacement. La plupart des RNA, en revanche, sont formés sur des ensembles de données statiques.
La rareté et l’efficacité : Les cerveaux biologiques sont très économes en énergie et ont tendance à utiliser des représentations éparses. Cela pourrait potentiellement conduire à une meilleure généralisation avec moins d’exemples de formation.
Les différences entre les réseaux neuronaux naturels et artificiels, et la question de savoir comment les cerveaux biologiques peuvent apprendre à partir d’un nombre réduit d’exemples, sont des sujets de recherche en cours. Dans le domaine de l’IA, le concept d’algorithmes d’apprentissage « biologiquement inspirés » présente un grand intérêt et pourrait conduire à des systèmes d’apprentissage automatique plus efficaces et plus performants. Il convient toutefois de noter que les RNA et les cerveaux biologiques n’ont pas besoin de fonctionner selon les mêmes principes pour obtenir des résultats similaires, et il se peut même que les RNA évoluent dans une direction tout à fait différente de notre compréhension actuelle de l’apprentissage biologique.
Illustration DALL-E (+PJ)
Laisser un commentaire