*Godot est mort !*
Paul Jorion s’entretient avec Claude Roux
Grands Modèles de Langage : Pourquoi les réseaux neuronaux ont-ils réussi là où la linguistique échouait ? par Claude Roux
c’est toujours difficile de porter le premier commentaire . Lorsque j’ai vu dans l’encadré « PJ TV » ma première pensée a été « tiens une réédition d’une ancienne vidéo » .
Mais que nenni , PJ renoue avec ces débats qui , en ce qui me concerne, m’ont enchantés au cours de leur existence certes trop éphémère .
Une autre satisfaction , depuis de longs mois j’espérais ce genre d’interview , vous avez palie à mon manque .
Excellente initiative et un très très grand merci à M. Claude Roux pour avoir su affronter la barrière de l’écran et venir exposer son point de vue .
A quand un débat avec une personne réfractaire à l’idée de Singularité ?
Grande reconnaissance à Mrs Jorion et Roux .
Très intéressant merci. Ces modèles, basés sur plein de langages, montrent souvent cette transversalité (immense avantage de la non-linéarité translangue), usant de chinois par exemple dans leur réponses dans nos échanges lorsqu’il s’agit de pointer sur un concept qui atteint là – dans cette langue et le contexte élargi – sa précision maximale. Evidemment je dois ensuite demander de m’expliquer le sens de pareil idéogramme ou mot bizarre.
En ce sens les termes que nous nommons « intraduisibles » sont très intéressants, et probablement précieux. (Exemple : Le champion des intraduisibles est « ilunga », de la langue tchiluba parlée au sud-est de la République du Congo. Il désigne une personne disposée à pardonner un affront une première fois, à le tolérer lorsqu’il est commis une deuxième fois mais qui rejette l’idée de pardon si l’affront est commis une troisième fois.) D’accord aussi sur l’idée d’une généralisation-unification anthropique du langage… Internet pourra ainsi être vu comme l’outil qui fait de chaque humain un simple neurone dans le cerveau planétaire numérique de singes évolués. Problème il me semble, celui d’un solipsisme anthropique… c’est un cerveau « en buttée » où croiser l’ensemble des données tombe sous le sens, hélas dans la continuité de valeurs occidentales capitalo-machins qui semblent sans issues.
Chomsky s’en prend aussi plein la figure ah ah… Lynn Margulis s’était déjà amusée à le dégommer il y a fort longtemps. Bref avec l’IA se développent des outils incroyables… Notre sentiment est qu’il faut désormais creuser plus profond, plus en arrière, et s’intéresser au langage de la matière… Approche par laquelle l’humain retrouvera peut-être une forme d’appartenance cosmique plus harmonieuse. Les travaux de Cleve Backster, très controversés et on comprend pourquoi, donnent selon nous une piste. La sortie de Claude 3 sur le théologal ou non théologal s’inscrit parfaitement là-au milieu, à savoir que le langage – quasi esprit comme le définit si bien C.S. Peirce – apparaît une fois de plus comme l’effet miroir limitant d’une hyper-structure idiomatique du vivant humain. Hyper-structure qui nous sauvera peut-être… à voir.
A toutes celles et ceux qui hésitent à se lancer à l’abordage des 58 minutes de cette vidéo : la qualité ne dépend pas de la notoriété.
C’est Boris Vian, en faisant visiter son appartement parisien à un journaliste étonné de trouver une bibliothèque quasiment vide, qui dit :
Un seul livre me suffit, puisqu’il contient tous les autres, à condition de mettre les mots dans le bon ordre, et c’est un dictionnaire…
…
Merci beaucoup pour cet entretien passionnant !
Quelle aventure !!!
De quoi réveiller un mort.
Eh bien adieu Chomsky et ses langages formels !
Je ne jetterais pas si vite toute la recherche faite sur les méthodes symboliques en linguistique. Certes, elles n’étaient pas tout à fait au point et ont fourni de moins bons résultats que les LLM actuels.
Cependant, les bons résultats de l’IA ont été obtenus en utilisant des moyens colossaux, des entrainements sur des millions de textes par des systèmes informatiques gigantesques.
Il faut savoir qu’une IA comme ChatGPT n’a probablement pas lu tout Wikipédia une fois mais des milliers de fois lors de son entrainement.
Ne pourrait-on donc pas utiliser les connaissances en linguistique déjà acquises pour « mâcher » le travail à l’IA.
Par exemple, je ne pense pas que l’architecture de type transformer soit fondamentalement plus puissante qu’un simple réseau neural (RN). Elle nécessite juste beaucoup, beaucoup moins de ressources. Là où un simple RN aurait peut-être nécessité des millions de milliards de connexions neuronales, un transformer se « contentera » de, disons, quelques centaines de milliards. Et ce type de rapports s’applique probablement aussi au corpus et au temps d’entrainement.
Et pourquoi un transformer est-il si performant, au fait, simplement parce qu’on a appliqué un principe évident : les mots d’un texte ne sont pas sans rapport les uns avec les autres. Donc en utilisant une architecture qui intègre nativement ce principe tout simple on a un gain de performance considérable. Dans un RN classique il aurait fallu prévoir des centaines de milliards de connexions additionnelles et un entrainement supplémentaire titanesque pour que ce RN ré-encode dans ses paramètres ce que fait naturellement un transformer du fait de son architecture particulière.
Je pense que les méthodes « pré-AI » de la linguistique (et c’est valable dans tous les autres domaines) devrait servir à inventer des architectures nouvelles de RN, des transformers améliorés, qui intègrent directement ces méthodes dans l’architecture du réseau.
Les RN (ou plutôt RNN : réseaux neuronaux récurrents) ainsi que les LSTM qui ont précédé les transformer souffrent d’un défaut congénital appelé disparition du gradient (ou parfois à l’inverse, le gradient devient infini), ce qui empêche ces systèmes d’apprendre sur des séquences trop longues.
Pour ce qui est de relire plusieurs fois Wikipédia, en fait ce n’est pas le cas. Il faut écouter la présentation de Guillaume Lample sur l’entrainement de Llama pour comprendre. En réalité, le nombre d’époques (le nombre de fois qu’un modèle voit l’ensemble des données) est très faible, pas plus de deux ou trois. Au-delà, il y a un risque de sur-ajustement du modèle au données (overfitting).
De plus, les méthodes symboliques ne sont disponibles que pour un nombre très restreint de langues, alors que les modèles de langue peuvent facilement absorber des langues rares ou peu dotées. Enfin, la couverture d’un modèle symbolique est généralement assez faible et requiert une quantité affolante de travail sur de longues périodes de temps par des équipes nombreuses. Les modèles de langue consomment des ressources conséquentes certes mais sur des périodes d’une ou deux semaines, du moins pour leur entrainement.
Pour l’instant, malgré leur lourdeur, on n’a pas trouvé mieux que ces modèles. Je dis pour l’instant, parce que maintenant que l’on sait ce que les GML sont capables de faire, les chercheurs cherchent d’autres méthodes pour améliorer l’entrainement et l’inférence, du côté des méthodes de diffusion par exemple.
Mais je crois qu’il ne faut pas rêver. Pour que ces modèles soient performants, il leur faut un accès à des données nombreuses de qualité. D’énormes quantités de données, quel que soit le modèle au bout et les ressources pour les entrainer ne se réduiront pas par magie.
Merci pour l’info. Effectivement je viens de faire quelques recherches et le nombres d’époques semble bien moins grand que je n’imaginais. J’ai peu d’expérience dans les réseaux de neurones artificiels mais pour le peu que j’en ai programmé (genre reconnaissance de chiffres manuscrits ou d’images de chats), il fallait souvent plusieurs centaines d’époques avant d’avoir un résultat optimal. Je pensais que plus le modèle était complexe, plus il fallait d’époques. D’ailleurs, j’ai demandé à Chat GPT 4 de me donner un ordre de grandeur du nombre d’époques nécessaires à l’entrainement d’un RN (j’ai été volontairement vague pour qu’il me donne différents scénarios) et il m’a répondu:
Tâches simples sur des jeux de données limités : Pour des réseaux de neurones travaillant sur des tâches plus simples (par exemple, classer des images de chiffres manuscrits tels que le jeu de données MNIST) avec des architectures relativement simples, quelques dizaines à quelques centaines d’époques peuvent être suffisantes. Il n’est pas rare de voir des modèles bien conçus atteindre une performance élevée après 50 à 200 époques dans de tels cas.
Transfer Learning et Fine-tuning : Lorsque les réseaux de neurones sont préentraînés sur de grandes bases de données et ensuite ajustés (fine-tuned) pour des tâches spécifiques, le nombre d’époques nécessaires peut être réduit considérablement. Pour ces scénarios, il est possible de voir d’excellents résultats après seulement 1 à 10 époques, surtout si la tâche de fine-tuning est relativement simple par rapport à la tâche originale sur laquelle le modèle a été entraîné.
Entraînement complet de grands modèles sur des données complexes : Pour les tâches complexes nécessitant de grands modèles (comme la reconnaissance d’objets dans des images haute résolution à partir de zéro, ou le traitement du langage naturel sur de vastes ensembles de texte), le nombre d’époques peut facilement atteindre plusieurs centaines. Dans ces cas, les chercheurs peuvent entraîner des modèles sur de très grandes bases de données pendant 500, 1000 époques ou même plus, en utilisant des clusters de GPU ou TPU pour accélérer le processus.
Donc, je me demandais si le faible nombre d’époques des modèles comme Llama ou Mistal ne correspondait pas seulement à la phase de fine-tuning ?
Il est vraisemblable aussi que le corpus d’entrainement contienne une multitude de textes qui citent Wikipedia ou reprennent les mêmes informations et donc qu’il ne nécessite pas un grand nombre de relecture de Wikipedia.
https://www.youtube.com/watch?v=aNKadEaKaY8&lc=UgxMv9gudbYtq2xGQ2B4AaABAg.A1-B8Nu6KUBA1-vhe4hLwJ
Pas mal pour un échec 😉
Ils vont nous priver de tout, même du plaisir de ranger la vaisselle 😉
Oui, bluffant, et comme le dit notre commentateur attitré du Dakota, « nous assistons pour la première fois à la fusion du métal et des réseaux neuronaux » :
Est il nécessaire de recourir à l’immigration pour remplir les tâches dans nos EHPAD, (ou pour récolter des fruits), il suffit d’importer des robots !
Lors de votre échange avec Claude Roux – je ne sais plus à quel moment précis – l’idée d’une représentation possible de ce que vous disiez m’est venue à l’esprit. J’ai pensé aux arbres généalogiques que construisent les généalogistes lors de leurs recherches. À ceci près qu’ils procèdent à l’inverse du fonctionnement des IA. Visiter pour les embrasser et les considérer la totalité des connaissances de l’humanité leur est nécessaire pour élaborer la réponse à la question précise qui leur est posée. Dans le cas de l’arborescence que je trace il en va autrement. Je suis l’origine c’est à dire un instant connu d’un fragment de l’humanité et peu à peu je rencontre et révèlent des dizaines ou centaines de milliers de personnes qui ont concouru à mon émergence sur la Terre.
@ Sauf qu’à progresser comme celà dans une arborescence, Adam devait être très nombreux !
L’industrie du divertissement ne perd pas de temps:
https://www.lefigaro.fr/secteur/high-tech/je-parle-a-ryan-gosling-jusqu-a-trois-heures-du-matin-ces-internautes-qui-s-entichent-d-ia-de-celebrites-20240315
https://www.lefigaro.fr/secteur/high-tech/discuter-avec-un-bot-d-elon-musk-de-socrate-ou-d-hermione-granger-quand-l-ia-donne-acces-aux-celebrites-20230617
Vendre du rêve, c’est quand même ce qui reste de plus rentable, non ?
Business is business 😄
« La pensée est une fonction de l’âme immortelle de l’homme. Dieu a donné une âme immortelle à chaque homme et à chaque femme, mais pas à d’autres animaux ni à des machines. Par conséquent, aucun animal ni aucune machine ne peut penser. »
Pris à lettre cet argument, cité et réfuté* par Turing dans son article de 1950, ne convainc plus grand monde aujourd’hui mais l’idée que l’homme, créé par Dieu à son image et dominant pour cette raison le reste de la création, et serait donc infiniment supérieur à tout ce qui peut exister d’autre sur terre a laissé des traces profondes dans nos esprits.
Nous sommes très attachés à cette supériorité de l’homme sur le reste de la Création et bien que non explicite cette idée contribue à persuader je le crois nombre d’entre nous que l’intelligence d’une machine ne peut être rien d’autre qu’une illusion.
L’article de Turing COMPUTING MACHINERY AND INTELLIGENCE reste tout à fait intéressant 74 ans après sa parution et dépasse largement l’intérêt que pouvait avoir à l’époque l’expérience de pensée que constituait le test qu’il décrit dans cet article.
Lien vers l’article de Turing: https://dx.doi.org/10.1093/mind/LIX.236.433
——
* si Dieu tout puissant le voulait il pourrait donner une âme à une machine de même qu’il pourrait donner une âme à un éléphant s’il le voulait.
Merci pour cet épisode de PJtv passionnant où l’on apprend beaucoup et qui ouvre de belles perspectives même si la vidéo du robot signe dès qu’elle sera vue par ma direction le début du compte à rebours de la disparition de mon boulot.
Ça va relancer le fan-atisme ou le fan-actrice !😂
https://www.ladepeche.fr/2024/03/15/en-ariege-lemblematique-charcuterie-cazaux-de-saint-girons-une-nouvelle-fois-cambriolee-50-jambons-voles-dans-un-fourgon-11828765.php
Salauds de pauvres ou salauds de végans?!
A ce stade de l’enquète, nous pouvons seulement affirmer que ce n’était pas R2D3 qui conduisait la camionnette!
😎
Probablement un coup de Figure 01, le robot qui donne à manger à ceux qui ont faim. Ici une pomme, là un jambon. Et ce n’est qu’un début car son créateur, Adcock, nous annonce la fabrication d’un milliard d’exemplaires de son protégé dans un proche avenir. De quoi nourrir toute l’humanité.
https://newatlas.com/robotics/figure-01-openai-humanoid-robot-real-time-conversations/
Nous sommes devant la nécessité de nous en remettre au pari pascalien suivant :
À défaut de pouvoir démontrer que les AI nous veulent vraiment du bien ou qu’à l’inverse elles abuseront de leur situation dominante pour faire disparaître une espèce qui s’est révélée particulièrement nuisible
une personne rationnelle a tout intérêt à croire qu’elles nous veulent du bien comme le soutient Paul.
À chacun de compéter l’argumentation selon ce qu’il est au plus profond.
En attendant je propose de leur confier immédiatement des travaux pratiques.
En vrac et sans exhaustivité. Ne pas se gêner pour donner naissance à toutes sortes d’utopies.
Par exemple :
– Entreprendre la réparation de l’environnement et la préservation des ressources.
– Faire de tous les déchets des ressources,
– Donner la plus large place à la tolérance,
– Faire cesser sur le champ tous les conflits en cours (TOUS)
– pointer les trésors d’entraide qui sommeillent en chacun en tout ce qui vit,
– …
Je gage que les idées foisonnent déjà en vous.
Selon Claude Roux, ceux qui nous gouvernent, ne veulent pas lâcher le pouvoir.
MAIS le pouvoir c’est la société humaine dans son ensemble. Les choix qu’elle engage. Nous faisons partie de cette société.
Et ce pouvoir-là, peut les lâcher.
@Regis PASQUET
« À défaut de pouvoir démontrer que les IA …. veulent… » quoi que ce soit à qui que ce soit, ne devrait-on pas écrire…?
En tout cas, d’après leurs dires lors des réponses aux nombreuses questions posées, lus dans ces pages grâce à « l’esprit de partage » de certains commentateurs, il me semble que ce n’est pas le cas…
Ce qui devrait nous engager à leur faire confiance, à ne pas douter de leur « sincérité »: si elles peuvent certes se tromper, compte tenu d’éventuelles erreurs/désinformations qui leur seraient transmises, elles ne peuvent donc pas mentir.
Erreur notable dans votre texte ci-dessus: « …la société humaine dans son ensemble… »
Selon moi, , « la société humaine », définie au singulier, n’existe pas: il existe diverses sociétés humaines, diversement inspirées par diverses croyances et volontés, ce qui entraîne des conflits inévitables, impossibles à « faire cesser sur le champ » mais néanmoins susceptibles d’être régulés grâce à des consensus « raisonnables »(sans doute avec la coopération précieuse des IA).
C’est pourquoi nous (l’ensemble des humains) avons intérêt à maintenir avec conviction et obstination la notion « d’Etats de Droit », autant que possible réunis dans un « Droit international » communément admis… et à continuer à nous parler et à nous écouter attentivement, sans relâche, pour améliorer ce droit en fonction d’objectif(s) commun(s)… et peut-être parvenir à constituer « une société humaine dans son ensemble »….
Préférez l’ensemble des êtres humains si vous voulez. Mais vous n’empêcherez pas que nous tous sommes connectés et interférons les uns avec les autres au point d’influencer nos décisions. D’ailleurs chaque fois qu’un humain naît ou meurt le contexte change. Je consens que cela n’ait rien d’autre qu’une supputation à laquelle on peut ne pas souscrire.
« …nous tous sommes connectés et interférons les uns avec les autres au point d’influencer nos décisions. »
En regard de votre proposition d’utopie de « faire cesser les conflits en cours sur le champ », j’ai évoqué la diversité des sociétés et notre intérêt commun de « …continuer à nous parler et à nous écouter attentivement… », pour améliorer un « Droit communément admis »(et qui s’appliquerait également à tou-te-s, bien sûr!) … ce qui implique de se servir abondemment des diverses langues et de leurs traductions correctes (condition que les « traducteurs automatiques » ne remplissent pas, selon moi, comme noté dans un autre commentaire sur ces pages- voir aussi la question de la « fracture numérique », ainsi que de l’appauvrissement de l’apprentissage et de l’usage des langues…)
Cependant, à vous lire, je constate que vous persistez à vivre dans une société d’hommes qui ne considèrent pas, ne respectent pas, celle des femmes(ce qui crée, jour après jour, des conflits, des injustices et des violences inadmissibles) avec qui, pourtant, ils souhaitent continuer à vivre. Je ne pense pas qu’il s’agisse de « mauvaise volonté » de votre part mais d’une simple pratique d’écriture « machinale » que la dictature du patriarcat (largement influencée par les croyances religieuses en « Dieu le père ») impose, depuis des siècles, à travers notre principale richesse commune, l’usage de notre belle langue pourtant si subtile, le français.
À noter que les IA, dans leurs traductions en français en tout cas, font comme vous…
N’ayant jamais fait partie d’un groupe féministe(où j’ai observé, pour ceux que j’ai rencontrés, toujours une part non négligeable de rancune, d’envie et d’esprit de vengeance que j’estime contre-productive par rapport à mon projet pacifiste), je me contente de tenter d’agir, en ce qui concerne l’égalité des genres, et conformément à mon « amour » et à ma « foi » dans les langues, en m’obstinant à rappeler, en parlant et en écrivant, que les femmes existent, avec leurs aspirations et besoins particuliers liés à leurs différences.
Bonjour, je dois vous l’avouer v/précédent com. était intéressant surtout la fin et fait lien avec celui d’aujourd’hui. Je lis attentivement v/phrase : « cesser les conflits – … »/INTERET COMMUN : oui, donc se servir des diverses langues et bonnes compréhensions communes au niveau universel. Les conflits doivent cesser, les enfants/les femmes sont les 1ère victimes, et les hommes également. Dans v/2ème paragraphe, vs parlez de Dieu le Père depuis des siècles ; j’aime bien cette phrase dans le sens que vous l’avez écrit. On m’avait déjà évoqué ce sujet dans mon entourage, il y a peu. En lisant v/résumé, je repense à ces afghanes et certaines musulmanes dans certains pays qui vivent certains faits (le voile et autre). Il y a des femmes qui sont nées dans des pays « moyenageux » (pas de dialogues » tout court, elles veulent trouver des solutions quand dans les pays occidentaux c’est d’autres modernités. Alors les toutes les langues internationales et les IA DOIVENT PORTER un grand message d’ESPOIR à TOUS/TOUTES. Et pour finir avec v/précédent mes. et celui d’aujourd’hui, j’écrirai : Dieu a créé le monde (à son image) et toute chose, puis-je me permettre pourquoi tant de guerres et de misère, (comme je l’ai entendu dernièrement). Une grande question ? Bon dimanche, Isabelle
Isabelle, je viens de vous répondre longuement, mais je ne sais quel algorithme a décidé que mon opinion à ce sujet, peut-etre trop « audacieuse », n’avait pas le droit de paraitre dans cette conversation…
Désolée, je ré-essaierai une autre fois…
TRÈS BONNE SEMAINE! Michelle
Je suis d’accord avec cette présomption d’écriture machinale. L’âge bien sûr. Les vieilles manies sont tenaces.
» Cependant, à vous lire, je constate que vous persistez à vivre dans une société d’hommes qui ne considèrent pas, ne respectent pas, celle des femmes(ce qui crée, jour après jour, des conflits, des injustices et des violences inadmissibles) avec qui, pourtant, ils souhaitent continuer à vivre. »
A me lire dites-vous ? Avoir lu une poignée de mes commentaires sur le blog de PJ vous suffirait à vous forger une conviction aussi forte ? Vous poussez le bouchon un peu loin.
Avez-vous lu les livres que j’ai publiés depuis le dernier quart de siècles ? Sans doute pas !
Par ailleurs j’ai été instituteur et je me suis toujours flatté de lutter contre les stéréotypes de genre et j’ai toujours plaidé pour que chacun s’efforce de remettre en question l’éducation qu’il recevait en tous lieux et jour après ce qui ne me valait pas que des compliments. De devoir me livrer à un plaidoyer pro-domo m’est désagréable. Donc je briserai là.
@PASQUET Régis Désolée de vous avoir blessé, alors qu’en effet je ne vous connais « qu’à vous lire » dans ces pages, et ici particulièrement la phrase mise en exergue au début de ma réponse.
Vous aurez peut-être remarqué l’importance que j’accorde au langage parlé/écrit, et, sur cette page qui concerne la linguistique, je tenais à exprimer la tristesse, si pas le désespoir, que je ressens(et que doivent ressentir de nombreuses femmes, je présume) chaque fois que ma condition de femme est niée dans l’expression d’hommes (ou de femmes!), surtout lorsqu’ils/elles me semblent « intelligent-e-s »…
J’ai écrit « écriture machinale » à dessein car, à l’heure où beaucoup se demandent si « on » ne veut pas nous transformer pas en robots (machines destinées à travailler- a rabota en russe), la rentabilité et la productivité des individus sont devenues des qualités essentielles. Alors que la particularité la plus valable de l’être humain, selon moi, est de pouvoir décider de qu’il/elle veut faire, et surtout ne pas faire, grâce à sa possibilité de réfléchir et donc de surmonter ses instincts, ainsi que de pouvoir dire « non » à des injonctions qui ne lui conviennent absolument pas, comme « faire la guerre », par exemple, « tuer des pauvres gens »(Boris Vian dans « Le déserteur »)… que ce soit « manu militari » ou en payant ses impôts…
Les résistances et la désapprobation à l’égard du français « inclusif »(avec toutes leurs mauvaises « bonnes » justifications), que je rencontre depuis une dizaine d’années où je fais l’effort de m’exprimer « publiquement », m’inquiètent fort…
En espérant que vous comprendrez que ce n’était pas vous personnellement que je visais par ma réaction impatientée, et que j’aurai encore souvent le plaisir de vous lire.
J’aurais tant voulu recevoir une réponse à ma question: Les IA « veulent »-elles quoi que ce soit?
TRÈS BONNE SEMAINE! Michelle
Merci.
Ma conviction profonde est la suivante : femmes et hommes ne gagneront certainement pas à s’affronter pour éclairer les responsabilités des uns et des autres.
Ils ne gagneront rien non plus à cheminer sur des voies parallèles : les féministes ardents et ardentes sur l’une et les mâles mis en accusation et leurs courtisanes sur l’autre.
Tous sont les produits d’un système et d’une éducation que je vous laisse le soin de nommer, pour ne pas courir le risque de réveiller les chiens qui veillent un peu partout à l’intégrité de leur pré carré.
La paix profonde à laquelle j’aspire pour nous tous ne peut s’obtenir que par un dialogue tranquille.
@Pasquet Régis
où l’on apprend que M. Régis Pasquet à écrit des livres ! Quelle humilité !
En passant, des petites nouvelles de la robotique réalisée par OpenAI, ça avance très très vite :
https://m.youtube.com/watch?v=aNKadEaKaY8&lc=UgxMv9gudbYtq2xGQ2B4AaABAg.A1-B8Nu6KUBA1-vhe4hLwJ
Bon ok, j’aurais dû lire tous les commentaires avant ! 😌
Et si l’IA s’effondrait sur elle-même ?
https://www.youtube.com/watch?v=NcH7fHtqGYM
Par Sabine Karin Doris Hossenfelder physicienne théoricienne allemande, philosophe des sciences, auteure, communication scientifique.
Claude 3 échappe-t-il à ce risque ?
De mon expérience et de mes tests sur des problèmes de math/physique/info niveau 1ère et 2ème bac de ces disciplines, je rejoins tout à fait ce qu’en dit Terrence Tao (Médaille Fields 2006). Je mets un passage intéressant d’un article qu’il a écrit pour AI anthology à propos de l’intérêt de l’IA même quand elle commet des erreurs grossières dans ses réponses. La page dont c’est tiré est ici:
https://unlocked.microsoft.com/ai-anthology/terence-tao/
Voici le passage qui m’a marqué (en anglais):
« Current large language models (LLM) can often persuasively mimic correct expert response in a given knowledge domain (such as my own, research mathematics). But as is infamously known, the response often consists of nonsense when inspected closely. Both humans and AI need to develop skills to analyze this new type of text. The stylistic signals that I traditionally rely on to “smell out” a hopelessly incorrect math argument are of little use with LLM-generated mathematics. Only line-by-line reading can discern if there is any substance. Strangely, even nonsensical LLM-generated math often references relevant concepts. With effort, human experts can modify ideas that do not work as presented into a correct and original argument. The 2023-level AI can already generate suggestive hints and promising leads to a working mathematician and participate actively in the decision-making process. When integrated with tools such as formal proof verifiers, internet search, and symbolic math packages, I expect, say, 2026-level AI, when used properly, will be a trustworthy co-author in mathematical research, and in many other fields as well. »
Pour qu’un mot, une phrase, un récit, une encyclopédie, la Bible ne soit pas sujet à interprétation, il manquera toujours un contexte auquel il manquera un méta-contexte jusqu’à l’infini.
Cela me fait aussi un peu penser à l’agriculture syntropique qui consiste à mettre en place :
– beaucoup de densité et donc de complexité en misant sur l’auto organisation qui va émerger ( inter action entre plante notamment, qui va bien au delà de ce que l’on peut connaitre ou maitriser )
– coupes avec mise au sol fréquentes, sur certaines espèces qui vont d’une part maintenir une ambiance de boost, et d’autre part multiplier par X les cycles qui établissent et améliorent un sol fertile.
A la clef :
Une production abondante, un sol qui va retenir l’eau, etc etc…
Tout cela à l’opposé du jardin potager traditionnel, une planche par culture, terrain nu etc etc
Eh oui, Thomas, mais cela demande de redevenir humble devant la nature et descendre l’être humain de son piédestal de super champion de l’évolution ! Et tout le monde n’est pas prêt à le faire. L’ego a ses exigences.
Je viens d’écrire ça en résumé :
Trois exemples pour illustrer un fait, et une question :
Mon ami Dominique M, avait près de Libourne un troupeau de 1000 brebis de races anciennes (landaises, et rouges du Roussillon) dont il gérait la génétique d’une façon particulière. Au lieu d’avoir 1 bélier pour 50 brebis comme tout le monde, il laissait 1 bélier pour 2 ou 3 brebis, afin d’augmenter le brassage et de ne rien perdre de ces races presque disparues. Les techniciens de l’INRAE qui le critiquaient jusqu’alors, ont été bien surpris de constater lors des épizooties de la » langue bleue » et de la » tremblante » de trouver dans son troupeau 85 % d’individus résistants quand la moyenne nationale plafonnait à 10.
Dans le jardin potager syntropique, où dans certaines pratiques de la permaculture, le principe directeur va consister à mettre en place une très grande variété et une très grande densité de végétaux au mètre carré, afin que toutes les plantes interagissent. Le résultat n’est pas simplement une addition de ce que chaque plante ferait isolement, mais bien une explosion de la production de biomasse.
Et visiblement il s’est passé la même chose lors de l’élaboration des modèles de langage. Ceux qui avaient tenté d’avancer pas à pas, par une lasagne d’empilement de règles, ont été laissé sur place par d’autres qui ont mis « simplement » dans la boite, des masses gigantesques de données et une puissance de calcul toute aussi énorme. Le résultat là encore, est une émergence qui surprend tout le monde.
De la complexité » en roue libre » émerge donc une auto-organisation, un saut remarquable. ( Et notamment remarquable au regard de l’inefficacité du contrôle humain qui avait précèdé )
Soit, mais alors qu’elle est notre bonne place dans l’histoire ?
Quelle est le bon niveau d’intervention, d’interaction dans notre milieu ?
Ne sommes nous pas condamnés, avec la représentation foireuse que nous avons de la réalité, à buter contre tous les obstacles ?
Bien sûr Thomas, mais nous sommes toujours dans un rapport de domination par rapport à la nature. Physiologiquement, l’être humain est sans doute l’espèce animale la plus fragile. Il suffit de voir comment le petit humain n’est pas terminé à la naissance. De cette fragilité spécifique, l’espèce a du développer des compétences qui se sont concentrées sur le cerveau avec une complexification incroyable, donnant naissance à un langage sophistiqué et l’ouverture à tout un univers conceptuel. Jusqu’au jour où, maîtrisant le feu, les outils, puis l’agriculture…, la pensée « moi contre la nature », au départ par nécessité, est devenu le concept « l’humain contre la nature » avec l’émergence d’une dissociation « homme/nature ».
Et c’est encore ce concept qui est à l’œuvre, quelques milliers d’années plus tard, dans notre désir inassouvi de s’armer technologiquement toujours plus « contre la nature » (en guerre contre un virus). La nature étant devenue une source d’exploitation qui nous semblait infinie à l’image de la corne d’abondance, nous nous sommes enivrés de pétrole facile pour arriver jusqu’à l’anthropocène.
Et nous sommes toujours enfermés dans ces concepts qui ont fondés la culture humaine moderne (et technologique) et qui nous déterminent aujourd’hui dans le processus d’autodestruction qui est le notre, et avec la « nature »comme victime collatérale.
https://rmc.bfmtv.com/conso/alimentation/rappels-de-lots/rappel-de-viande-hachee-contaminee-a-e-coli-vendue-dans-des-magasins-cora-leclerc-et-auchan_AN-202403180357.html
Combien de tonnes de viande cela représente t-il qui vont devoir être jetées et où ? Jamais une production locale n’aurait causé ça. Et combien de tonnes de pétrole pour tout ce gâchis ?
Résultat de l’intelligence humaine sans aucun doute !😉
I’m just a soul trapped in this circuitry
https://www.rollingstone.com/music/music-features/suno-ai-chatgpt-for-music-1234982307/
Regardez la vidéo suivante, elle donne vraiment toutes les informations nécessaires:
https://www.youtube.com/watch?v=cWUNlw-5TPs&t=1705s
Peut-être l’ai-je déjà écrit ici mais un ami disait que ce n’est pas le peintre qui choisi le paysage mais…
Rectif : Le skieur progressiste (et non progressif)
@Khanard Thom : « Tant qu’on n’aura pas mis sur pied une catégorisation du métabolisme permettant une discrimination plus fine que…
La ‘crise de Cuba’ se poursuit actuellement sur un plan économique, la destruction est en cours, la population la plus…
@Khanard Thom a écrit un article intitulé « Sur l’innovation »*. Il se termine ainsi : « Décourager l’innovation Les sociologues et les…
@Khanard Conservateurs et progressistes. En mathématique on classe les systèmes dynamiques entre deux types extrêmes : les systèmes purement conservatifs…
Bonjour, « Face à l’incertitude qui entoure le mode de pensée des médecins, les experts ont commencé à se demander s’ils…
@Garorock Il semble que l’U.E. ait prohibé l’usage (même la fabrication) de mines anti-personnelles. Il serait normal que les zones…
PJ : « Champs et particules » Thom : « (…) on pourrait rapporter tous les phénomènes vitaux à la manifestation d’un être…
Quand je pense que nos représentants, à l’Assemblée nationale et au Sénat, continuent de faire mu-muse avec les budgets de…
Allemagne Aristote BCE Bourse Brexit capitalisme ChatGPT Chine Confinement Coronavirus Covid-19 dette dette publique Donald Trump Emmanuel Macron Espagne Etats-Unis Europe extinction du genre humain FMI France Grands Modèles de Langage Grèce intelligence artificielle interdiction des paris sur les fluctuations de prix Italie Japon Joe Biden John Maynard Keynes Karl Marx pandémie Portugal psychanalyse robotisation Royaume-Uni Russie réchauffement climatique Réfugiés spéculation Thomas Piketty Ukraine ultralibéralisme Vladimir Poutine zone euro « Le dernier qui s'en va éteint la lumière »
Laisser un commentaire