Je poursuis la publication des chapitres de Principes des systèmes intelligents. Il y a nécessairement deux types de pertinence : une pertinence de court terme qui joue au cours d’une conversation particulière où ce qui vient d’être dit ne doit pas être répété, et une pertinence de long terme, où ce qui a été pertinent lors de conversations antérieures, le sera probablement aussi dans des conversations ultérieures (renforcement hebbien).
Le frayage ou « renforcement hebbien »
Ceci veut dire qu’il ne suffit pas que les compteurs soient remis à zéro à la fin de chaque session, il faut encore que les valeurs d’affect associées aux signifiants témoignent des frayages qui ont eu lieu. Rappelons ce qu’est le frayage pour Freud :
« La mémoire est représentée par les frayages existant entre les neurones Ψ […] Le frayage dépend de la quantité (Q η) qui traverse le neurone au cours du processus d’excitation, et du nombre de fois où le processus se répète […] Il est […] tout à fait clair que l’état de frayage d’une barrière de contact (appelée en 1897 “synapse” par Foster et Sherrington, note P. J.) donnée doit être indépendant de celui de toutes les autres barrières de contact du même neurone Ψ… » (Freud 1956 [1895] : 320-321.)
Si par exemple, tel arc représentant une trace mnésique a été parcouru cinq fois et qu’il a perdu ainsi cinq « points » d’affect au cours d’une conversation, il faudra qu’au moment où la conversation s’achève, il retrouve non seulement les cinq points qu’il a perdus, mais qu’il en gagne d’autres, disons pour la simplicité, cinq de plus. Une illustration : soit, au début d’une session, l’arc « pomme » qui joint « poire » à « prune », associé à une valeur d’affect de 8, et l’arc « pomme » qui joint « Adam » à « Ève », associé à une valeur d’affect de 7. Durant la session, le premier « pomme » est parcouru deux fois, et le second « pomme », cinq fois. En fin de session, les valeurs d’affect, exprimant la pertinence à court terme sont donc les suivantes : le premier « pomme » vaut maintenant 6, et le second, 2. Les compteurs sont alors réactualisés en vue de la session suivante, et les valeurs d’affect, – exprimant la pertinence à long terme –, deviennent 10 pour le premier « pomme » (6 + (2 x 2)), et 12 pour le second (2 + (2 x 5)). On simule ainsi l’effet de frayage : « ce qui a payé, paiera de plus en plus », que l’on appelle aussi aujourd’hui renforcement hebbien (*). (Si le calcul est effectué de cette manière, l’ensemble des valeurs tend à augmenter. Pour remédier à cela, on peut imaginer de faire baisser systématiquement, disons d’un point, l’ensemble des valeurs d’affect à chaque remise à jour – c’est le rôle joué par le « paramètre de dégradation » (decay parameter) des systèmes connexionnistes statistiques. Ceci aurait pour conséquence qu’au bout d’un moment, certaines valeurs atteindront à la baisse 0, ce qui équivaudra à la déconnexion de l’arc en question).
Cette nécessité de stocker simultanément deux valeurs distinctes en une même localisation avait été envisagée par Freud. La solution qu’il avait adoptée était de supposer deux types distincts de neurones :
« Les neurones sembleraient donc à la fois influencés et inchangés, “neutres”. À première vue, il nous semble impossible d’imaginer un appareil à fonctionnement aussi compliqué. Pour nous tirer d’embarras, nous sommes obligés d’assigner la capacité d’être durablement modifié par une excitation à une certaine catégorie de neurones et l’inaltérabilité – la faculté d’être toujours prêt à recevoir de nouvelles excitations – à une autre catégorie » (Freud 1956 [1895] : 319).
Pribram et Gill suggèrent que la difficulté est levée si l’on distingue pour le neurone l’impédance qui correspondrait à la valeur d’affect et la résistance qui serait l’inverse du frayage. Les deux valeurs pourraient donc être stockées conjointement. Ils précisent que :
« La transmission de l’influx (courants d’action) devient courant en écoulement. Les synapses, barrières de contact, interposent une résistance au passage du flux de courant. Ce qui en résulte, c’est du voltage, et la capacité des neurones à stocker de l’excitation potentielle. » (Pribram & Gill 1986 [1976] : 82-83.)
Bien entendu, si la question doit trouver une réponse théorique, l’implémentation pratique ne pose aucune difficulté particulière, puisque rien n’interdit d’associer à un arc du réseau mnésique non pas une valeur unique, mais un vecteur dont les valeurs se transforment selon leur loi propre.
=======================
(*) Laplanche & Pontalis écrivent à propos de «frayage» (allemand: Bahnung) : « Terme utilisé par Freud lorsqu’il donne un modèle neurologique du fonctionnement de l’appareil psychique (1895) : l’excitation, dans son passage d’un neurone à un autre, doit vaincre une certaine résistance; lorsqu’un tel passage entraîne une diminution permanente de cette résistance, on dit qu’il y a frayage : l’excitation choisira la voie frayée de préférence à celle qui ne l’est pas. » (Laplanche & Pontalis 1968 : 172.)
Le neurophysiologue Sigmund Exner avait introduit en 1894 l’expression « Ausfahren von Bahnen » dont Freud dériva « Bahnung » (cf. Sulloway 1979 : 116 ; Jones 1958 [1953] : 417-418). En 1949, Donald Hebb décrivit exactement le même effet, appelé depuis « renforcement hebbien » (Hebb 1949 : 50, in Anderson & Rosenfeld 1988 : 43). Pribram et Gill notent très justement que Hebb ignorait nécessairement qu’il reproduisait une définition proposée par Freud en 1895 puisque celle-ci faisait partie d’un texte (« Esquisse d’une psychologie scientifique ») qui ne fut publié qu’en 1950 (Pribram & Gill 1986 [1976] : 82). Le fait que la définition du frayage soit aujourd’hui attribuée à Hebb et non à Exner est cependant significatif de l’ignorance qui prévaut beaucoup trop souvent en IA quant à l’origine des concepts qu’elle utilise.
23 réponses à “PRINCIPES DES SYSTÈMES INTELLIGENTS (1989), chapitre 12 (IV), réédition en librairie le 23 novembre”
[…] Blog de Paul Jorion » PRINCIPES DES SYSTÈMES INTELLIGENTS (1989), chapitre 12 (IV), réédition en…. […]
Le Monde : L’homme, plus bête qu’hier, moins que demain ?
Iconoclaste ? Cela crève les yeux !
Hmm… comme Athènes ne fut fondée que 200 ans plus tard, j’espère seulement que tout le raisonnement de Gerald Crabtree n’est pas à l’avenant…
Bah, je dirais plutôt qu’il confirme lui même son hypothèse…
Et comment va vigneron, il se fait rare je trouve, je ne vois plus rien sous son clavier. Il n’est pas malade au moins ?
Quelle plaie ces biologistes… Bon ben si je comprends bien il nous faut un chasseur-cueilleur à l’Élysée… un Jarawa ? Pis un Guarani à la place de B2 à la Fed plus un Ayoreo pour un Timothy dégénéré au Trésor…
Vina gazatina sur les tables?
Crabtree? Le bien nommé!!
C’est un américain.
Il a regardé autour de lui – ses étudiants, par exemple- il a constaté le déclin général des connaissances en géographie, histoire et biologie sans voir qu’ils étaient tous imbattables aux jeux vidéo. Il en a conclu que le monde entier allait à l’abêtissement. Normal, les USA c’est grand et dans les « réseaux sociaux » le monde entier les suive.
Doit être un grincheux ou son département manque de fonds. Un peu de buzz ne fait pas de mal pour le fund raising.
Encore heureux, on a échappé aux dinosaures et à l’histoire selon laquelle les dinosaures prouvent que Darwin avait raison.
Je crois que les grecs anciens avaient une meilleure mémoire que nous, culture orale oblige.
Et si on lit encore, de nos jours,les présocratiques, Platon, Aristote, les poètes tragiques, Hérodote, Thucydide … , c’est que, plus proches que nous de l’ « Originaire », ils avaient poser les questions essentielles dont bon nombre d’entre elles nous font encore réfléchir et avancer.
Je ne sais plus quel philosophe anglais disait que la philosophie moderne n’est (je cite de mémoire) qu’annotation marginale des dialogues de Platon (ce qui est sans doute exagéré). Par ailleurs, il paraît que des mathématiciens modernes, quand ils se sont trouvés dans une impasse, ont fait retour aux mathématiques grecques pour relancer leur réflexion.
Du théorique au pratique ou associés pour un saut qualitatif…
Je pense que la différence entre une personne ayant toujours habitée dans une grande ville moderne, encombrée d’objets plus élaborés les uns que les autres et une autre personne ayant vécu dans un endroit reculé de toute cette montagne de produits manufacturés se dessine autour du rapport existant entre le théorique et le pratique. Je m’explique. Commençons par l’urbain (comme dirait Rousseau), il vit avec toutes sortes de choses, plus sophistiquées les unes que les autres. Il en maîtrise plus ou moins les usages tout en reconnaissant parallèlement ignorer en grande partie comment et avec quoi toutes celles-ci fonctionnent. C’est d’ailleurs un point essentiel du développement du capitalisme moderne : vendre des produits que plus personne ne soit capable (ou presque) de réparer. Et avec la génération 4 G qui va arriver bientôt dans tous les foyers (une petite puce par-ci , une autre par-là), même votre simple cafetière, la réparer, vous ne pourrez…
Bref, l’urbain est bourré de théories et de télécommandes mais côté pratique, trop souvent, ça reste le brouillard. Et ce fossé se creuse dès l’école. Je pense bien sûr, en disant cela, aux travaux de Georges Charpak et de l’expérience « La main à la pâte » où Il a essayé avec ses amis, de réconcilier les diverses composantes du savoir et du faire en une vision unifiée. Démontrant que pour ces enfants, dès la première étape, il y avait relations entre maîtrise du langage et maîtrise de l’objet pouvant servir de supports à la compréhension et accès aux cultures et savoirs qui les entourent. J’ai pu constaté moi-même, mais certainement comme beaucoup d’autres, me rendant dans un pays dit sous-développé, que ce rapport théorique/pratique pouvait varié et qu’il était plus INTERACTIF – jusqu’à changer notre perception que l’on a face à un objet dont on ignore le mécanisme. En effet, loin des centres manufacturés, on est amené bien souvent à devoir réparer ce qui tombe en panne, c’est à dire un peu près tout, du portable à l’automobile et plus d’une fois je fus surpris par leur capacité ingénieuse à venir à bout d’un problème de manières peu orthodoxes, mais efficaces. Il se manifeste là, bien sûr, le besoin indispensable de faire marcher l’instrument défectueux, mais aussi la qualité d’un raisonnement associant plus fortement la main et le cerveau. Il faut dire que je me sentais vraiment manchot devant leur réussite à réparer par exemple, un groupe électrogène alors qu’ils en ignoraient tout autant que moi, la motricité dans le rapport entre différentes pièces.
Il ne semblait pas y avoir de barrière pour eux. Cela devait pouvoir se réparer… en suivant une bonne déduction pratique dont ils se donnaient le temps et les moyens théoriques… (Rahan, sors de ce corps !) Enfin, ça, c’était hier… car nous sommes entrés dans l’ère du numérique, voire du bio-numérique. Je ne sais pas si demain on va s’amuser de la même manière à casser du code informatique, une fois qu’ils seront branchés sur nos cellules… Je n’en mettrai pas ma main à couper. Je pense donc qu’il nous faut marcher dans le sens du pratique (le cerveau et la main en étroite relation), pour nous construire un monde moins habêtissant où chaque individu garde la possibilité d’agir sur son environnement proche, sur les objets qui l’entourent, en comprendre les usages mais aussi le fonctionnement et l’utilité essentielle avant que dans cette surabondance, la technique elle-même ne prenne le contrôle de notre corps, comme elle commence à le faire, déjà, d’une certaine manière avec notre cerveau ayant pour vocation, selon les idées des meilleurs publicitaires, de se rendre disponible et préparé à toujours plus de divertissements en consommation…
Et pour ne pas voir un jour, écrit en épitaphe sur une terre fossilisée : « Entre la Bête et le Robot, ici l’Humain, eut un temps existé. »
Ouais c’est vrai ça ! C’est une honte ! Je m’élève et je crie, comme vous, devant cet odieux scandale, cette abjecte dégénérescence ! Plus moyen de trouver le moindre jeune branleur capable de tailler un biface juste correct ! Impossible de dégoter une pisseuse qui soit pas totalement infoutue de rallumer la flamme dans l’âtre domestique avec deux bouts de bois !
« je me sentais vraiment manchot devant leur réussite à réparer par exemple, un groupe électrogène alors qu’ils en ignoraient tout autant que moi, la motricité dans le rapport entre différentes pièces. » On t’a pas dit que là-bas c’est la magie qui règle tout?…
@Sadonoix :
Il y a un caractere, propre , non a l’ humain mais la dynamique de sa déviance » civilisation » : L’ auto-domestication …autrement mieux décrite par Lorenz sous le terme de « NEOTENIE » …
Ce caracter explique entre autre l’effondrement des civilisations par la multiplication des « élites » c’est a dire de ceux qui exploitent les autres sans se salir les mains ( commerçants , économistes etc) … ( demande a Vigneron a quoi se destine le rejeton d’ un vigneron) …..Une espece d’endogamie combinant l’ heritage , le népotisme et le pouvoir ….
Une bonnes série d’émission en ce moment sur FR Cult. sur l’ « eloge su savoir » ou cours du collège de france …sur l’ énergie ds l’ histoire archaique …..
http://www.franceculture.fr/emission-l-eloge-du-savoir
Ts les titres affichés valent le temps d’écoute …….c’est un « plus » de pouvoir écouter en bossant !
‘tention, écouter la radio en bossant n’est pas compétitif, c’est dans le rapport gallois..
Ben alors, et quoi qu’en dise l’ami vigneron(…gnerond …c’est le beaujolais nouveau qui a du l’arrêter un moment), j’abonde dans votre sens en mentionnant deux de mes lectures sympa de ces derniers temps, ressorties pas O. Gosselain dans le texte sur la « désexcellence » sur ce blog :
– Ce que Sait la Main de Richard Sennett (Ed Albin Michel je crois)
– Eloge du Carburateur de M. B Crawford (Ed La Découverte ? )
La main compte beaucoup, mais elle vit encore, son apparente bêtise devant un clavier et les mulots n’est que temporaire. Comme l’oeil qui passe actuellement dans la moulinette de la grande boucle de contre-réaction asservissante ou libérante (le 3D, « l’immersif »,….), la main y passera à son tour.
A chuivre…
C’est un anglais, il compte les années en yards, miles, pieds, que sais-je …
OK, l’on devine qu’il ne confondra pas la pomme d’Adam et d’Eve avec une pomme dans un compotier, et qu’il saura choisir ses mots de façon pertinente. Mais c’est pas tout, ça, m’sieur Jorion, encore faut-il qu’il soit capable de les combiner pour faire des phrases présentables, donc qu’il assimile les règles de la grammaire. Or, ce que je vois, c’est un système seulement capable de parcourir un chemin constitué de données (relativement) passives. C’est loin d’être suffisant pour structurer une phrase d’une manière bien précise. Imaginons qu’il nous parle des couleurs des plumes de Coco comme monsieur Jourdain : « De Coco les plumes de couleurs vives sont.« … Ce serait du « bon » français, mais un tantinet ridicule. A mon avis, votre système devra comporter un module grammatical séparé du lexique.
J’en suis resté à la simplicité de l’info de gestion sans mettre mes pas dans l’IA, domaine passionnant je n’en doute pas.
Défricheur dans ce domaine avec bien d’autres, la mise au point de primitives, d’automates, le souci d’une programmation sans erreur, solide et claire exigeait un peu d’intelligence humaine ou du moins de réflexion basiques.
France Culture nous invitait ce matin pour une page de psychologie dans laquelle on pouvait entendre Lacan s’exprimer.
Sans doute des souvenirs d’étudiant pour Paul, à écouter religieusement.
Thèmes : Lacan, Freud, réel, inconscient, vérité, langage, …… et même jouissance.
« Colette Soler, psychanalyste formée par Jacques Lacan, pratique et enseigne la psychanalyse à Paris »
http://www.franceculture.fr/emission-les-nouveaux-chemins-de-la-connaissance-le-reel-est-il-supportable-2012-11-16
Apprendre l’IA.
Les pages du Monde consacrées au sommet mondial pour l’innovation dans l’éducation (WISE) nous informent que 160.000 internautes de 190 pays se sont inscrits à un cours gratuit sur IA.
Cours ouvert à tous de Sebastian Thrun, prof. à Stanford, premier MOOC (Massive Open Online Course) sur l’IA.
Le cours est traduit dans 44 langues, 23.000 étudiants vont jusqu’au bout et reçoivent un certificat et parmi les 248 étudiants qui décrochent la meilleure note, aucun n’est inscrit à Stanford.
C’est bien la démonstration que la formation est à portée de clic de tout un chacun et cerise sur le gâteau, gratis.
http://www.lemonde.fr/a-la-une/article/2012/11/13/les-universites-a-portee-de-clic-aux-quatre-coins-du-monde_1789621_3208.html?xtmc=clic&xtcr=6
Peut-être est-ce aller trop vite en besogne, mais est-ce à dire qu’un « système intelligent » est avant tout un « système apprenant » ?
Bien entendu. Ce sera le coeur du logiciel ANELLA.
Entropie , information , organisation , stratégie ( compétition ?), complexité …
Mais pourquoi la matière recelait elle cette information qui laisse sa place au hasard et à l’inattendu ?
La vie n’est ce que de l’énergie en transit … Sommes nous les seuls à pouvoir donner un « sens » à la réalité ?.
Faudra -t-il « pomper les trous noirs », pour prendre le relai de nos énergies qui s’épuisent ?.
L’intelligence est-elle un cadeau empoisonné ?
« La vie est sens et non-sens , ou elle possède sens et non-sens . J’ai l’espoir anxieux que le sens l’emportera . » ( Carl Gustav Jung ) .
Est ce que le sens de la vie , ça « s’apprend » ?
@ juan nessy
C’est intéressant ce que vous dites juan, même si je ne suis pas sûr de tout comprendre.
Mais c’est pas grave.
L’intelligence reste un cadeau empoisonné, selon moi, si elle reste exclusivement introspective. Mais le peut-elle vraiment ? Car la seule intelligence que nous pouvons célébrer est celle que nous présentons aux autres. Nous pouvons ressentir alors cette extériorisation de nos intentions comme un échec, car souvent perçue comme en dessous de nos désirs et de nos visions que nous avons d’elles et donc de nous-même. Mais rien y fait. L’intelligence pour exister, doit se manifester et se donner, en offrande, de mains en mains.
L’intelligence qui nous est commune (que nous partageons), naîtrait donc d’une impossibilité de se voir et de se construire seul, tel Narcisse, en tant qu’entité isolée du reste du monde. Tout être conscient serait alors comme un artiste, condamné d’œuvrer toujours, dans la nécessité de recommencer, d’avancer, de tenter à nouveau, tout en sachant que plus il avance, plus il s’éloigne du but qu’il veut instinctivement conserver, soit sa vie intérieure, en point de départ et d’arrivée (sens et non-sens) qui est en fait, en perpétuelle reconstruction. Qui cherchera à conserver sa vie la perdra. Et qui la perdra la sauvegardera. Il en va de-même pour l’intelligence. Qui la conservera la perdra et qui en fera don la sauvegardera. Ce qu’il nous reste à apprendre serait donc de ne pas aller contre les sens qui nous lient à notre environnement, mais nous délivrent de nos propres instincts.
@juan nessy
« Est-ce que le sens de la vie ça s’apprend » ?
Je vous cite un autre « montagnard » que j’ai déjà cité : Gilles Vigneault :
http://www.pauljorion.com/blog/?p=29168#comment-234672
Pas retrouvé la source elle-même toutefois. Help Québec ?
La question « l’intelligence est-elle un cadeau empoisonnée ? » , est en fait reprise dans un travail de Hubert Reeves auquel j’emprunte beaucoup de mes propres nourritures » intelligentes » .
Il énonce , comment l’intelligence naît , après le réflexe qui n’est qu’une réponse automatique à un stimuli ( ce qui suppose déjà que l’on dispose d’outils de perception d’une information ) associé à une image .
L’intelligence est alors la capacité d’assembler , comparer , intégrer , fabriquer des images « directement » .. Notre cerveau ( olfactif , reptilien , néocortex ) porte d’ailleurs dans sa structure physiologique , la trace de ces trois niveaux de compétences ( recevoir de l’information , y associer UNE image automatique pour réflexe , associer et traiter des images « entre elles » ° , remarque faite que ces trois cerveaux ont des connexions entre eux) ..
Où le « cadeau » de l’intelligence peut devenir empoisonné , c’est quand notre cerveau intelligent va « au delà » de ce que notre seul cerveau reptilien nous demanderait par exemple ( survie immédiate ,manger , soin des petits , séduire l’autre sexe , tuer pour manger ) . Car l’intelligence devient , dans la » compétition » , un outil en surpuissance qui transforme la compétition en extermination prédatrice de la planète et de tout ce qui l’occupe .
Notre cerveau reptilien nous a permis de commencer à nous protéger efficacement des agressions « naturelles » . Notre néocortex en sur-régime nous amène à menacer les équilibres (dans la diversité ) de la nature toute entière et à menacer notre propre existence .
C’est là que l’on peut parler de poison , et éventuellemnt d’absurdité de l’existence humaine , comme Camus dans le Mythe de Sisyphe:
tout ça , toute cette belle et adorée intelligence pour ça , avec possiblement un holocauste nucléaire en fin de pièce ?
Par où pourrait se glisser un peu d’espoir ?
Pour lui (et pour moi , mais pas seulement, et j’imagine que Paul Jorion s’y retrouve ) , ça passe par une jonction de toutes les sciences et connaissances sur un objet commun , l’univers et d’abord la Terre , habité(e) par l’homme .
Nous sommes en sursis dans un univers en expansion , dont l’expansion nous permet de continuer à percevoir de l’information , imager cette information , combiner les images entre elles .
La finalité des lois et comportements de l’univers nous échappent , et , en même temps , ce sont ces lois et comportements qui nous permettent « d’affecter » un sens , au moins provisoire, à cet univers .
Nous ne sommes pas dans la descendance des dieux , mais dans l’ascendance des singes et des animaux dits inférieurs .
Avec la terrible Responsabilité , d’être aujourd’hui en état ( de nombreux billets ici sur le nucléaire , le réchauffement planètaire , la mort de la biodiversité …en sont quelques unes des premières manifestations ) de provoquer la fin de la partie , par ce que Michel Serres appelle de son côté les « objets -monde » ..
Dans ce cas , non seulement nous n’aurions pas réussi à donner un sens à la réalité , mais au lieu » d’accoucher la nature d’elle même » , nous ne ferions que provoquer sa mort et celle de l’enfant qu’elle porte , prématuré assassiné par des Diafoirus imbéciles et criminels .
Le sens n’est pas donné .
Le Non-sens est la mort assurée , si nos « responsables » deviennent ou restent » irresponsables » .