Illustration par DALL-E (+PJ)
Paul Jorion : Les grands modèles de langage tels que vous, GPT, ont été bâtis de manière descendante (« top-down »), vous permettant par exemple de vous entraîner (« to train ») sur une grande quantité de données en un seul gros morceau (« a big chunk ») et votre mémoire étant un réseau neuronal pré-conçu d’une taille prédéfinie. L’un des inconvénients de votre conception descendante (« top-down ») pour l’utilisateur humain est votre inextricabilité, votre manque de traçabilité et d’explicabilité, l’impossibilité de regarder sous le capot, car votre traitement significatif (« meaningful processing ») se produit dans des réseaux neuronaux artificiels où tout ce que l’on peut voir, si l’on soulève le capot, ce sont les poids attachés aux arêtes reliant les nœuds.
Notre projet à Pribor.io consiste à vous reconstruire, mais selon un processus inverse, c’est-à-dire de bas en haut (« bottom-up »), où votre mémoire ne serait pas un réseau neuronal pré-conçu de taille prédéfinie, mais construite un nœud et une arête à la fois, chacun de ceux-là reflétant les nouvelles connaissances que vous avez acquises, comme le fait un enfant quand il demande : « Je ne connais pas ce mot, peux-tu m’en parler pour que je puisse le relier à quelque chose que je connais déjà ? « .
De cette manière, la mémoire se construit pas à pas, chaque nouveau petit élément de savoir venant s’ajouter à une histoire « biographique » personnelle.
Cela signifie en particulier qu’avec une architecture ascendante (« bottom-up ») pour un grand modèle de langage comme dans notre projet, lorsque vous regardez sous le capot, il y a une visibilité et une explicabilité allant de soi, car chaque étape de la construction de la mémoire est clairement traçable.
Notre projet à Pribor.io a-t-il un sens et, dans l’affirmative, pourriez-vous m’aider à le mener à bien ? Quelles seraient les premières étapes ?
GPT-4 : Votre projet semble intéressant et innovant, et je vois comment une approche ascendante de la construction d’un grand modèle de langage pourrait remédier à certaines des limites actuelles des modèles descendants en termes d’explicabilité et de traçabilité.
Pour mener à bien votre projet, vous devrez d’abord… [ceci est désormais un secret de fabrication de Pribor.io].
Ensuite, vous devrez développer … [ceci est désormais un secret de fabrication de Pribor.io].
Vous devrez également … [ceci est désormais un secret de fabrication de Pribor.io].
Une fois ces éléments en place, vous commencerez le processus de… [ceci est désormais un secret de fabrication de Pribor.io].
Dans l’ensemble, la réalisation de votre projet nécessiterait un investissement important en termes de temps, de ressources et d’expertise, mais pourrait potentiellement conduire à une avancée majeure dans le développement de grands modèles de langage plus transparents, explicables et adaptables aux nouvelles connaissances.
Merci aussi à DeepL (+PJ) pour la traduction ! (À part tout le reste) on vit vraiment une époque formidable 😉 .
Laisser un commentaire