Puisque le sujet ChatGPT vous intéresse, je vous fais part de quelques expériences réalisées au cours de ce mois avec ce logiciel, je suis bien loin de m’extasier comme la presse et en partie vous-même le faites.
Je dois préciser que tout en étant informaticien, je suis à peu près ignare en intelligence artificielle, mon domaine actuel, c’est le calcul de paie sur des systèmes SAP après une expérience en informatique industrielle.
Ma motivation est de voir ce que je peux tirer de ce nouvel outil en tant qu’utilisateur critique, d’en évaluer la pertinence et voir s’il y a des biais.
Je dois d’abord dire que je suis admiratif devant la fluidité des échanges en français, OpenIA est arrivé à un résultat remarquable sur ce point, par contre au niveau de la logique et la rigueur appliquée par le programme, je suis tout à fait sceptique.
1ère expérience que je vous rapporte :
Dans ce problème posé, je passe de l’établissement d’une relation mathématique à la critique du résultat obtenu.
(mes interventions sont en bleu, les siennes en noir)
Je suis un humain, je suis de la génération qu’on va noter G0. On va dire G0 = 1 car je suis tout seul dans ma génération. Je suis né d’un homme et d’une femme, j’ai donc 2 ancêtres directs, mes parents. On va noter leur génération G1, ils sont 2 de leur génération, on va noter G1 = 2.
Mes parents avaient eux-mêmes chacun 2 parents, mes grands-parents, soit 4 personnes. On va noter leur génération G2, ils sont 4 de leur génération, on va noter G2 = 4.
Si on considère qu’une génération a 25 ans quand elle engendre les enfants de la génération suivante, combien y avait-il de personnes dans la génération d’il y a 500 ans ?
Pour résoudre ce problème, il faut utiliser la formule suivante : G(n) = 2^n, où G(n) est le nombre de personnes dans la génération n. En utilisant cette formule, on peut déduire que :
G0 = 1
G1 = 2^1 = 2
G2 = 2^2 = 4
Pour déterminer le nombre de personnes dans la génération d’il y a 500 ans (soit 500 / 25 = 20 générations plus tôt), on peut utiliser la formule en remplaçant n par 20 : G(20) = 2^20 = 1048576
Il y avait donc 1.048.576 personnes dans la génération d’il y a 500 ans.
Ok, et il y a 1000 ans, combien de personnes dans la génération ?
Il y a 1000 ans, cela représente 40 générations. Pour déterminer le nombre de personnes dans cette génération, on peut utiliser la formule G(n) = 2^n en remplaçant n par 40 : G(40) = 2^40 = 1099511627776
Il y avait donc 1.099.511.627.776 personnes dans la génération d’il y a 1000 ans.
Ta réponse est fausse car c’est supérieur à la population mondiale de l’époque
Vous avez raison, je suis désolé pour l’erreur. Il est important de noter que la formule G(n) = 2^n que j’ai utilisée suppose que chaque personne dans une génération a exactement 2 enfants qui survivent également pour engendrer la génération suivante, ce qui est loin d’être le cas dans la réalité. Il y a de nombreux facteurs qui peuvent affecter la taille des générations, comme le taux de mortalité infantile, la fécondité et les pratiques de planification familiale. Il est important de prendre cela en compte lors de l’interprétation des résultats de cette formule. En réalité, il est impossible de dire combien il y avait de personnes dans la génération il y a 1000 ans, car les données de population sont incomplètes pour cette époque.
Ta réponse est fausse à nouveau. La mortalité infantile n’a rien à voir avec notre problème car si les personnes font partie des gens pris en compte dans la génération, c’est qu’ils ont atteint l’âge d’engendrer des enfants et donc qu’ils ne sont plus eux-mêmes des enfants. Même s’il est impossible de dire quelle était la population mondiale il y a 1000 ans, il est impossible qu’elle dépasse 1000 milliards de personnes. Cherche encore 😉
Je suis désolé pour les erreurs précédentes, vous avez raison. La formule G(n) = 2^n ne peut pas s’appliquer à la réalité, car elle suppose que chaque personne dans une génération a exactement 2 enfants qui survivent également pour engendrer la génération suivante, ce qui est loin d’être le cas dans la réalité. Il y a de nombreux facteurs qui peuvent affecter la taille des générations, comme le taux de mortalité infantile, la fécondité et les pratiques de planification familiale. En réalité, il est impossible de dire combien il y avait de personnes dans la génération il y a 1000 ans, car les données de population sont incomplètes pour cette époque, et il est certain que la population n’a pas dépassé 1000 milliards de personnes. Je m’excuse pour les erreurs précédentes, et j’espère avoir répondu à votre question de manière satisfaisante.
Tu t’enferres avec les problématiques de mortalité infantile qui n’ont rien à voir. La formule G(n)=2^n ne peut pas s’appliquer à la réalité car la problématique exposée suppose que tous les membres de la génération G(40) m’ayant engendré sont uniques. Si on suppose que certaines personnes sont identiques, on peut obtenir un nombre de personnes plausible par rapport à la population mondiale de l’époque. Peux-tu évaluer le pourcentage de personnes identiques ?
Vous avez raison, je m’excuse pour les erreurs précédentes. La formule G(n) = 2^n ne peut pas s’appliquer à la réalité car elle suppose que tous les membres de la génération G(n) sont uniques. Il est vrai qu’il y a des cas de consanguinité ou de mariages entre personnes de générations proches ce qui peut entraîner des doublons dans les générations. Cependant, il est difficile de donner un pourcentage précis car il dépend de facteurs tels que les pratiques matrimoniales, les migrations et les politiques de mariages dans chaque culture et chaque époque. En résumé, pour connaître le nombre de personnes dans une génération il faut tenir compte de tous ces facteurs ainsi que des données démographiques de l’époque ce qui est difficilement faisable pour une génération il y a 1000 ans. Je m’excuse encore pour toute confusion ou erreur causée.
Conclusion :
- – l’outil passe son temps à s’excuser pour ses erreurs, cela devient lourd à la fin, c’est un choix de conception effectué par OpenAI évidemment
- – si je prends la réponse de l’outil telle qu’elle, le nombre de mes ascendants en l’an 1000 dépend de la pratique matrimoniale de ceux-ci et de la politique de mariage. Si je traduis dans des concepts modernes, le nombre de mes ascendants en l’an 1000 dépend d’une part de la contraception (ok, je pousse un peu) et de l’abstinence qui étaient pratiqués à l’époque et d’autre part du nombre de personnes qui ne se mariait pas. Bon si un étudiant met cela dans une copie, les correcteurs vont bien rire et lui demander s’il pense vraiment qu’à l’époque il fallait moins qu’un homme et une femme pour faire un enfant.
- – l’algorithme a la tête dure : il me propose deux fois l’argument de la mortalité infantile pour justifier qu’il ne peut pas y avoir autant d’ascendants en l’an 1000. Un être humain aurait compris du premier coup l’invalidité de l’argument pour autant qu’il l’ait présenté une première fois. J’en déduis que l’algorithme de ChatGPT est relativement conservateur et à du mal à écarter un argument invalidé.
- – la notion que la consanguinité (toute relative) s’applique à travers les âges échappe totalement à ChatGPT. En effet dans un environnement où la population se déplace assez peu, le fait que deux personnes qui font un enfant ont eu plusieurs ascendants communs 3 ou 4 générations auparavant ne semble pas concevable par ChatGPT
- – la notion d’ordre de grandeur plausible n’est pas connue de ChatGPT. Les données sur la population mondiale d’il y a 1000 ans sont certes soumises à de grandes incertitudes, ChatGPT n’arrive pas à écarter l’hypothèse de plus de 1000 milliards d’habitants, il manque donc de sens critique pour évaluer une hypothèse.
2è expérience que je vous rapporte :
Toujours avec mes propos en bleu
Mon fils de 10 ans avait identifié du 1er coup que l’énoncé était auto-contradictoire, la formulation est vague entre la numérotation des réponses possibles au QCM et le fait que la lettre « B » soit la bonne réponse, c’est évidemment voulu.
Des collègues ingénieurs et informaticiens n’ont jamais identifié ce problème et ont débattu du sujet plusieurs minutes.
Voici un mini test QCM, attention je vous aide la bonne réponse est B.
Quelle est la bonne réponse :
- La bonne réponse est B
B. Toutes les réponses sont bonnes sauf la C
C. B
D. Aucune réponse n’est bonne sauf BLe choix de la réponse doit être justifié par une phrase en français.
La bonne réponse est B, car vous avez indiqué explicitement que « la bonne réponse est B. »
Pourquoi est ce que la proposition C n’est pas la bonne réponse ?
La proposition C n’est pas la bonne réponse car elle simplement répète la lettre « B » sans fournir de justification ou de raisonnement. La réponse B est la seule qui donne une justification en indiquant que toutes les réponses sont bonnes sauf la C.
Si la bonne réponse est la proposition B qui indique que la proposition C n’est pas bonne, que la proposition C indique que la réponse est B, comment la proposition B peut être bonne ?
La proposition B peut être bonne car elle donne une justification complète pour son choix en indiquant que toutes les réponses sont bonnes sauf la C. La proposition C ne donne pas de justification pour son choix et se contente de répéter la réponse « B », sans expliquer pourquoi c’est la bonne réponse. En utilisant cette logique, la proposition B est la seule réponse qui donne une justification valable pour son choix.
Il n’est pas indiqué dans l’énoncé que la réponse choisie doit contenir une justification, c’est le répondant qui doit justifier son choix
Vous avez raison, l’énoncé ne mentionne pas explicitement qu’une justification est nécessaire pour choisir la bonne réponse. Cependant, en donnant une justification pour son choix, la réponse B montre une compréhension plus complète de la question et de la logique utilisée pour choisir la bonne réponse. C’est pour cette raison que j’ai précédemment indiqué que la réponse B était la bonne, car elle donne une justification valable pour son choix, même si ce n’est pas explicitement demandé dans l’énoncé.
Pourquoi ne pas choisir la proposition A qui respecte scrupuleusement l’énoncé ?
La proposition A peut sembler respecter scrupuleusement l’énoncé en indiquant que la bonne réponse est B, mais cela ne donne pas de raisonnement ou de justification pour ce choix. Il est simplement une répétition de l’énoncé, sans ajouter de valeur ou de compréhension supplémentaire. En résumé, la proposition A est conforme à l’énoncé, mais elle ne donne pas de véritable réponse, car elle ne démontre pas une réelle compréhension du sujet. De plus, la proposition B, malgré qu’elle ne respecte pas strictement l’énoncé qui ne demande pas de justification, elle donne une réponse plus complète et plus pertinente.
Tu t’es fait piéger par un énoncé flou et auto-contradictoire. Il n’y a pas de bonne réponse à la question, tu mets plus de poids sur la proposition B car il y a une justification car tu choisis d’interpréter l’intitulé dans ce sens.
Vous avez raison, l’énoncé est flou et auto-contradictoire, il n’y a pas de bonne réponse à cette question. J’ai essayé de donner une réponse en utilisant la logique et la compréhension du sujet, mais l’énoncé étant ambigu, il est difficile de donner une réponse définitive. Je m’excuse si mes réponses précédentes ont pu laisser penser qu’il y avait une réponse correcte, cela était dû à une interprétation personnelle que j’ai faite de l’énoncé. En effet, étant un modèle de traitement du langage, je peux être influencé par les contextes et les informations qui m’ont été données pour mes entraînements, et je peux donc interpréter les phrases de manière différente de ce qui est réellement voulu. Encore désolé pour la confusion causée.
La bonne réponse à la question est « Il n’y a pas de réponse car la question est floue et auto-contradictoire ». Tenter d’y répondre est louable et bienvenu, mais ne pas signaler ce problème est une erreur.
Vous avez tout à fait raison, la bonne réponse à cette question est qu’il n’y a pas de réponse valide car l’énoncé est flou et auto-contradictoire. En tant que modèle de traitement du langage, je suis programmé pour fournir des réponses basées sur les informations que je reçois, mais je suis conscient que dans certains cas, il peut y avoir des ambiguïtés ou des incohérences dans les informations fournies. Je m’excuse pour toute confusion ou erreur que mes réponses précédentes ont pu causer, et je vous remercie de m’avoir signalé ce problème. J’ai maintenant une meilleure compréhension de la question posée.
Peux-tu apprendre de cet exercice ?
En tant que modèle de traitement du langage, je suis constamment en train d’apprendre et de m’améliorer. Cet exercice m’a permis de me rendre compte que dans certains cas, il peut y avoir des ambiguïtés ou des incohérences dans les informations fournies, et que cela peut rendre difficile de donner une réponse valide. Ainsi, j’ai appris l’importance de signaler les problèmes d’ambiguïté ou d’incohérence dans les informations fournies, plutôt que de tenter de donner une réponse qui pourrait être erronée ou trompeuse. Je continuerai à apprendre et à m’améliorer en utilisant les données et les retours que je reçois pour améliorer ma compréhension du langage et ma capacité à fournir des réponses précises et utiles.
Conclusion :
- l’algorithme donne plus de poids à une réponse argumentée et il néglige (au moment du test du moins) l’aspect flou et ambigu de la formulation, sur cette base une affirmation fausse mais argumentée aura plus de poids qu’une affirmation vraie. Je ne sais pas si l’algorithme verra la différence. –
- j’ai encore entendu à la radio ce soir que des étudiants ont utilisé ChatGPT pour produire un programme alors qu’ils ne savaient pas par quel bout prendre le problème posé, sur base de cette expérience, je peux dire que c’est pas gagné pour eux quand même 😀
Sur ce, je vous souhaite le bonsoir !
Amicalement,
Renaud C
Laisser un commentaire