Illustration par DALL-E (+PJ)
La faiblesse des LLM, réside dans leur incapacité à se tenir véritablement à jour, étant privés de la capacité d’apprendre en continu : un corpus de données immense doit leur être procuré, pour un coût qui se chiffre en dizaines de millions de dollars, qu’elles absorbent d’un seul coup, sans pouvoir l’enrichir par la suite. Le seul moyen de les mettre à jour consiste à les ré-entraîner sur un corpus qui aura été lui mis à jour. Ce qui signifie que leur concept implique nécessairement une période de latence plus ou moins longue, une obsolescence plus ou moins sérieuse de leur savoir tant que des connaissances nouvellement acquises n’auront pas été réinjectées.
Lorsqu’un utilisateur a initié un dialogue avec ChatGPT, il est possible de creuser la question évoquée parce que la machine retient ce que l’utilisateur lui apprend dans le cadre d’une question particulière. Il est donc possible de revenir à la charge trois semaines plus tard, par exemple, dans le cadre d’un dialogue pré-existant en sachant que les connaissances entrées sous la forme de « prompts » (amorces) et le savoir que la machine a pu produire en réponse, demeurent à la disposition de l’utilisateur. La machine est cependant dans l’incapacité de se mettre à jour sur la base de ce que l’utilisateur a pu lui apprendre, si ce n’est qu’un jour à venir, ses conversations avec l’IA feront partie d’un nouveau corpus d’apprentissage
Bien entendu, on assure maintenant au Grand Modèle de Langage la possibilité par le biais de plug-in, de programmes sous-traitants, de se renseigner en direct, d’aller s’informer du dernier état d’une question en allant consulter l’Internet, mais quand ChatGPT cale et qu’il soupçonne ou qu’il a compris que c’est parce que la question qu’on lui pose est une question d’actualité, il confesse humblement que son information la plus récente date de septembre 2021, date à laquelle furent gelées les donnés qui servirent à son apprentissage. Son savoir sera mis à jour à une date ultérieure mais en attendant, il restera daté.
La crédibilité de ces IA dépend donc de leur entretien par des humains. Une raison quelconque ferait que des mises à jour ultérieures à septembre 2021 n’aient pas lieu et les dissertations produites en réponse par ChatGPT perdraient davantage de leur pertinence à chaque jour qui passe. Ironiquement, c’est l’existence même de ces LLM et l’effet d’emballement du savoir qu’ils autorisent qui fait que l’obsolescence du savoir par jour qui passe augmente régulièrement.
C’est là le talon d’Achille de ces LLM : leur incapacité à se mettre à jour si ce n’est par apprentissage d’un seul coup. Heureusement pour l’avenir, certains d’entre nous connaissent le remède à cette carence, pour l’avoir expérimenté dans des projets d’Intelligence Artificielle inspirés par d’autres principes que les Generative Pre-trained Transformers.
Illustration par Stable Diffusion (+PJ)
Laisser un commentaire