Je vous ai parlé des hallucinations il y a quelques mois, et du fait qu’il ne s’agisse pas d’un bug. Cet article ressort dans mon fil aujourd’hui :

OpenAI admits AI hallucinations are mathematically inevitable, not just engineering flaws

Vous voyez que je suis loin d’être le seul à également affirmer qu’il est impossible d’y échapper, quelle que soit la qualité de la donnée entrante. Je ne sais pas pourquoi Anthropic ou OpenAI auraient plus de crédibilité que moi sur le sujet mais admettons 😅

Un des problèmes qui n’est pas relevé par l’article ni le papier derrière est le manque de possibilité d’introspection épistémologique des LLM. En gros un LLM ne sait pas comment il est arrivé à ce qu’il écrit et ne peut le savoir, et donc n’a pas la possibilité d’évaluer lui-même ce qu’il écrit.

En prenant un exemple simple : une addition. Si on fouillait comment des neurones humains travaillaient pour la résoudre, on ne comprendrait peut-être pas la démarche ; cependant l’humain appliquera un algorithme qu’il pourra expliquer.

Le LLM n’applique rien et sa réponse a donc autant de valeur quand elle est bonne que pas quand elle ne l’est pas. Mais si on demande au LLM comment il est arrivé au résultat, il décrira pour autant l’algorithme. Alors qu’il ne l’a pas appliqué. C’est juste la « bonne réponse » à cette question.

On peut imaginer réduire à pas beaucoup les hallucinations, on peut imaginer rajouter des structures de contrôle autour (RAG, meta analyseur de réponses agentiques, …), ne pas être capable d’expliquer comment on sait ce qu’on sait empêchera durablement les LLM de contrôler leurs hallucinations.

Et encore une fois tel n’est pas le but d’un LLM par construction. L’hallucination, c’est le but. C’est ce que ça fait. Ce n’est pas un bug. On ne cherche pas à diminuer les hallucinations, mais à diminuer le nombre de fois où ces hallucinations ne correspondent pas (par hasard) à la réalité.

Le LLM qui a eu la mauvaise réponse à son addition comme celui qui a eu la bonne réponse les ont toutes deux hallucinées. Et comme il n’applique pas l’algorithme qu’un gamin apprend en CE1 pour le résultat (et ne sait même pas qu’il ne le fait pas), il ne peut pas se rendre compte qu’il le fait mal. Ni qu’il a oublié une retenue.

Donc lui dire qu’il y a une faute aura trois conclusions : il nie, il dit qu’on a raison pour faire plaisir, ou il dit qu’on a raison parce qu’il a vu des données avec la même addition et sur la majorité d’entre elles un résultat différent que le sien. Hallucination.

((Et ces hallucinations sont souvent bluffantes. Suffisamment pour être très utiles. Ne me faites pas dire ce que je n’ai pas dit.))