Imaginez apprendre une addition à une IA. Elle a deux entrées. On lui donne des exemples. 2, 7. On lui dit « 9 » devrait être la sortie.

Dedans, il y a des neurones artificiels. Le neurone va choisir des nombres au hasard avec lesquels mélanger l’entrée, mélanger au hasard ces deux entrées.

Puis ça va mélanger au hasard ces résultats entre eux. Et ça va regarder la sortie. Si c’est pas 9, ça va modifier un bout de ce hasard à gauche, un bout à droite. Quand ça tombe sur 9, ça se dit que ça sait additionner.

Il teste l’exemple suivant : 2+2. Avec son réglage du hasard d’avant, ça donne 73031 (au pif), donc son réglage marchait pour 2+7 mais pas 2+2. Il change tout pour que ça marche pour les deux. Et on continue comme ça.

Plus il y a d’exemples, plus on a une chance que le LLM découvre une vraie formule d’addition. Ou un truc suffisamment proche pour que ça marche 99,999 % du temps. Mais à aucun moment on n’aura programmé le LLM pour savoir faire une addition.

Les LLMs ne se programment pas pour donner un résultat. On programme les règles pour que ces neurones choisissent au hasard leurs connexions et les multiplicateurs par lesquels ils multiplient les trucs en entrée. On programme le truc qui dit « si le résultat est trop loin change beaucoup tes réglages, si le résultat est proche, change peu ». Mais rien sur ce que « rend » l’IA.

Du coup, il n’y a pas de bug sur ce qu’il rend.

Et dans les faits… nos neurones fonctionnent de manière très similaire. Il y a de lourds questionnements philosophiques sur comment une réponse d’IA est produite et son parallèle à une pensée simpliste.