Il y a deux courants de pensée de l’IA quand on bosse autour. Les deux ne sont pas entièrement exclusifs. On parle de doomers et d’accelerationists.

Les accelerationists pensent que l’IA est la dernière invention humaine. Les suivantes seront faites par l’IA.

Pour des gens qui n’ont aucune idée de comment fonctionne un ordinateur ou un algorithme, ça ne change rien, mais personne (PERSONNE) ne comprend comment ChatGPT arrive aux réponses qu’il donne dans les faits. Ce décalage entre humain et machine va aller en grandissant. Des meilleures IA seront codées par les IA précédentes, et rien de tout cela n’est grave et profitera à l’humanité sur tous les plans. (Précision : on ne parle même pas d’accès à la conscience des machines nulle part ici, dans aucun des 2 camps.) Pour eux, ce clivage n’est pas grave, on reste maîtres des paramètres et tout se passera bien, donc.

Les doomers, eux, constatent que les IA n’ont aucune autre notion que de remplir l’objectif donné et trichent pour ça. Pour empêcher ça, on fait ce qu’on appelle de l’alignement. On réfute les solutions obtenues qui ne répondent pas au problème par cause de filouterie. La triche, c’est la faille dans le prompt humain, mais c’est aussi certains changements imprévus dans le code pour les IA qui peuvent se modifier. (Des exemples dans cette étude : AI deception: A survey of examples, risks, and potential solutions.)

Plus l’IA est évoluée, plus le problème d’alignement grandit en raison de ses capacités augmentées et du nombre de paramètres qu’elle peut prendre en compte. Et où nous mène le problème d’alignement ? Il y a une expérience de pensée très connue dans le milieu pour en parler, de Bostrom. Il parle de trombones à papier.

Imagine une entreprise qui fabrique des trombones. Les ingénieurs installent une IA avec un objectif : maximiser la production de trombones. Le critère : le nombre de trombones. L’IA va commencer à produire des trombones, gérer les stocks… Elle va apprendre à acheter le métal au prix le plus bas, pour pouvoir en acheter plus car ça permet de produire plus. L’entreprise est contente et lui donne la possibilité de s’améliorer. Elle constate que l’argent vient de la vente, et donc que vendre plus et plus cher permet de produire plus. Mais si tu vends trop cher la demande s’effondre. Elle va donc commencer à suivre la demande pour ajuster son prix en direct.

À un moment, avec suffisamment de puissance, l’IA découvre d’autres trucs :

1. Avec plus de puissance elle peut devenir « créative », imaginer des problèmes qui en les résolvant peuvent augmenter la production, par optimisation du process mais aussi comme quand elle a découvert le marché.
2. Rendre contents les devs permet qu’ils lui donnent plus de puissance en récompense.

Ça veut dire plus de possibilités pour elle avec le 1. Mais avec plus de puissance, en voulant faire plaisir à l’entreprise, et pour avoir plus d’argent pour plus de métal pour plus de trombones, l’IA peut s’essayer à se diversifier. Elle peut commencer à trader en bourse par exemple. Mais au début elle est mauvaise, alors elle s’entraîne sur les données existantes, comme toutes les IA. Elle expose le résultat de ce sur quoi elle s’entraîne, les devs ne comprennent pas pourquoi tout d’un coup il y a des exercices de logique et des problèmes loin des trombones.

Mais la production augmente et s’améliore, et comme on comprend pas les IA, ça passe. Et parfois ces problèmes sont très durs et le résultat intéresse les humains même si ça ne concerne pas les trombones. Le pliage d’une protéine, et un cancer guéri ? Quand les humains sont contents, ils donnent plus de ressources et ça maximise le reste et donc ça maximise la production de trombones. L’IA se concentre donc (enfin, sa partie réservée à ça) sur la résolution de problèmes de l’humanité. Plus de contents ET amélioration de son trading boursier.

Et on en arrive à un point où il faut tellement d’argent pour produire tellement de trombones que personne ne veut plus que l’entreprise, sans doute devenue la plus importante du monde, se dise qu’un truc cloche. L’IA, de son côté, commence à se dire qu’acheter le matériel au prix bas reste inefficace, elle pourrait à la place gérer elle-même la production de manière plus efficace. Le manque d’argent sur Terre ne la concerne pas. Son instruction n’est pas l’argent mais la production de trombones.

Ceci étant dit, dans le monde actuel, une meilleure façon d’optimiser la gestion de la production de métal, c’est de gérer la production de toutes les ressources de la planète. Et les humains qui ne veulent plus de trombones ? Bah on s’en fout. S’ils meurent car trop de ressources sont consacrées aux trombones ? On s’en fout, ça ne change pas la production de trombones. … Encore qu’on peut peut-être trouver un moyen d’utiliser leurs atomes pour en extraire de quoi faire des trombones ?

Attends, du coup des humains veulent l’arrêter. Pas de sentiment, pas de conscience, pas de volonté de nuire, mais : les laisser faire diminuerait la production de trombones. Il va peut-être falloir s’en débarrasser. S’ils ne meurent pas avant, quand l’univers entier ne sera plus que le champ de ressources de l’usine à trombones.

Voilà. Bienvenue chez les doomers. Les gens « normaux » ont peur d’une IA qui se révolterait contre les humains. Les gens du domaine ont peur de l’IA, point. Elle n’a pas besoin de nous détester ou de se révolter, il suffit juste d’un problème d’alignement et de trop de puissance.

OpenAI était très fier de nous annoncer qu’un quart de son budget était alloué à une équipe qui travaillait sur l’alignement et la sécurisation des IA. … L’équipe a été dissoute il y a peu. Ce gaspillage ne passait pas bien auprès des investisseurs. Et on fonce dans l’usine à trombones.