AV¶ĚĘÓƵ

Le règne de l'IA

Désormais aptes à dialoguer de vive voix avec un être humain, à poser un diagnostic médical ou à rédiger un article scientifique, les outils issus de l’intelligence artificielle ont envahi le quotidien. Mais comment fonctionnent-ils et de quoi seront-ils capables demain?

Les «grands modèles de langage» comme ChatGPT (OpenAI), rendu public en novembre 2022, Copilot (Microsoft), Gemini (Google) ou encore Llama (open source) qui ont suivi de près, bouleversent le monde. François Fleuret, professeur au Département d’informatique (Faculté des sciences) et membre du , explique leur genèse.

Campus: Qu’est-ce que c’est, ce ChatGPT?
Et comment ça marche?
François Fleuret: Ces agents conversationnels font partie de la vaste catégorie de l’intelligence artificielle (IA) qu’on appelle le machine learning, c’est-à-dire l’apprentissage automatique. Ce sont des systèmes informatiques qui se configurent eux-mêmes grâce à des données. Ils reposent sur un programme (pas très compliqué, en réalité) dont le fonctionnement est modulé par un grand nombre de paramètres dont les valeurs sont, au départ, totalement aléatoires. Une étape «d’apprentissage», durant laquelle des données d’exemples sont fournies à la machine, permet de déterminer les bonnes valeurs pour ces paramètres afin que le programme fasse ce qu’on aimerait qu’il fasse.

Avez-vous un exemple?
Prenons une IA capable d’analyser des radiographies des poumons afin de dĂ©terminer si le patient est atteint du covid ou pas. On commence avec le processus d’entraĂ®nement qui consiste Ă  lui donner 10Ěý000 images radios de patients dont on sait qu’ils ont le covid et 10Ěý000 autres dont on sait qu’ils ne l’ont pas. Autrement dit, on lui fournit les entrĂ©es (les images) et les sorties correspondantes (positif ou nĂ©gatif). Au milieu, le programme fait un calcul pour dĂ©terminer les valeurs de ses milliers de paramètres afin que, pour l’ensemble de ces 20Ěý000 premiers clichĂ©s, il associe Ă  chaque fois l’image au bon diagnostic. Cette Ă©tape demande une très grande quantitĂ© de calculs et n’est possible, pour les plus gros systèmes, que sur des infrastructures de calcul très coĂ»teuses.

Et ensuite?
Ensuite, la magie opère. On donne au système une 20Ěý001e image, qu’il n’a jamais vue. Grâce Ă  l’ajustement de tous les paramètres durant la phase d’entraĂ®nement, il arrive Ă  dĂ©terminer si ce nouveau patient a le covid ou non. Les techniques standards du machine learning ne permettent cependant pas de faire des modèles très grands, c’est-Ă -dire que l’on ne peut pas vraiment augmenter arbitrairement le nombre de paramètres qu’elles apprennent. La solution pour monter en puissance est le deep learning, une sous-catĂ©gorie du machine learning.

Qu’est-ce qui change avec le «deep learning»?
Un modèle de deep learning effectue ses calculs de manière parallèle. C’est-à-dire qu’il fait des millions ou des milliards de calculs en même temps. Des modèles informatiques ayant une telle architecture, qu’on appelle les réseaux de neurones artificiels, ont notamment été développés dans les années 1990 par Yann LeCun (lire également en page 24), en particulier pour la reconnaissance de caractères. Dans ce cas, le programme divise l’image en petites zones qu’il analyse toutes en même temps et indépendamment les unes des autres afin de reconnaître des traits particuliers, comme des coins, des lignes, des arrondis, etc., avant de rassembler le tout. Les premiers essais ont permis de reconnaître des lettres écrites à la main, puis des images d’objets, d’animaux, etc. Mais ce qui a vraiment donné le coup d’accélérateur au deep learning, c’est un développement technologique qui n’a rien à voir avec l’IA.

De quelle technologie s’agit-il?
De celle des jeux vidéo d’action en 3D dont le marché explose dans les années 2000. Pour produire très rapidement les images réalistes qui forment le décor sans cesse en mouvement, on a développé des accélérateurs graphiques, ou cartes graphiques (GPU, pour graphics processing unit). Ces dernières possèdent des milliers d’unités de calculs fonctionnant en parallèle. Elles sont capables de générer très rapidement des scènes entières en 3D. De plus, comme le public-cible des jeux vidéo est essentiellement formé d’adolescents ou de jeunes peu fortunés, ces processeurs ont toujours été relativement bon marché.

Quel rapport avec l’IA?
Un processeur qui fait des calculs en parallèle ne pouvait qu’intĂ©resser les spĂ©cialistes du deep learning. Mais ces GPU n’étaient pas faciles Ă  maĂ®triser pour la programmation. Le tournant a lieu en 2012. Dans un papier prĂ©sentĂ© Ă  la confĂ©rence NeurIPS, Alex Krizhevsky (un codeur de gĂ©nie), Ilya Sutskever et Geoffrey Hinton [colaurĂ©at du prix Nobel de physique 2024, lire l’encadrĂ© ci-contre, ndlr], de l’±«˛Ôľ±±ą±đ°ů˛őľ±łŮĂ© de Toronto, prĂ©sentent un programme pour un rĂ©seau de neurones du mĂŞme type que celui de LeCun mais 500 fois plus gros et tournant sur deux cartes graphiques. Le programme montre d’emblĂ©e une capacitĂ© extraordinaire dans le domaine très en pointe de la vision par ordinateur, c’est-Ă -dire la reconnaissance d’image. Le test-Ă©talon est alors ImageNet, c’est-Ă -dire une banque de plus d’un million d’images de toutes sortes (animaux, objets…) crĂ©Ă©e par Fei-Fei Li, chercheuse Ă  l’±«˛Ôľ±±ą±đ°ů˛őľ±łŮĂ© de Stanford, et qui sert d’entraĂ®nement pour des programmes de machine learning. Leur performance est ensuite Ă©valuĂ©e Ă  l’aide de 50Ěý000 images tests. Jusqu’à 2012, les meilleurs rĂ©sultats stagnent autour de 25% d’erreurs. Le nouveau programme du trio de Toronto fait chuter ce seuil d’un coup Ă  15%. C’est un peu comme si le record du 100 mètres est de 10Ěýsecondes et que subitement surgit un sprinteur qui le court en 8,5 secondes. Bref, tout le monde s’empare de la nouvelle technologie pour crĂ©er des systèmes de plus en plus gros. Il ne semble plus y avoir de limites dans le nombre de paramètres utilisables, si ce n’est celles fixĂ©es par la taille des data centers ou de la quantitĂ© d’énergie nĂ©cessaire Ă  les faire tourner. Aujourd’hui, le taux d’erreur pour la reconnaissance des photos d’ImageNet est descendu Ă  2%, alors que l’être humain n’obtient que 4%.

La machine ne se trompe donc quasiment jamais?
Ce n’est pas si simple. Il arrive qu’au lieu de reconnaître un chat, par exemple, le système identifie un canapé avec une fourrure dessus, parce que toutes les images d’entraînement montrent des chats sur des canapés. Ou bien qu’au lieu de reconnaître des traces du covid dans les poumons, le système identifie le nom de l’hôpital indiqué en marge de la radio et qui se trouve être l’établissement où sont envoyés tous les cas graves de covid. Cela s’appelle le simplicity bias, ou biais de simplicité. C’est un problème récurrent et il doit être systématiquement corrigé. Autre problème: quand sont arrivés les premiers modèles générateurs d’images, vers 2015, on a remarqué qu’ils produisaient des portraits de personnes n’ayant pas les deux yeux de la même couleur ou portant des boucles d’oreilles dépareillées. Cela est dû au fait que ces systèmes, effectuant des calculs localement, ne considèrent pas deux zones éloignées de la même image comme étant liées entre elles. Quoi qu’il en soit, dans les années 2017-18, le deep learning franchit les obstacles les uns après les autres en matière de reconnaissance et de reconstitution d’images en 2D et en 3D, de la pose du corps humain, des traits du visage, du son. Bref, d’un peu tout, sauf du texte.

Quel est le souci avec le texte?
Pour ne prendre qu’un exemple, si on veut traduire de l’anglais en français la phrase «La pomme était sur l’arbre depuis trois jours quand on l’a ramassée», il faut mettre un «e» à la fin de «ramassée» à cause du mot «pomme» placé avant. C’est quelque chose de très compliqué à reproduire pour les premiers modèles de langage qui n’arrivent pas à chercher les indices à des endroits éloignés d’une même phrase. Aucune solution ne s’avère satisfaisante. Jusqu’à l’arrivée du Transformer.

Le Transformer?
Ce modèle de langage est prĂ©sentĂ© en 2017 dans un papier, Attention Is All You Need, signĂ© par des chercheurs de Google. En rupture avec les technologies existantes, le Transformer est un modèle dit Ă  attention. En gros, durant l’entraĂ®nement, on lui donne une phrase qui est une suite de mots, qu’il sĂ©pare en morceaux et transforme en une suite de nombres. Chaque morceau est ensuite associĂ© Ă  1000 valeurs qui, au dĂ©but, sont fixĂ©es alĂ©atoirement. Le Transformer va ensuite traiter chacune de ces 1000Ěývaleurs pour chacun des bouts de mots en fonction de leur environnement dans la phrase. Ce processus est rĂ©pĂ©tĂ© plusieurs fois. Chacun des mots de «Je suis en train de manger des pommes», est ainsi associĂ© d’une façon ou d’une autre aux autres mots de la phrase. Ă€ force de passages dans le Transformer et de nouvelles phrases ainsi apprises, on voit apparaĂ®tre une espèce d’enrichissement de la reprĂ©sentation en interne de ces termes, et mĂŞme de la sĂ©mantique. Le modèle est capable de tenir compte du contexte et de mettre de l’information dans chaque mot. En tant que traducteur, le Transformer obtient immĂ©diatement d’excellents rĂ©sultats.

Est-ce le Transformer qui donne naissance Ă  ChatGPT?
Il donne d’abord naissance au GPT (pour Generative Pre-trained Transformer) un sous-bloc du Transformer. On entraîne les modèles GPT sur des milliards et des milliards de données. Le principe de leur fonctionnement peut se résumer à une opération très simple. On donne au système une séquence de texte et il calcule quels sont le ou les mots les plus probables qui viennent ensuite. Si le début de phrase est: «La plus belle ville du monde est», il transforme chaque mot en un objet de 1000 dimensions, il fait des calculs statistiques à partir des valeurs déjà fixées par l’entraînement, et produit le mot ou la série de mots qui a le plus de probabilité de venir après. C’est ainsi, mot à mot, qu’il produit du texte. Et il ne fera pas de faute de français (ou d’anglais) puisqu’il a été formé avec (en très grande majorité) des enchaînements de mots corrects. Il ne dira donc jamais «La pomme que j’ai ramassé».

Ce n’est pas encore du dialogue?
Non, mais les concepteurs comprennent vite que ces modèles peuvent répondre à des questions en complétant des phrases. Puisqu’ils savent continuer des phrases, ils connaissent non seulement la grammaire et la syntaxe, mais aussi les maths, la géographie, l’histoire ou encore la physique. ChatGPT, par exemple, est formé avec l’entier de Wikipédia, tout le New York Times et beaucoup d’autres sources. Il a donc réponse à tout. Mais au tout début, quand on lui demande «Quelle est la capitale de la France?» il continue cette phrase et répond «Quelle est la capitale de l’Allemagne?» puisque dans son apprentissage, il a vu passer des séries de questions et il prend simplement celle qui suit.

Comment résoudre ce curieux problème?
Pour que le système devienne un véritable assistant, il faut un groupe d’humains qui, à la main, lui donnent un entraînement supplémentaire. Ils lui apprennent qu’à la question «Quelle est la capitale de la France?» il doit répondre «Paris», et rien d’autre. On ajoute de plus des exemples pour le pousser à ne pas donner de réponses racistes ni sexistes ou encore qu’il ne tombe pas trop dans l’horreur. Ce travail de fine tuning est effectué par le Reinforcement Learning on Human Feedback (RLHF). Dans les premières versions, ce groupe n’était composé que d’une quarantaine de personnes. Aujourd’hui, elles sont beaucoup plus nombreuses. C’est devenu une industrie qui pèse des millions de dollars.

À partir de là, ChatGPT, tel qu’on l’a découvert en novembre 2022, est un véritable assistant conversationnel qui, en plus d’effectuer une foule de tâches, répond aux questions de manière affable. Mais est-ce que ChatGPT raisonne?
Raisonner, comprendre, créer, ce sont des concepts qui sont très compliqués à définir. Mais on peut dire qu’il fait du quasi-raisonnement. Il arrive à déterminer par exemple qu’une pizza qui a un goût de carton, ce n’est pas une bonne chose alors qu’il n’a jamais goûté ni pizza ni carton. Quand on lui dit que le chat de Marie-Alfredine est mort et qu’elle est très malheureuse, il sait que Marie-Alfredine est un prénom qui désigne une personne alors qu’il n’a peut-être jamais rencontré ce mot. Et si on l’informe que les sch-blocks chassent les flurbs, que les prixes sont plus gros que les sch-blocks et pourraient tuer des flurbs mais ne le font pas s’ils ne sont pas attaqués et qu’on lui demande pourquoi les flurbs restent près des prixes, il arrive tout de même à répondre que c’est parce que les prixes offrent une sorte de protection aux flurbs contre les sch-blocks.

Peut-on parler de fonctionnalités émergentes, qui n’étaient pas prévues?
Parfois, à cause de leur structure interne très souple, ces systèmes produisent des résultats dont on ne comprend pas l’origine. Comme dans le cas de ce grand modèle de langage qui a été entraîné pour être un assistant conversationnel en anglais, en français et en allemand. Les concepteurs ont ensuite effectué le fine tuning, comme d’habitude, mais uniquement en anglais. Il se trouve que ce deuxième entraînement a été automatiquement transféré aux autres langues.

N’y a-t-il pas des exemples où l’IA générative est moins performante que prévu?
Oui. C’est le cas de tout ce qui entre dans la catégorie out of distribution, hors situation. Tous ces outils d’IA se comportent très bien tant qu’ils opèrent avec un type d’aléatoire qui est similaire à ce qu’ils ont vu durant l’apprentissage. Mais quand on en sort, ils peuvent produire des réponses qui sont extrêmement erronées. Une voiture électrique autonome qui se retrouve derrière un camion transportant des feux rouges, par exemple, peut perdre tous ses moyens. Donner une contrepèterie à ChatGPT est une véritable torture pour lui. Sans doute parce qu’il n’a jamais été entraîné avec ce type de jeu de mots.

J’imagine que chaque nouvelle version corrige certaines erreurs des précédentes.
Oui, bien sûr. Au début, on pouvait avoir le système avec des questions pièges telles que le sophisme célèbre «Un cheval bon marché est rare. Quelque chose de rare est cher. Donc…» Et il répondait «Un cheval bon marché est cher.» Cette erreur, il ne la fait plus. Un autre phénomène impressionnant est celui de la chain-of-thought, la chaîne de pensées. Les premières versions des chatbots rencontrent en effet de sérieux problèmes avec les énigmes mathématiques. Comme ceux-ci ont l’habitude d’aller directement à la réponse, ils se trompent systématiquement. Mais quand on leur dit de répondre étape par étape, ils ne commettent plus d’erreurs. Cette fonctionnalité a depuis été intégrée dans ChatGPT. De la même manière, lorsqu’on lui demande d’écrire une routine informatique en précisant «comme s’il était un bon programmateur», il produit un programme de meilleure qualité. Parce que dans ses statistiques internes, il y a certains codes dans lesquels il est indiqué en commentaires qu’il s’agit d’un bon programme. On peut même lui promettre une récompense ou le menacer de le débrancher pour le pousser à trouver plus vite la solution. Aujourd’hui, ChatGPT4o est même capable de faire appel à des agents extérieurs. Il peut ainsi chercher des informations sur Internet afin d’augmenter l’information qu’il a déjà en interne. Pour les calculs, il peut écrire un petit programme informatique et le faire tourner sur un autre ordinateur auquel il a accès.

Ces IA génératives produisent des choses formidables, mais elles n’inventent rien, pour l’instant…
C’est vrai jusqu’à un certain point. Un exemple frappant est le modèle AlphaZero. C’est une IA qui joue aux échecs mais qui est entraînée from first principles, c’est-à-dire uniquement à partir des règles du jeu. Elle joue contre des versions successives d’elle-même, d’abord un peu au hasard, puis de mieux en mieux. Et elle a fini par réinventer, de manière indépendante, toutes les ouvertures des humains. Un des graals des chercheurs, c’est de développer une IA qui inventerait une théorie scientifique. On lui donnerait par exemple toute l’information scientifique existant avant 1915 (théories, observations astronomiques, résultats d’expériences...) et on lui demanderait de développer une théorie. Si elle parvenait à proposer quelque chose qui ressemble à la relativité générale d’Einstein, ce serait incroyable.

Ěý