IA générative : LLM, RAG et agents

Ce que fait réellement un grand modèle de langage

Un grand modèle de langage est un réseau de neurones entraîné à prédire le prochain élément d'une séquence. L'unité prédite n'est pas un mot mais un token, un fragment de texte issu d'un vocabulaire construit statistiquement : en français, un mot courant tient en un token, un mot rare ou un terme technique se découpe en plusieurs. Cette prédiction, répétée jeton après jeton, suffit à produire des phrases, du code ou des raisonnements apparents.

L'architecture dominante reste le transformer, introduit en 2017. Son mécanisme central, l'attention, permet à chaque position de la séquence de pondérer toutes les autres positions plutôt que de dépendre d'un état résumé transmis de proche en proche. C'est ce qui a rendu l'entraînement massivement parallélisable, et donc ce qui a rendu l'échelle atteignable.

La conséquence à garder en tête : le modèle n'a pas de base de connaissances consultable. Ce qu'il « sait » est encodé dans ses poids, figé à la date de fin d'entraînement, et restitué de manière probabiliste. Une affirmation fausse énoncée avec assurance n'est pas un bug, c'est le comportement attendu d'un système qui optimise la vraisemblance et non la véracité.

Token

Unité élémentaire manipulée par le modèle. Environ 3 à 4 caractères en français. La facturation et les limites de contexte s'expriment en tokens, jamais en mots.

Fenêtre de contexte

Nombre maximal de tokens que le modèle peut avoir sous les yeux en une fois, entrée et sortie confondues. Au-delà, il faut tronquer, résumer ou récupérer sélectivement.

Température

Paramètre d'échantillonnage. À 0, le modèle prend systématiquement le token le plus probable. Plus elle monte, plus la sortie est variée et plus le risque d'erreur factuelle augmente.

Le RAG, ou comment ancrer une réponse dans des documents

La génération augmentée par récupération part d'un constat simple : plutôt que d'espérer que le modèle ait mémorisé la bonne information, on la lui fournit au moment de la question. Le pipeline se déroule en quatre temps. Les documents sont découpés en passages, chaque passage est converti en vecteur par un modèle d'embedding, la question est convertie dans le même espace, et les passages les plus proches sont insérés dans le prompt.

La qualité d'un système RAG se joue presque entièrement en amont de la génération. Un découpage qui coupe un tableau en deux, un modèle d'embedding monolingue appliqué à un corpus français, une recherche purement vectorielle incapable de retrouver une référence exacte comme un numéro d'article : chacun de ces défauts produit des réponses plausibles et fausses, que le meilleur modèle du monde ne rattrapera pas.

La recherche hybride répond au dernier point. La recherche vectorielle capture la proximité sémantique, la recherche lexicale de type BM25 capture les correspondances exactes. Fusionner les deux classements, typiquement par Reciprocal Rank Fusion, donne un ensemble de candidats nettement plus robuste que l'une ou l'autre méthode seule. Un reranking final, confié à un modèle qui lit réellement les passages, permet de passer d'une vingtaine de candidats à cinq passages effectivement pertinents.

Reste le garde-fou : si le meilleur passage récupéré reste sous un seuil de pertinence, la bonne réponse est de dire qu'on ne sait pas. Un système RAG qui répond toujours est un système RAG qui invente parfois.

Agents : quand la boucle remplace l'appel unique

Un agent n'est pas un modèle plus intelligent, c'est un modèle placé dans une boucle. Le schéma minimal comporte trois éléments : un ensemble d'outils décrits par leur schéma d'entrée, un modèle capable de choisir un outil et d'en produire les arguments, et un exécuteur qui rend le résultat au modèle pour qu'il décide de l'étape suivante.

Cette bascule change la nature des problèmes. Avec un appel unique, l'erreur est une mauvaise réponse. Avec une boucle, l'erreur peut être un outil appelé en série jusqu'à épuisement du budget, un raisonnement qui tourne en rond, ou un effet de bord irréversible déclenché sur une mauvaise interprétation. Une condition d'arrêt explicite, un plafond du nombre d'étapes et une distinction nette entre outils en lecture et outils en écriture ne sont pas des raffinements, ce sont des conditions de mise en production.

Le typage des outils fait le reste du travail. Décrire chaque outil par un schéma validé, refuser les arguments non conformes et renvoyer au modèle une erreur lisible plutôt qu'une exception réduit massivement le taux d'échec, parce que le modèle corrige son appel au tour suivant au lieu d'abandonner.

Spécialiser un modèle sans le réentraîner

Le réflexe « il faut fine-tuner » est presque toujours prématuré. Trois leviers moins coûteux couvrent l'essentiel des besoins de spécialisation, et il faut les épuiser dans cet ordre.

Le prompt système fixe le rôle, le registre, la langue de sortie et les règles de refus. C'est le levier le plus rapide et le plus facile à faire évoluer. Le few-shot ajoute des exemples d'entrée-sortie qui cadrent le format bien mieux qu'une consigne en prose : montrer trois réponses correctement structurées vaut mieux que décrire la structure en dix lignes. Le RAG, enfin, apporte la connaissance métier que le modèle n'a pas.

Le fine-tuning ne devient rationnel que lorsqu'on cherche à réduire la latence ou le coût à comportement constant, ou à imposer un format très rigide sur un volume important. Il demande un jeu de données annoté, une boucle d'évaluation, et il fige le résultat sur une version de modèle qui sera dépassée en quelques mois. Aucun palier gratuit ne le propose, ce qui règle la question pour un projet mené à coût nul.

Questions fréquentes