NLP : du texte brut au sens exploitable

Tokenisation : la première décision, et la plus sous-estimée

Avant tout traitement, le texte doit être découpé. Les tokeniseurs par sous-mots, comme Byte-Pair Encoding ou Unigram, construisent leur vocabulaire à partir des fréquences observées dans un corpus d'entraînement. Un mot fréquent devient un token unique, un mot rare se décompose en fragments réutilisables. Aucun mot n'est donc hors vocabulaire.

Cette construction statistique a une conséquence directe pour le français : un tokeniseur entraîné majoritairement sur de l'anglais découpe nos mots en plus de fragments. Le même texte consomme davantage de tokens, coûte plus cher, et sature plus vite la fenêtre de contexte. L'écart typique se situe entre 15 et 30 % selon le registre. C'est une raison suffisante pour vérifier le comportement d'un modèle sur un échantillon réel avant de dimensionner un budget.

La normalisation en amont mérite le même soin. Retirer les accents pour « simplifier » détruit des distinctions lexicales, et une casse uniformisée fait disparaître les entités nommées. Les traitements agressifs hérités de la recherche documentaire des années 2000 sont contre-productifs dès qu'un modèle contextuel entre en jeu.

Représentations vectorielles et recherche sémantique

Un embedding projette un fragment de texte dans un espace vectoriel où la proximité géométrique approxime la proximité de sens. Deux formulations différentes d'une même idée s'y retrouvent voisines, ce que la recherche par mots-clés ne capture pas. La mesure usuelle est la similarité cosinus, qui compare l'orientation des vecteurs et ignore leur norme.

Le choix du modèle d'embedding détermine ce qui sera retrouvable. Un modèle monolingue anglais appliqué à un corpus français produit des voisinages incohérents. Un modèle multilingue moderne aligne les langues dans un même espace, ce qui permet d'interroger en français un document rédigé en anglais — propriété précieuse dans un domaine où la littérature technique est majoritairement anglophone.

La recherche vectorielle a une faiblesse structurelle : elle est mauvaise sur les correspondances exactes. Un identifiant, une référence normative, un nom propre rare sont mieux retrouvés par une recherche lexicale de type BM25, qui pondère les termes par leur rareté. Combiner les deux classements est la pratique de référence, et la Reciprocal Rank Fusion suffit dans la grande majorité des cas : elle ne dépend que des rangs, ce qui évite d'avoir à calibrer des scores hétérogènes.

BM25

Fonction de pondération lexicale qui favorise les termes rares et compense la longueur du document. Disponible nativement dans SQLite via l'extension FTS5.

Reciprocal Rank Fusion

Fusion de plusieurs classements par la somme de 1/(k + rang). Robuste, sans paramètre à calibrer, insensible à l'échelle des scores d'origine.

Les tâches classiques, toujours utiles

La reconnaissance d'entités nommées extrait personnes, organisations, lieux, dates et montants. Elle reste le socle de nombreux traitements documentaires : anonymisation, indexation structurée, alimentation d'une base à partir de texte libre. En français, la richesse morphologique et les particules dans les noms propres compliquent la tâche par rapport à l'anglais.

La classification de texte couvre le tri de tickets, la détection d'intention et l'analyse de sentiment. Sur ces tâches, un encodeur pré-entraîné suivi d'une tête de classification atteint généralement un meilleur rapport qualité-latence qu'un grand modèle génératif, pour un coût sans commune mesure.

Le résumé se décline en deux modes : extractif, qui sélectionne des phrases existantes et ne peut donc rien inventer, et abstractif, qui reformule et produit un texte plus fluide au prix d'un risque factuel. Sur des documents à enjeu, l'extractif conserve un avantage de traçabilité qu'on sous-estime souvent.

Évaluer sans se raconter d'histoires

Les métriques de recouvrement lexical comme BLEU ou ROUGE mesurent la proximité de surface avec une référence. Elles sont rapides, reproductibles, et incapables de reconnaître une reformulation correcte. Elles servent à détecter une régression, pas à établir une qualité.

Les métriques d'ordonnancement, en revanche, décrivent bien un système de recherche. Le rappel à k indique si le passage utile figure parmi les k premiers résultats, le MRR mesure à quelle position il apparaît, le nDCG pondère par la pertinence graduée. Pour un système RAG, le rappel à 5 après reranking est la métrique qui prédit le mieux la qualité finale des réponses.

Rien ne remplace un jeu de questions annoté à la main sur son propre corpus. Vingt questions représentatives, avec le passage attendu pour chacune, permettent de mesurer l'effet réel d'un changement de découpage ou de l'ajout d'un reranker. C'est peu coûteux à construire et cela transforme des intuitions en chiffres.

Questions fréquentes