Machine learning : méthodes et pièges

Les trois familles d'apprentissage

L'apprentissage supervisé travaille sur des exemples étiquetés : chaque entrée est accompagnée de la sortie attendue, et le modèle ajuste ses paramètres pour réduire l'écart. C'est le cadre de la classification et de la régression, et de loin le plus utilisé en production, parce que la présence d'étiquettes rend l'évaluation directe.

L'apprentissage non supervisé ne dispose pas d'étiquettes. Il cherche une structure : partitions par similarité, réduction de dimension, détection d'anomalies. L'évaluation y est intrinsèquement plus délicate, puisqu'il n'existe pas de vérité de référence contre laquelle mesurer. Une segmentation client « correcte » est celle qui sert une décision, pas celle qui optimise un score interne.

L'apprentissage par renforcement optimise une séquence de décisions contre un signal de récompense différé. Il excelle là où l'action modifie l'environnement — jeux, robotique, allocation de ressources — et se révèle exigeant partout ailleurs, parce qu'il suppose un simulateur fidèle ou une tolérance à l'exploration en conditions réelles.

Caractéristique

Variable d'entrée présentée au modèle. La qualité de l'ingénierie des caractéristiques reste le premier facteur de performance sur données tabulaires.

Biais et variance

Un modèle trop rigide sous-apprend, un modèle trop souple mémorise. Le compromis entre les deux se règle par la capacité du modèle, la régularisation et le volume de données.

Choisir la métrique avant de choisir le modèle

L'exactitude est la métrique la plus citée et la plus trompeuse. Sur un jeu où 2 % des transactions sont frauduleuses, un modèle qui répond systématiquement « pas de fraude » atteint 98 % d'exactitude et n'a aucune valeur. La précision, le rappel et leur moyenne harmonique, le F1, décrivent le comportement réel sur la classe rare.

Le choix se déduit du coût des erreurs, pas d'une préférence esthétique. En dépistage médical, un faux négatif se paie très cher et le rappel prime. En filtrage de courriel, un faux positif fait perdre un message légitime et la précision prime. L'AUC-ROC résume le comportement sur tous les seuils, ce qui est utile pour comparer des modèles et insuffisant pour en déployer un : il faudra bien fixer un seuil.

En régression, l'erreur quadratique moyenne pénalise fortement les grands écarts, l'erreur absolue moyenne les traite linéairement. Sur des données à valeurs extrêmes, les deux racontent des histoires différentes et il faut savoir laquelle correspond au préjudice réel.

Surapprentissage et fuite de données

Le surapprentissage se diagnostique par un écart persistant entre performance en entraînement et performance en validation. Les remèdes sont connus : plus de données, moins de capacité, régularisation, arrêt anticipé. Il est visible, donc gérable.

La fuite de données est plus pernicieuse parce qu'elle produit d'excellents résultats en validation. Elle survient dès qu'une information indisponible au moment de la prédiction se glisse dans les caractéristiques. Les cas classiques : une normalisation calculée sur l'ensemble du jeu avant le découpage, une variable dérivée de la cible, un découpage aléatoire sur des séries temporelles qui laisse le futur informer le passé.

La règle qui évite la plupart de ces situations tient en une phrase : toute transformation apprise sur les données doit être ajustée sur le seul jeu d'entraînement, puis appliquée telle quelle aux autres. Sur des séries temporelles, le découpage se fait par date, jamais au hasard.

Ce qui casse une fois en production

Un modèle déployé vieillit. La dérive des données décrit le décalage progressif entre la distribution vue à l'entraînement et celle observée en service ; la dérive de concept décrit le changement de la relation elle-même entre entrées et cible. La première se détecte en surveillant les distributions d'entrée, la seconde exige des étiquettes fraîches.

L'écart entre l'entraînement et le service est l'autre cause récurrente d'échec : une caractéristique calculée d'une façon dans le notebook et d'une autre dans le service en ligne suffit à dégrader silencieusement les prédictions. Partager le même code de transformation entre les deux chemins est la seule parade fiable.

Enfin, un modèle en production a besoin d'une valeur de repli. Que se passe-t-il quand le service d'inférence ne répond pas ? Une règle métier simple, assumée et testée vaut mieux qu'une erreur remontée à l'utilisateur.

Questions fréquentes