Vision par ordinateur : voir, lire, décrire

Quatre tâches, quatre granularités

La classification attribue une étiquette à l'image entière. C'est la tâche la plus simple à entraîner et à évaluer, et souvent la seule nécessaire : savoir si une photo montre un document, un graphique ou une scène suffit à orienter le traitement suivant.

La détection localise chaque instance par une boîte englobante. Elle demande une annotation nettement plus coûteuse et s'évalue par la précision moyenne à un seuil de recouvrement donné. La segmentation sémantique va plus loin en étiquetant chaque pixel ; la segmentation d'instances distingue en plus les objets d'une même classe.

L'estimation de pose et le suivi ajoutent la dimension structurelle et temporelle. Ces deux tâches sortent du cadre d'une image isolée et supposent une continuité entre les trames, ce qui change la nature des erreurs : une détection ponctuelle manquée est rattrapable, une identité perdue en cours de suivi ne l'est pas.

Reconnaissance de texte : le cas du document photographié

L'OCR classique enchaîne détection des zones de texte, redressement, segmentation en lignes puis reconnaissance des caractères. Sur un document scanné à plat, ces systèmes atteignent une exactitude très élevée et restent le choix rationnel : ils sont rapides, déterministes et peu coûteux.

Le document photographié au téléphone change les conditions. Perspective, courbure de la page, éclairage inégal, ombre de la main : autant de dégradations que le pipeline classique gère mal sans étape de redressement. C'est précisément le terrain où les modèles vision-langage se montrent robustes, parce qu'ils exploitent le contexte sémantique pour lever les ambiguïtés de forme.

Le compromis est net. Un modèle vision-langage lit un ticket froissé là où l'OCR échoue, mais il peut aussi compléter un montant illisible par une valeur plausible. Sur des données à enjeu, il faut soit conserver un score de confiance, soit demander une confirmation humaine — un modèle génératif ne signale pas spontanément qu'il a deviné.

Modèles vision-langage

Un modèle vision-langage encode l'image en une séquence de représentations projetées dans le même espace que les tokens de texte, puis laisse un décodeur produire du langage conditionné sur les deux modalités. Concrètement, l'image devient un préfixe du prompt, et toutes les capacités du modèle de langage s'appliquent à son contenu.

Cela permet d'enchaîner des questions sur une même image sans retraitement : décrire la scène, puis relever une valeur précise, puis interpréter une tendance. La conversation porte sur un contexte visuel stable, ce que les pipelines spécialisés ne savaient pas faire.

Les limites sont réelles et il faut les connaître. Le comptage précis d'objets nombreux reste fragile, la lecture de coordonnées exactes sur un graphique dense produit des approximations, et le raisonnement spatial fin — ce qui est devant quoi — n'est pas fiable. Formuler la question de façon à demander une lecture plutôt qu'une déduction améliore nettement les résultats.

Description d'image et accessibilité

Décrire une image à voix haute n'est pas une démonstration technique, c'est une fonctionnalité d'accessibilité qui répond à un besoin documenté. La majorité des images publiées en ligne n'ont pas de texte alternatif utilisable, et celles qui en ont se limitent souvent à quelques mots.

Une bonne description suit un ordre : d'abord la nature de l'image et son sujet principal, ensuite les éléments secondaires qui portent du sens, enfin le texte présent, restitué littéralement. Cette hiérarchie permet à l'auditeur d'interrompre dès qu'il a l'information cherchée, ce qui compte quand l'écoute est séquentielle.

L'affichage simultané du texte reste indispensable. Il sert les personnes sourdes ou malentendantes, permet la relecture, autorise le copier-coller, et rend la sortie vérifiable. Une interface vocale qui ne propose pas sa transcription est une interface qui exclut.

Questions fréquentes