Semantic Segmentation

La segmentation sémantique est une tâche de vision par ordinateur qui consiste à diviser une image en régions distinctes en attribuant une étiquette de classe spécifique à chaque pixel individuel. Contrairement à des tâches plus simples comme la classification d'images, qui attribue une seule étiquette à une image entière, ou la détection d'objets, qui trace des boîtes englobantes autour des objets, la segmentation sémantique offre une compréhension de la scène au niveau du pixel. Cette analyse granulaire est essentielle pour les applications où la forme précise et la frontière d'un objet sont tout aussi importantes que son identité. Elle permet aux machines de « voir » le monde un peu plus comme le font les humains, en distinguant les pixels exacts qui composent une route, un piéton ou une tumeur dans un examen médical.

Comment fonctionne la segmentation sémantique#

À sa base, la segmentation sémantique traite une image comme une grille de pixels qui doivent être classés. Les modèles d'apprentissage profond, en particulier les réseaux de neurones convolutionnels (CNN), constituent l'architecture standard pour cette tâche. Une architecture typique, telle que le modèle largement utilisé U-Net, emploie une structure encodeur-décodeur. L'encodeur compresse l'image d'entrée pour extraire des caractéristiques de haut niveau (comme les textures et les formes), tandis que le décodeur rééchantillonne ces caractéristiques à la résolution d'origine de l'image pour générer un masque de segmentation précis.

Pour y parvenir, les modèles sont entraînés sur de grands ensembles de données annotées où des annotateurs humains ont soigneusement coloré chaque pixel en fonction de sa classe. Des outils comme la plateforme Ultralytics Platform facilitent ce processus en offrant des fonctionnalités d'annotation automatique qui accélèrent la création de données de vérité terrain de haute qualité. Une fois entraîné, le modèle produit un masque où chaque valeur de pixel correspond à un ID de classe, « peignant » ainsi l'image avec du sens.

Distinguer les concepts apparentés#

Il est courant de confondre la segmentation sémantique avec d'autres tâches au niveau du pixel. Comprendre les différences est essentiel pour choisir la bonne approche pour un projet :

• Segmentation d'instances : Alors que la segmentation sémantique traite tous les objets de la même classe comme une entité unique (par exemple, toutes les « voitures » sont colorées en bleu), la segmentation d'instances distingue les objets individuels (par exemple, « Voiture A » est bleue, « Voiture B » est rouge).
• Segmentation panoptique : Celle-ci combine les deux concepts. Elle attribue une classe à chaque pixel (sémantique) tout en séparant également les instances individuelles d'objets dénombrables (instance), offrant ainsi la compréhension de scène la plus complète qui soit.

Applications concrètes#

La capacité à analyser des données visuelles avec une précision parfaite au niveau du pixel stimule l'innovation dans de nombreuses industries à enjeux élevés :

• IA dans l'automobile : Les véhicules autonomes dépendent fortement de la segmentation pour naviguer en toute sécurité. En identifiant les zones carrossables par rapport aux trottoirs, et en délimitant précisément les piétons, les voitures et les obstacles, les systèmes de conduite autonome peuvent prendre des décisions critiques en temps réel.
• IA dans la santé : En imagerie médicale, les modèles segmentent les organes, les lésions ou les tumeurs à partir de scanners TDM et d'IRM. Cela aide les radiologues à calculer le volume tumoral pour la planification du traitement ou à guider les outils de chirurgie robotique avec une précision extrême.
• IA en agriculture : Les agriculteurs utilisent l'imagerie par drone aérien et la segmentation pour surveiller la santé des cultures. En classant les pixels comme « culture saine », « mauvaise herbe » ou « sol », les systèmes automatisés peuvent cibler l'épandage d'herbicides, réduisant ainsi l'utilisation de produits chimiques et optimisant le rendement.

Implémenter la segmentation avec Ultralytics#

Les modèles de segmentation modernes doivent concilier précision et vitesse, en particulier pour l'inférence en temps réel sur les appareils de périphérie. La famille de modèles Ultralytics YOLO26 comprend des modèles de segmentation spécialisés (désignés par un suffixe -seg) qui sont nativement de bout en bout, offrant des performances supérieures aux architectures plus anciennes comme YOLO11.

L'exemple suivant montre comment effectuer la segmentation sur une image à l'aide du paquet Python ultralytics. Cela produit des masques binaires qui délimitent les contours des objets.

from ultralytics import YOLO

# Load a pre-trained YOLO26 segmentation model
model = YOLO("yolo26n-seg.pt")

# Run inference on an image
results = model("https://ultralytics.com/images/bus.jpg")

# Visualize the results
# This will display the image with the segmentation masks overlaid
results[0].show()

Défis et orientations futures#

Malgré des progrès significatifs, la segmentation sémantique reste intensive en calculs. Générer une classification pour chaque pixel nécessite des ressources GPU et une mémoire substantielles. Les chercheurs travaillent activement à l'optimisation de ces modèles pour plus d'efficacité, en explorant des techniques telles que la quantification de modèle pour exécuter des réseaux lourds sur des téléphones mobiles et des appareils embarqués.

De plus, le besoin de jeux de données étiquetés massifs constitue un goulet d'étranglement. Pour y remédier, l'industrie s'oriente vers la génération de données synthétiques et l'apprentissage auto-supervisé, permettant aux modèles d'apprendre à partir d'images brutes sans nécessiter des millions d'étiquettes de pixels manuelles. À mesure que ces technologies mûrissent, nous pouvons nous attendre à ce que la segmentation devienne encore plus omniprésente dans les caméras intelligentes, la robotique et les applications de réalité augmentée.