Medical Image Analysis

L’analyse d’images médicales consiste à utiliser la vision par ordinateur (CV) et l’intelligence artificielle (AI) pour extraire des informations cliniquement utiles des images médicales : détecter des signes tels que des nodules pulmonaires ou des fractures, délimiter des organes et des tumeurs, les mesurer au fil du temps et classer les maladies. Elle s’applique aux radiographies, aux tomodensitogrammes, aux IRM, aux échographies, aux TEP, aux photographies de la rétine, aux vidéos d’endoscopie et aux lames de pathologie numérisées. Il s’agit de l’étape d’interprétation qui suit l’imagerie médicale, c’est-à-dire les scanners et les méthodes de reconstruction qui produisent les images. Les outils d’analyse clinique sont réglementés en tant que dispositifs médicaux, et la liste publique des dispositifs médicaux dotés d’IA de la FDA recense bien plus d’un millier d’autorisations, dont la plupart en radiologie.

Fonctionnement de l’analyse d’images médicales#

Les images médicales sont fournies au format DICOM, qui stocke les données des pixels avec des métadonnées telles que les identifiants des patients, les paramètres du scanner et l’espacement des coupes. Le prétraitement dépend de la modalité. Les valeurs des pixels des tomodensitogrammes sont des unités Hounsfield étalonnées ; une « fenêtre » pulmonaire ou osseuse mappe donc la plage d’intensité pertinente sur l’entrée du modèle, tandis que les intensités des IRM n’ont pas d’échelle fixe et sont normalisées pour chaque examen. Les tomodensitogrammes et les IRM produisent des volumes 3D de plusieurs centaines de coupes, que les modèles traitent coupe par coupe ou sous forme de volumes. Les lames de pathologie numérisées atteignent des milliards de pixels : elles sont donc découpées en tuiles et traitées par apprentissage à instances multiples lorsque seules des étiquettes à l’échelle de la lame sont disponibles.

Les tâches principales sont des tâches de vision standard appliquées à l’anatomie :

• Classification d’images : attribue une étiquette à une image entière, par exemple pour déterminer si une photographie de la rétine montre une rétinopathie diabétique nécessitant une consultation.
• Détection d’objets : dessine des boîtes autour de signes tels que des nodules, des fractures ou des polypes du côlon, pour guider le regard du clinicien.
• Segmentation d’images : étiquette chaque pixel ou voxel afin de délimiter les organes et les tumeurs pour mesurer leur volume et planifier la radiothérapie.
• Recalage d’images : aligne les examens d’un même patient réalisés à différents moments ou avec différentes modalités, afin de mesurer les changements.

L’architecture U-Net a été conçue pour la segmentation biomédicale en 2015, nnU-Net configure automatiquement les pipelines U-Net pour de nouveaux jeux de données, et les frameworks open source tels que MONAI regroupent ces tâches avec des chargeurs de données et des transformations spécifiques au domaine médical.

Le réglage fin d’un détecteur sur des scans annotés suit le même processus que pour tout autre domaine : le jeu de données sur les tumeurs cérébrales Ultralytics associe des coupes d’IRM à des boîtes de tumeurs, et l’entraînement d’Ultralytics YOLO26 sur ce jeu produit un modèle qui marque les régions tumorales sur de nouvelles coupes :

from ultralytics import YOLO

# Règle finement un détecteur YOLO26 préentraîné sur COCO à l’aide de coupes d’IRM cérébrales annotées
model = YOLO("yolo26n.pt")
model.train(data="brain-tumor.yaml", epochs=100, imgsz=640)

# Détecte les régions tumorales sur une nouvelle coupe d’IRM
results = model("https://ultralytics.com/assets/brain-tumor-sample.jpg")
result = results[0]

# Enregistre la coupe avec les boîtes prédites et les scores de confiance
result.save(filename="brain_tumor_result.jpg")

Applications dans le secteur de la santé#

Le triage est une pratique largement déployée. Un logiciel qui signale une suspicion d’hémorragie cérébrale ou d’AVC lié à l’occlusion d’un gros vaisseau sur un tomodensitogramme place l’examen en haut de la liste de travail du radiologue, dont la lecture finale sert aussi à vérifier le modèle :

D’autres applications établies concernent le dépistage, la planification des traitements et les interventions :

• Dépistage : lors de l’essai randomisé MASAI mené en Suède, le dépistage par mammographie assisté par l’IA a détecté 29 % de cancers de plus que la double lecture standard, sans augmenter les faux positifs, et a réduit de 44 % la charge de lecture des examens des radiologues. En 2018, IDx-DR est devenu le premier dispositif autorisé par la FDA à fournir une décision de dépistage de la rétinopathie diabétique sans qu’un clinicien interprète l’image.
• Oncologie : les modèles de segmentation délimitent les tumeurs et les organes à risque pour planifier la radiothérapie et mesurer la taille des tumeurs sur les examens de suivi.
• Pathologie : les modèles analysent des images de lames entières pour y détecter des cancers, et en 2021, Paige Prostate est devenu le premier logiciel d’IA autorisé par la FDA à détecter le cancer sur des lames de biopsie de la prostate.
• Endoscopie : des détecteurs en temps réel mettent en évidence les polypes pendant la coloscopie, et GI Genius est devenu le premier dispositif d’IA de ce type autorisé par la FDA, en 2021.

Défis et points à prendre en compte#

• Annotations par des experts : l’annotation nécessite l’intervention de radiologues ou de pathologistes, et les experts ne sont pas toujours d’accord sur les cas difficiles ; les jeux de données annotés sont donc peu nombreux et coûteux.
• Décalage de domaine et apprentissage de raccourcis : les scanners, les protocoles et les populations de patients varient d’un hôpital à l’autre. Une étude de 2018 a montré que des classificateurs de pneumonie entraînés sur des radiographies thoraciques pouvaient déterminer de quel hôpital provenait une image et obtenaient de moins bons résultats sur des radiographies d’hôpitaux absents de leurs données d’entraînement.
• Biais dans l’IA : les modèles entraînés sur des populations de patients non représentatives sont moins performants pour les groupes qu’ils représentent insuffisamment.
• Explicabilité : les cartes thermiques et autres explications aident les cliniciens à vérifier sur quoi le modèle s’est appuyé avant de faire confiance à sa sortie.
• Confidentialité et apprentissage fédéré : aux États-Unis, les données des patients sont soumises à HIPAA et, en Europe, au RGPD ; les en-têtes DICOM et le texte incrusté dans les images doivent être désidentifiés, et l’apprentissage fédéré entraîne des modèles dans plusieurs hôpitaux sans regrouper les données des patients.
• Réglementation et mises à jour : les modifications importantes apportées à un modèle autorisé nécessitent normalement un nouveau dépôt réglementaire. Les directives finales de la FDA de décembre 2024 sur les plans prédéfinis de contrôle des modifications permettent aux fabricants de préciser dans le dépôt initial les mises à jour prévues du modèle et la manière dont ils les valideront.