Medical Image Analysis

Анализ медицинских изображений — это использование компьютерного зрения (CV) и искусственного интеллекта (AI) для извлечения клинически значимой информации из медицинских изображений: выявления таких признаков, как узелки в лёгких или переломы, выделения органов и опухолей, измерения их изменений со временем и классификации заболеваний. Анализ применяют к рентгеновским снимкам, КТ, МРТ, УЗИ, ПЭТ, фотографиям сетчатки, видео эндоскопии и оцифрованным гистологическим препаратам. Это этап интерпретации, следующий за медицинской визуализацией — получением изображений с помощью сканеров и методов реконструкции. Инструменты клинического анализа регулируются как медицинские изделия, а в открытом списке медицинских изделий с AI от FDA насчитывается значительно больше тысячи разрешений, большинство из которых относится к радиологии.

Как работает анализ медицинских изображений#

Медицинские изображения поступают в формате DICOM, который хранит данные о пикселях вместе с метаданными, например идентификаторами пациента, настройками сканера и расстоянием между срезами. Предобработка зависит от метода визуализации. Значения пикселей КТ откалиброваны в единицах Хаунсфилда, поэтому «окно» для лёгких или костей преобразует нужный диапазон интенсивности под входные данные модели, тогда как интенсивности МРТ не имеют фиксированной шкалы и нормализуются отдельно для каждого сканирования. КТ и МРТ дают трёхмерные объёмы из сотен срезов, которые модели обрабатывают по одному срезу или целиком; оцифрованные гистологические препараты содержат миллиарды пикселей, поэтому их разбивают на фрагменты и используют обучение на множестве экземпляров, если доступны метки только для всего препарата.

Основные задачи — это стандартные задачи компьютерного зрения, применённые к анатомическим структурам:

• Классификация изображений: присваивает метку всему изображению, например определяет, есть ли на фотографии сетчатки диабетическая ретинопатия, требующая направления к специалисту.
• Обнаружение объектов: обводит рамками такие признаки, как узелки, переломы или полипы толстой кишки, помогая врачу обратить на них внимание.
• Сегментация изображений: размечает каждый пиксель или воксель, выделяя органы и опухоли для измерения объёма и планирования лучевой терапии.
• Регистрация изображений: совмещает снимки одного пациента, полученные в разное время или разными методами, чтобы можно было измерять изменения.

Архитектура U-Net была разработана для биомедицинской сегментации в 2015 году, nnU-Net автоматически настраивает конвейеры U-Net для новых наборов данных, а фреймворки с открытым исходным кодом, например MONAI, объединяют эти задачи со специализированными для медицины загрузчиками данных и преобразованиями.

Дообучение детектора на размеченных снимках следует тому же процессу, что и в любой другой предметной области: в наборе данных Ultralytics с опухолями мозга срезы МРТ сопоставлены с рамками опухолей, а обучение Ultralytics YOLO26 на этом наборе данных создаёт модель, которая отмечает области опухоли на новых срезах:

from ultralytics import YOLO

# Дообучение детектора YOLO26, предварительно обученного на COCO, на размеченных срезах МРТ мозга
model = YOLO("yolo26n.pt")
model.train(data="brain-tumor.yaml", epochs=100, imgsz=640)

# Обнаружение областей опухоли на новом срезе МРТ
results = model("https://ultralytics.com/assets/brain-tumor-sample.jpg")
result = results[0]

# Сохранение среза с предсказанными рамками и оценками уверенности
result.save(filename="brain_tumor_result.jpg")

Применение в здравоохранении#

Широко распространённый сценарий использования — сортировка пациентов по срочности. Программа, которая отмечает подозрение на кровоизлияние в мозг или инсульт из-за окклюзии крупного сосуда на КТ, перемещает исследование в начало списка задач радиолога, а итоговое заключение радиолога одновременно служит проверкой модели:

Другие проверенные области применения охватывают скрининг, планирование лечения и медицинские процедуры:

• Скрининг: В шведском рандомизированном исследовании MASAI маммография с поддержкой AI выявила на 29% больше случаев рака, чем стандартное двойное чтение, не увеличив число ложноположительных результатов, и сократила нагрузку радиологов при чтении скрининговых снимков на 44%. В 2018 году IDx-DR стало первым устройством, одобренным FDA для принятия решения о скрининге диабетической ретинопатии без интерпретации изображения врачом.
• Онкология: Модели сегментации выделяют опухоли и органы риска для планирования лучевой терапии и измеряют размер опухоли на последующих снимках.
• Патология: Модели анализируют целые гистологические препараты в поисках рака, а в 2021 году Paige Prostate стало первой программой AI, одобренной FDA для выявления рака в биоптатах предстательной железы.
• Эндоскопия: Детекторы в реальном времени выделяют полипы во время колоноскопии, а GI Genius стало первым подобным устройством с AI, одобренным FDA в 2021 году.

Сложности и важные моменты#

• Разметка экспертами: Для аннотирования нужны радиологи или патологи, но даже специалисты расходятся во мнениях в сложных случаях, поэтому размеченные наборы данных малочисленны и дороги.
• Сдвиг домена и обучение на побочных признаках: Сканеры, протоколы и состав пациентов в разных больницах различаются. Исследование 2018 года показало, что классификаторы пневмонии, обученные на рентгеновских снимках грудной клетки, могли определить, из какой больницы был снимок, и хуже работали на снимках из больниц, данные которых не входили в обучающую выборку.
• Смещение в AI: Модели, обученные на нерепрезентативных группах пациентов, хуже работают для групп, недостаточно представленных в обучающих данных.
• Объяснимость: Тепловые карты и другие объяснения помогают врачам проверить, на что опиралась модель, прежде чем доверять её результату.
• Конфиденциальность и федеративное обучение: Данные пациентов подпадают под действие HIPAA в США и GDPR в Европе; заголовки DICOM и текст, нанесённый непосредственно на изображения, необходимо обезличивать, а федеративное обучение позволяет обучать модели в разных больницах без объединения данных пациентов.
• Регулирование и обновления: Существенные изменения в одобренной модели обычно требуют новой подачи документов регулятору. Окончательное руководство FDA за декабрь 2024 года по планам заранее определённого контроля изменений позволяет производителям указать в первоначальной заявке запланированные обновления модели и способы их валидации.