Medical Image Analysis

医学图像分析是运用计算机视觉 (CV)和人工智能 (AI)，从医学图像中提取临床有用信息的过程：检测肺结节或骨折等异常、勾画器官和肿瘤、测量其随时间的变化，以及对疾病进行分类。它适用于 X 光、CT、MRI、超声、PET、视网膜照片、内窥镜视频和数字化病理切片。医学图像分析是对医学成像结果进行解读的步骤；医学成像则是指生成图像的扫描设备和重建方法。临床分析工具受到医疗器械法规监管，美国 FDA 公布的人工智能医疗器械清单中已有一千多项获批项目，其中大多数属于放射学。

医学图像分析的工作原理#

医学图像以 DICOM 格式存储，其中包含像素数据，以及患者标识、扫描仪设置和切片间距等元数据。预处理方式取决于成像模态。CT 像素值经过校准，单位为亨氏单位，因此肺部或骨骼“窗”会将相关强度范围映射到模型输入；MRI 强度则没有固定范围，需要按扫描进行归一化。CT 和 MRI 会生成由数百张切片组成的 3D 体数据，模型可以逐张处理切片，也可以处理整个体数据。数字化病理切片的像素可达数十亿，因此需要切分成图块；当只有切片级标签时，则使用多实例学习进行处理。

核心任务是应用于解剖结构的标准视觉任务：

• 图像分类：为整张图像分配标签，例如判断视网膜照片是否显示需要转诊的糖尿病视网膜病变。
• 目标检测：在结节、骨折或结肠息肉等异常周围绘制边界框，帮助临床医生快速定位。
• 图像分割：为每个像素或体素标注类别，从而勾画器官和肿瘤，用于体积测量和放射治疗规划。
• 图像配准：对齐同一患者在不同时间或使用不同成像模态拍摄的扫描图像，以便测量变化。

U-Net架构于 2015 年专为生物医学分割设计；nnU-Net可为新数据集自动配置 U-Net 流程；而 MONAI等开源框架则提供医疗领域专用的数据加载器和变换，整合这些任务。

使用已标注扫描图像对检测器进行微调，工作流程与其他领域相同：Ultralytics 的脑肿瘤数据集将 MRI 切片与肿瘤框配对，在该数据集上训练 Ultralytics YOLO26即可得到能够标记肿瘤区域的模型，用于处理新的切片：

from ultralytics import YOLO

# 在带标注的脑部 MRI 切片上微调经过 COCO 预训练的 YOLO26 检测器
model = YOLO("yolo26n.pt")
model.train(data="brain-tumor.yaml", epochs=100, imgsz=640)

# 检测新 MRI 切片上的肿瘤区域
results = model("https://ultralytics.com/assets/brain-tumor-sample.jpg")
result = results[0]

# 保存带有预测框和置信度分数的切片
result.save(filename="brain_tumor_result.jpg")

医疗保健领域的应用#

一种广泛应用的模式是分诊。能够在 CT 上标记疑似脑出血或大血管卒中的软件，会将检查结果移至放射科医生工作列表的顶部；放射科医生的最终判读也能作为对模型的复核：

其他成熟应用涵盖筛查、治疗规划和医疗操作：

• 筛查：在瑞典的随机 MASAI 试验中，AI 辅助乳腺钼靶筛查比常规双人判读多发现 29% 的癌症病例，且没有增加假阳性，同时将放射科医生的筛查判读工作量减少了 44%。2018 年，IDx-DR 成为首个获 FDA 授权、无需临床医生解读图像即可对糖尿病视网膜病变作出筛查判断的器械。
• 肿瘤学：分割模型可勾画肿瘤和放射治疗规划中的危及器官，并在随访扫描中测量肿瘤大小。
• 病理学：模型会扫描全切片图像以查找癌症。2021 年，Paige Prostate 成为首个获 FDA 授权、用于在前列腺活检切片中发现癌症的 AI 软件。
• 内窥镜检查：实时检测器会在结肠镜检查过程中标记息肉；2021 年，GI Genius 成为首个获 FDA 授权的此类 AI 器械。

挑战与注意事项#

• 专家标注：标注需要放射科医生或病理学家参与，而专家对疑难病例的判断也可能不同，因此标注数据集规模小、成本高。
• 领域偏移和捷径学习：不同医院的扫描仪、检查方案和患者群体各不相同。2018 年的一项研究发现，在胸部 X 光片上训练的肺炎分类器能够识别图像来自哪家医院，而且在训练数据之外医院的 X 光片上表现更差。
• AI 中的偏见：在缺乏代表性的患者群体数据上训练的模型，在代表性不足的群体中表现较差。
• 可解释性：热力图和其他解释方法能帮助临床医生检查模型的判断依据，然后再决定是否信任模型的输出。
• 隐私与联邦学习：患者数据在美国受 HIPAA 约束，在欧洲受 GDPR 约束；必须对 DICOM 头信息和图像中嵌入的文字进行去标识化；联邦学习则可以在不汇总患者数据的情况下，跨医院训练模型。
• 监管与更新：对已获授权模型的重大更改通常需要提交新的监管申请。FDA 于 2024 年 12 月发布的预定变更控制计划最终指南，允许制造商在原始申请中说明计划中的模型更新，以及如何验证这些更新。