Theia Scientific 使用 Ultralytics YOLO 将显微镜分析速度提高了 43 倍

了解 Theia Scientific 如何使用 Ultralytics YOLO 重新定义显微镜数据分析。

Problem
Theia Scientific 旨在寻找一种视觉 AI 模型,以提高显微镜图像分析的速度、准确性和可重复性。
Solution
通过将 Ultralytics YOLO 模型集成到其平台中,Theia Scientific 改变了显微镜数据的处理方式,使分析变得更高效、更可靠。
材料科学和纳米技术等领域的科学研究往往依赖于带电粒子、扫描探针和光学 显微镜 来探索肉眼无法看到的结构。例如,透射电子显微镜 (TEM) 是一种关键工具,能够捕捉纳米和原子尺度的精细细节。
遗憾的是,这些图像采集完成后,分析过程往往缓慢且复杂,通常需要大量的手动工作和领域专业知识。为了加强这一流程,Theia Scientific 开发了 Theiascope™ 平台,这是一个实时显微镜图像分析系统,它集成了 Ultralytics YOLO 模型 来实现图像检测、分割和定量测量的自动化,使显微镜分析更快、更高效且具备可重复性。
Link to this section探索视觉 AI 在科学成像中的作用#
Theia Scientific 由 Kevin Field 和 Christopher Field 两兄弟创立,致力于开发先进的软件工具以加速显微镜研究。凭借在材料科学、工业自动化、电子学和软件工程方面的专长,他们专注于减少科学家、工程师和研究人员在分析复杂图像数据时面临的瓶颈。
他们的旗舰产品 Theiascope™ 平台集成了 计算机视觉,能够自动检测、分割和测量电子显微镜图像中的特征。通过依赖视觉 AI 而非手动标注和描绘,该平台提供了连贯且可重复的结果。
Link to this section为什么显微镜图像难以手动分析?#
显微镜图像,尤其是通过 TEM 捕获的图像,细节极其丰富但难以解读。每张图像都包含成百上千个微小的特征和结构(例如晶粒和边界),必须经过仔细的识别、标注、描绘和/或测量才能提取出有意义的数据。传统上,这些工作是手工完成的,速度缓慢且因人而异。两名研究人员对同一张图像的标注可能不同,从而导致结果不一致和巨大的误差范围。
当涉及大型 数据集 时,此过程变得更加复杂。为了获得可靠的见解,通常需要分析数千张图像,使用手动方法可能需要几周甚至几个月的时间。此外,对比度、噪点和重叠结构的变化使这一过程变得更加困难。
对于旨在研究微观结构演变或跟踪随时间变化的研究人员来说,这些问题可能会拖慢研究进度。Theia Scientific 认识到这些问题需要一种更自动化、更可靠的解决方案。
Link to this section利用 Ultralytics YOLO 模型增强显微镜工作流#
在探索了自动化显微镜数据分析的不同方法后,Theia Scientific 发现 Ultralytics YOLO 模型提供了实时显微镜图像分析所需的速度、准确性和灵活性,能够在实验进行的同时在显微镜下获得即时的定量结果。Ultralytics YOLO 模型(如 Ultralytics YOLO11 和 Ultralytics YOLOv8)支持物体检测(识别和定位图像中的单个特征)和实例分割(在像素级别勾勒出每个特征)等计算机视觉任务。这些任务使得在 TEM 图像捕获的同时,就能直接检测到晶粒和边界等纳米级结构。

图 1. 当前的显微镜图像和数据分析工作流。科学家、工程师和研究人员最终是在工作流的尽头寻求发现和答案。然而,工作流目前是割裂且繁琐的,底部展示了每个步骤所需的相对时间/劳动量。特征检测和聚合是工作流中最耗时的阶段。指向采集的灰色箭头表示由于当前数据无效,必须重新采集数据。来源:Theia Scientific
例如,在最近一项关于 多晶薄膜 的研究中,Theiascope™ 和 Ultralytics YOLO 模型被用于识别和测量影响电子设备、涂层和能源设备中材料属性的晶粒结构。准确的晶粒尺寸分布对于理解这些薄膜在实验过程中的演变至关重要。
Ultralytics YOLO 模型在这些用例中如此有效的一个关键原因是它们能够在大型数据集上进行插值。研究人员无需为实验中的每一帧进行标注,只需标注一小部分图像,训练一个 YOLO 模型,然后就可以让它可靠地分析数千个额外的帧。这使得在延时 TEM 实验中以极少的人工输入跟踪晶粒生长和边界变化成为可能。
Link to this section为何选择 Ultralytics YOLO 模型?#
在前面讨论的多晶薄膜研究中,Ultralytics YOLOv8 的速度被发现比 U-Net(一种常用于科学图像分析的模型)快 43 倍。这种速度使得 YOLO 在显微镜下的实时分析变得实用。
虽然 U-Net 准确但速度慢,但 YOLO 将速度与准确性结合在一起,使晶粒尺寸测量结果与真实值相差在 3% 以内。其设计也使其更加灵活,可以轻松处理不同的尺度和训练设置。对于研究人员而言,这意味着在不牺牲可靠性的前提下获得更快的结果,这对于加速显微镜工作流来说是理想的选择。

图 2. 与手动描绘 (b) 和 U-Net (c) 相比,YOLOv8 分割 (d) 在显微镜图像上提供了更清晰、更准确的轮廓。(来源)
Link to this section利用 YOLO 减少偏差并提高显微镜分析的一致性#
通过 Theiascope™ 平台,Theia Scientific 展示了 Ultralytics YOLO 模型可以加速显微镜图像分析和 TEM 实验,同时支持可重复的长期研究。该平台被设计为与显微镜无关,这意味着 YOLO 模型可用于分析从不同仪器收集的图像,而无需定制管道。这种灵活性确保了工作流在不同的实验、操作员和环境中保持一致。
可重复性是另一个关键成果。科学研究通常需要多年后重访和验证结果。随着各种 YOLO 模型集成到 Theiascope™ 中,研究人员可以重新运行较旧的模型(如 Ultralytics YOLOv5)对存档数据集进行分析并获得一致的输出,然后将其与较新模型(如 Ultralytics YOLO11)的结果直接进行比较。这使得验证发现变得简单明了,即使 AI 方法不断进化。

图 3. Theiascope™ 平台。电子显微镜图像从采集计算机捕获并流式传输到运行 Web 应用程序、时序数据库和 Ultralytics YOLO 模型的 GPU 启用设备。更新和新的 Ultralytics YOLO 模型可以通过 OTA 更新推送到平台。来源:Theia Scientific。
此外,Ultralytics YOLO 模型为该平台提供了处理大数据集所需的可扩展性。它们的实时推理能力允许在手动分析少数图像的时间内分析数千张 TEM 图像。这使研究人员能够跟踪整个实验中晶粒生长等动态过程,从而产生新的见解,并在前沿研究所需的尺度和速度下解锁新型实验。
Link to this section将先进的视觉 AI 集成到下一代研究工具中#
Theia Scientific 将 Ultralytics YOLO 模型视为显微镜未来的基石。通过不断改进 训练 方法和校准方法,他们旨在进一步提高跨尺度和实验条件的准确性。
展望未来,Theia Scientific 计划扩展 Theiascope™ 以支持更复杂的原位实验和多模态数据集。他们相信视觉 AI 很可能成为下一代研究工作流的标准组成部分,从而在各个科学领域实现更快的发现和更深刻的见解。
有兴趣精简你公司的流程吗?查看我们的 GitHub 仓库 以了解更多关于视觉 AI 的信息。探索 YOLO 模型如何推动 医疗保健 AI 和 零售计算机视觉 等领域的创新。若要上手使用 YOLO,请探索 我们的许可选项 如何支持你的愿景。






