返回客户故事

Theia Scientific 利用 Ultralytics YOLO 模型重新定义显微镜数据分析

问题

Theia Scientific 开始寻找一种视觉人工智能模型,以提高显微镜图像分析的速度、准确性和可重复性。

解决方案

通过将 Ultralytics YOLO 模型集成到其平台中,Theia Scientific 改变了显微镜数据的处理方式,使分析更加高效可靠。

材料科学和纳米技术等领域的科学研究通常依赖带电粒子、扫描探针和光学显微镜来探索肉眼无法看到的结构。例如,透射电子显微镜(TEM)是一种关键工具,能够捕捉纳米和原子尺度的精细细节。

遗憾的是,一旦获取了这些图像,对其进行分析就会变得缓慢而复杂,通常需要大量的人工和领域专业知识。为了改进这一过程,Theia Scientific开发了 Theiascope™ 平台,这是一个实时显微镜图像分析系统,它集成了Ultralytics YOLO 模型,可自动进行图像检测、分割和定量测量,从而使显微镜检查更快、更高效、更可重复。

探索视觉人工智能在科学成像中的作用

Theia Scientific 由 Kevin Field 和 Christopher Field 两兄弟创立,致力于开发先进的软件工具,以加速显微镜研究。凭借横跨材料科学、工业自动化、电子学和软件工程的专业知识,他们致力于减少科学家、工程师和研究人员在分析复杂图像数据时遇到的瓶颈。 

他们的旗舰产品 Theiascope™ 平台集成了计算机视觉技术,可自动检测、分割和测量电子显微镜图像中的特征。该平台依靠视觉人工智能(Vision AI)而不是人工标注和跟踪,可提供一致且可重复的结果。

为什么显微镜图像难以手动分析?

显微镜图像,尤其是用 TEM 拍摄的图像,非常精细,但解释起来却很困难。每幅图像都包含成百上千个精细特征和结构,如晶粒和边界,必须仔细识别、注释、追踪和/或测量,才能提取有意义的数据。传统上,这些工作都是手工完成的,速度慢且因人而异。两名研究人员可能会对同一幅图像进行不同的标注,从而导致结果不一致和误差较大。

当涉及到大型数据集时,这一过程就会变得更加复杂。为了获得可靠的洞察力,通常需要对数千张图像进行分析,而使用人工方法可能需要数周甚至数月的时间。此外,对比度、噪音和重叠结构的变化也会增加分析难度。

对于旨在研究微结构演变或跟踪随时间变化的研究人员来说,这些问题可能会延缓研究进度。Theia Scientific 意识到这些问题需要一个更加自动化和可靠的解决方案。

使用 Ultralytics YOLO 模型改进显微镜工作流程

在探索了各种显微镜数据自动分析方法之后,Theia Scientific 发现 Ultralytics YOLO 模型具有实时显微镜图像分析所需的速度、准确性和灵活性,能够在实验进行时在显微镜下立即得出定量结果。Ultralytics YOLO 模型(如Ultralytics YOLO11和 Ultralytics YOLOv8)支持计算机视觉任务,如对象检测(识别和定位图像中的单个特征)和实例分割(在像素级勾勒出每个特征)。这些任务使得在 TEM 图像中直接检测纳米级结构(如晶粒和边界)成为可能。

图 1.当前的显微图像和数据分析工作流程。科学家、工程师和研究人员最终要在工作流程的末端寻找发现和答案。与此同时,工作流程是脱节和费力的,每个步骤所需的相对时间/劳动量显示在底部。特征检测和汇总是工作流程中最耗时的阶段。返回采集的灰色箭头表示由于当前数据无用而必须重新采集数据。资料来源:Theia Scientific:Theia Scientific

例如,在最近一项关于多晶薄膜的研究中,Theiascope™ 和 Ultralytics YOLO 模型被用于识别和测量影响电子、涂层和能源设备所用材料特性的晶粒结构。精确的晶粒尺寸分布对于了解这些薄膜在实验过程中如何演变至关重要。 

Ultralytics YOLO 模型之所以能在这些应用案例中发挥如此大的作用,其中一个重要原因就是它们能够在大型数据集中进行插值。研究人员无需标注实验中的每一帧图像,只需标注一小部分图像,训练 YOLO 模型,然后让它可靠地分析数千帧图像即可。这样,只需极少的人工输入,就能在延时 TEM 实验中跟踪晶粒生长和边界变化。

为什么选择 Ultralytics YOLO 模型?

在前面讨论的多晶薄膜研究中,我们发现Ultralytics YOLOv8比 U-Net(一种常用于科学图像分析的模型)快 43 倍。这种速度使得 YOLO 可以用于显微镜下的实时分析。 

U-Net 虽然准确,但速度较慢,而 YOLO 则兼具速度和准确性,可将粒度测量结果与地面实况的匹配度控制在 3% 以内。它的设计也使其更加灵活,可以轻松处理不同的尺度和训练设置。对于研究人员来说,这意味着在不牺牲可靠性的情况下获得更快的结果,是加速显微镜工作流程的理想选择。

图 2.与手动追踪(b)和 U-Net (c)相比,YOLOv8 分割(d)能在显微图像上提供更清晰、更准确的轮廓。(资料来源)

利用 YOLO 减少显微镜偏差并提高一致性

通过 Theiascope™ 平台,Theia Scientific 展示的 Ultralytics YOLO 模型可以加速显微镜图像分析和 TEM 实验,同时支持可重复的长期研究。该平台的设计与显微镜无关,这意味着 YOLO 模型可用于分析从不同仪器收集的图像,而无需定制管道。这种灵活性确保工作流程在不同的实验、操作人员和环境中保持一致。

可重复性是另一项关键成果。科学研究往往需要在多年后重新审视和验证结果。Theiascope™ 中集成了各种 YOLO 模型,研究人员可以在存档数据集上重新运行Ultralytics YOLOv5等旧模型,获得一致的输出结果,然后直接与 Ultralytics YOLO11 等新模型的结果进行比较。这样,即使人工智能方法不断发展,也能直接验证研究结果。

图 3.Theiascope™ 平台。电子显微镜图像从采集计算机采集并流式传输到运行网络应用程序、时间序列数据库和 Ultralytics YOLO 模型的 GPU 设备。更新和新的 Ultralytics YOLO 模型可通过 OTA 更新推送到平台上。资料来源:Theia Scientific:资料来源:Theia Scientific。

此外,Ultralytics YOLO 模型为平台提供了处理大型数据集所需的可扩展性。它们的实时推理能力可在人工分析几张 TEM 图像所需的时间内分析数千张图像。这样,研究人员就能在整个实验过程中跟踪晶粒生长等动态过程,产生新的见解,并以前沿研究所需的规模和速度开启新的实验。

将先进的视觉人工智能整合到下一代研究工具中

Theia Scientific 将 Ultralytics YOLO 模型视为未来显微镜技术的基础。通过不断改进训练方法和校准方法,他们的目标是进一步提高不同尺度和实验条件下的精确度。 

展望未来,Theia Scientific 计划扩展 Theiascope™,以支持更复杂的原位实验和多模态数据集。他们相信,视觉人工智能很可能成为下一代研究工作流程的标准组成部分,从而在各个科学领域实现更快的发现和更深入的洞察。

有兴趣简化贵公司的工作流程吗?查看我们的 GitHub 存储库,了解有关 Vision AI 的更多信息。探索 YOLO 模型如何推动医疗保健领域的人工智能零售业的计算机视觉等领域的创新。要亲身体验 YOLO,请了解我们的许可选项如何支持您的愿景。

我们为您的行业提供的解决方案

查看全部

常见问题

什么是 Ultralytics YOLO 模型?

Ultralytics YOLO 模型是一种计算机视觉架构,用于分析来自图像和视频输入的视觉数据。这些模型可用于物体检测、分类、姿势估计、跟踪和实例分割等任务的训练:

  • Ultralytics YOLOv5
  • Ultralytics YOLOv8
  • Ultralytics YOLO11

Ultralytics YOLO 模型之间有什么区别?

Ultralytics YOLO11 是我们计算机视觉模型的最新版本。与之前的版本一样,它支持所有计算机视觉任务,这些都是视觉人工智能社区对 YOLOv8 的喜爱。不过,新版 YOLO11 的性能和准确度更高,使其成为应对现实世界行业挑战的强大工具和完美盟友。

我应该为我的项目选择哪种 Ultralytics YOLO 模型?

您选择使用哪种模式取决于您的具体项目要求。关键是要考虑到性能、准确性和部署需求等因素。以下是简要概述:

  • Ultralytics YOLOv8 的部分主要功能:
  1. 成熟稳定:YOLOv8 是一个成熟、稳定的框架,拥有丰富的文档资料,并与早期的 YOLO 版本兼容,因此非常适合集成到现有的工作流程中。
  2. 易于使用:YOLOv8 易于初学者设置,安装简单直接,非常适合各种技能水平的团队使用。
  3. 成本效益高:它所需的计算资源较少,是注重预算的项目的最佳选择。
  • Ultralytics YOLO11 的部分主要功能:
  1. 更高的精确度:YOLO11 在基准测试中的表现优于 YOLOv8,以更少的参数实现了更高的精确度。
  2. 高级功能它支持姿势估计、物体跟踪和定向边界框(OBB)等尖端任务,提供无与伦比的多功能性。
  3. 实时效率:YOLO11 针对实时应用进行了优化,推理时间更快,在边缘设备和对延迟敏感的任务中表现出色。
  4. 适应性强:YOLO11 具有广泛的硬件兼容性,非常适合在边缘设备、云平台和英伟达™(NVIDIA®)GPU 上部署。

我需要什么许可证?

Ultralytics YOLO 存储库(如 YOLOv5 和 YOLO11)默认按照 AGPL-3.0 许可发布。这种经 OSI 批准的许可证专为学生、研究人员和爱好者设计,旨在促进开放合作,并要求任何使用 AGPL-3.0 组件的软件也必须开源。
如果您的项目涉及将 Ultralytics 软件和人工智能模型嵌入到商业产品或服务中,并且您希望绕过 AGPL-3.0 的开源要求,那么企业许可证是您的理想选择。

‍企业许可证的优势包括

  • 商业灵活性:修改并将 Ultralytics YOLO 源代码和模型嵌入专有产品中,无需遵守 AGPL-3.0 的要求,即可将项目开源。
  • 专有开发:完全自由地开发和发布包含 Ultralytics YOLO 代码和模型的商业应用程序。

为确保无缝集成并避免 AGPL-3.0 限制,请使用所提供的表格申请 Ultralytics 企业许可证。我们的团队将协助您根据具体需求定制许可证。

使用 Ultralytics YOLO 增强动力

为您的项目获取先进的人工智能视觉。立即查找适合您目标的许可证。

探索许可选项
链接复制到剪贴板