Интегрировав модели Ultralytics YOLO в свою платформу, Theia Scientific преобразовала процесс обработки микроскопических данных, сделав анализ эффективнее и надежнее.
Научные исследования в таких областях, как материаловедение и нанотехнологии, часто опираются на микроскопию с использованием заряженных частиц, сканирующих зондов и оптических методов, чтобы изучать структуры, невидимые человеческому глазу. Например, просвечивающая электронная микроскопия (TEM) — важный инструмент, позволяющий получать изображения мельчайших деталей на нано- и атомном уровнях.
К сожалению, после получения таких изображений их анализ может быть медленным и сложным, часто требуя значительных ручных усилий и специальных знаний. Чтобы улучшить этот процесс, Theia Scientific разработала платформу Theiascope™ — систему анализа микроскопических изображений в реальном времени, в которую интегрированы модели Ultralytics YOLO для автоматизации обнаружения объектов, сегментации и количественных измерений, что делает микроскопический анализ быстрее, эффективнее и воспроизводимее.
Роль Vision AI в научной визуализации#
Братья Кевин и Кристофер Филд основали Theia Scientific, чтобы разрабатывать передовые программные инструменты, ускоряющие микроскопические исследования. Опираясь на опыт в материаловедении, промышленной автоматизации, электронике и разработке ПО, компания стремится устранять препятствия, с которыми сталкиваются ученые, инженеры и исследователи при анализе сложных изображений.
Флагманский продукт компании — платформа Theiascope™, в которую интегрировано компьютерное зрение для автоматического обнаружения, сегментации и измерения элементов на изображениях, полученных с помощью электронной микроскопии. Вместо ручной разметки и обводки платформа использует Vision AI, обеспечивая стабильные и воспроизводимые результаты.
Почему микроскопические изображения сложно анализировать вручную?#
Микроскопические изображения, особенно полученные с помощью TEM, очень детализированы, но их трудно интерпретировать. На каждом изображении видны сотни или тысячи мелких элементов и структур, таких как зерна и границы, которые нужно тщательно выявить, разметить, обвести и/или измерить, чтобы получить полезные данные. Традиционно это делали вручную, что занимает много времени, а результаты могут отличаться у разных специалистов. Два исследователя могут по-разному разметить одно и то же изображение, что приводит к несогласованным результатам и большим диапазонам погрешности.
Процесс становится еще сложнее при работе с большими наборами данных. Для получения надежных результатов часто нужно проанализировать тысячи изображений, что вручную может занять недели или даже месяцы. Различия в контрастности, шум и перекрывающиеся структуры дополнительно усложняют анализ.
Для исследователей, изучающих развитие микроструктуры или отслеживающих изменения во времени, эти проблемы могут замедлить работу. В Theia Scientific поняли, что для их решения нужен более автоматизированный и надежный подход.
Улучшение рабочих процессов микроскопического анализа с помощью моделей Ultralytics YOLO#
Изучив различные подходы к автоматизации анализа микроскопических данных, Theia Scientific выяснила, что модели Ultralytics YOLO обеспечивают скорость, точность и гибкость, необходимые для анализа микроскопических изображений в реальном времени. Благодаря этому количественные результаты можно получать прямо у микроскопа, пока эксперимент ещё продолжается. Модели Ultralytics YOLO, например Ultralytics YOLO11 и Ultralytics YOLOv8, поддерживают такие задачи компьютерного зрения, как обнаружение объектов (определение и локализация отдельных элементов на изображении) и сегментация экземпляров (выделение каждого элемента на уровне пикселей). Эти задачи позволяют обнаруживать наномасштабные структуры, например зёрна и границы, непосредственно на снимках ПЭМ по мере их получения.
Рис. 1. Текущий рабочий процесс анализа микроскопических изображений и данных. В конечном счете ученые, инженеры и исследователи стремятся получить новые открытия и ответы. При этом рабочий процесс разрозненный и трудоемкий; относительное время и трудозатраты на каждом этапе показаны внизу. Обнаружение и объединение признаков — самые длительные этапы процесса. Серые стрелки, ведущие обратно к получению данных, показывают, что данные приходится собирать повторно, если исходный набор оказался непригоден. Источник: Theia Scientific.
Например, в недавнем исследовании поликристаллических тонких пленок платформу Theiascope™ и модели Ultralytics YOLO использовали для выявления и измерения зеренных структур, влияющих на свойства материалов для электроники, покрытий и энергетических устройств. Точное распределение размеров зерен необходимо для понимания изменений этих пленок в ходе экспериментов.
Одна из главных причин эффективности моделей Ultralytics YOLO в таких сценариях — способность обобщать закономерности на больших наборах данных. Вместо того чтобы размечать каждый кадр эксперимента, исследователи могут аннотировать лишь небольшую часть изображений, обучить модель YOLO, а затем поручить ей надёжно анализировать тысячи дополнительных кадров. Это позволяет отслеживать рост зёрен и изменения границ в ходе экспериментов с ПЭМ и покадровой съёмкой, затрачивая минимум усилий на ручную обработку.
Почему стоит выбрать модели Ultralytics YOLO?#
В рассмотренном ранее исследовании поликристаллических тонких плёнок Ultralytics YOLOv8 оказалась до 43 раз быстрее, чем U-Net (модель, которую часто используют для анализа научных изображений). Благодаря такой скорости YOLO подходит для анализа в реальном времени непосредственно у микроскопа.
U-Net обеспечивает точность, но работает медленно, тогда как YOLO сочетает скорость и точность: измерения размера зёрен отличаются от эталонных не более чем на 3%. Архитектура YOLO также делает модель более гибкой: она легко справляется с разными масштабами и конфигурациями обучения. Для исследователей это означает быстрые и надёжные результаты, что особенно важно для ускорения рабочих процессов микроскопии.
Рис. 2. По сравнению с ручной обводкой (b) и U-Net (c), сегментация с помощью YOLOv8 (d) даёт более чёткие и точные контуры на микроскопических изображениях. (Источник)
Снижение систематической погрешности и повышение согласованности микроскопического анализа с YOLO#
С помощью платформы Theiascope™ компания Theia Scientific показала, что модели Ultralytics YOLO ускоряют анализ микроскопических изображений и эксперименты с ПЭМ, помогая проводить воспроизводимые исследования в долгосрочной перспективе. Платформа не привязана к конкретному микроскопу: модели YOLO анализируют изображения, полученные на разных приборах, без необходимости создавать отдельные конвейеры обработки. Такая гибкость помогает сохранять единообразие рабочих процессов при разных экспериментах, операторах и условиях.
Еще один важный результат — воспроизводимость. В научных исследованиях часто нужно повторно изучать и проверять результаты спустя годы. Благодаря интеграции различных моделей YOLO в Theiascope™ исследователи могут повторно запускать старые модели, например Ultralytics YOLOv5, на архивных наборах данных и получать согласованные результаты, а затем напрямую сравнивать их с результатами новых моделей, таких как Ultralytics YOLO11. Это упрощает проверку выводов, даже по мере развития методов ИИ.
Рис. 3. Платформа Theiascope™. Изображения электронной микроскопии передаются с компьютера сбора данных на устройство с GPU, где работают веб-приложение, база данных временных рядов и модели Ultralytics YOLO. Обновления и новые модели Ultralytics YOLO можно загружать на платформу по воздуху (OTA). Источник: Theia Scientific.
Кроме того, модели Ultralytics YOLO обеспечивают платформе масштабируемость, необходимую для обработки больших наборов данных. Благодаря инференсу в реальном времени можно проанализировать тысячи снимков ПЭМ за то же время, которое потребовалось бы на ручной анализ всего нескольких изображений. Это позволяет исследователям отслеживать динамические процессы, например рост зёрен, на протяжении целых экспериментов, получать новые сведения и проводить новые эксперименты в масштабе и с той скоростью, которых требуют передовые научные исследования.
Интеграция передового визуального ИИ в исследовательские инструменты нового поколения#
Theia Scientific рассматривает модели Ultralytics YOLO как основу будущего микроскопии. Продолжая совершенствовать методы обучения и калибровки, компания стремится дополнительно повысить точность при разных масштабах и экспериментальных условиях.
В дальнейшем Theia Scientific планирует расширить возможности Theiascope™ для поддержки более сложных экспериментов in situ и мультимодальных наборов данных. Компания считает, что визуальный ИИ, вероятно, станет стандартной частью исследовательских процессов нового поколения, ускоряя открытия и помогая получать более глубокие знания в различных научных областях.
Хочешь оптимизировать рабочие процессы своей компании? Загляни в наш репозиторий GitHub, чтобы узнать больше о визуальном ИИ. Посмотри, как модели YOLO помогают внедрять инновации в таких областях, как ИИ в здравоохранении и компьютерное зрение в розничной торговле. Чтобы попробовать YOLO на практике, узнай, как наши варианты лицензирования помогут воплотить твою идею.
Автор
Создатель контента · Ultralytics
