Theia Scientific ускоряет анализ микроскопии в 43 раза с помощью Ultralytics YOLO

Научные исследования в таких областях, как материаловедение и нанотехнологии, зачастую зависят от методов заряженных частиц, сканирующей зондовой и оптической микроскопии, позволяющих изучать структуры, невидимые для человеческого глаза. Например, просвечивающая электронная микроскопия (ПЭМ) — это ключевой инструмент, способный фиксировать мельчайшие детали на нано- и атомном уровне.

К сожалению, после получения этих изображений их анализ может оказаться медленным и сложным процессом, зачастую требующим значительных ручных усилий и знаний в предметной области. Чтобы улучшить этот процесс, Theia Scientific разработала платформу Theiascope™, систему анализа микроскопических изображений в реальном времени, которая интегрирует модели Ultralytics YOLO для автоматизации обнаружения, сегментации и количественных измерений на изображениях, что делает микроскопию быстрее, эффективнее и воспроизводимее.

Link to this sectionИзучение роли компьютерного зрения в научных изображениях#

Основанная братьями Кевином и Кристофером Филд, компания Theia Scientific разрабатывает передовые программные инструменты для ускорения исследований в области микроскопии. Обладая опытом в таких сферах, как материаловедение, промышленная автоматизация, электроника и программная инженерия, они сосредоточены на уменьшении препятствий, с которыми сталкиваются ученые, инженеры и исследователи при анализе сложных графических данных.

Их флагманский продукт, платформа Theiascope™, использует компьютерное зрение для автоматического обнаружения, сегментации и измерения характеристик на изображениях электронной микроскопии. Опираясь на компьютерное зрение, а не на ручную аннотацию и отрисовку, платформа обеспечивает согласованные и воспроизводимые результаты.

Link to this sectionПочему микроскопические изображения сложно анализировать вручную?#

Микроскопические изображения, особенно полученные с помощью ПЭМ, очень детализированы, но их сложно интерпретировать. Каждое изображение содержит от сотен до тысяч мелких элементов и структур, таких как зерна и границы, которые необходимо тщательно идентифицировать, аннотировать, обводить и/или измерять для извлечения значимых данных. Традиционно это делалось вручную, что медленно и может варьироваться от человека к человеку. Два исследователя могут по-разному аннотировать одно и то же изображение, что приводит к противоречивым результатам и большим погрешностям.

Этот процесс становится еще более сложным при работе с большими наборами данных. Чтобы получить надежные выводы, часто требуется проанализировать тысячи изображений, на что при ручных методах могут уйти недели или даже месяцы. Кроме того, вариации контрастности, шум и накладывающиеся друг на друга структуры делают процесс еще труднее.

Для исследователей, стремящихся изучить микроструктурную эволюцию или отслеживать изменения с течением времени, эти проблемы могут замедлить исследования. Theia Scientific осознала, что эти задачи требуют более автоматизированного и надежного решения.

Link to this sectionСовершенствование рабочих процессов микроскопии с помощью моделей Ultralytics YOLO#

Изучив различные подходы к автоматизации анализа данных микроскопии, компания Theia Scientific увидела, что модели Ultralytics YOLO обладают скоростью, точностью и гибкостью, необходимыми для анализа микроскопических изображений в реальном времени, обеспечивая мгновенные количественные результаты прямо у микроскопа во время эксперимента. Модели Ultralytics YOLO, такие как Ultralytics YOLO11 и Ultralytics YOLOv8, поддерживают задачи компьютерного зрения, такие как обнаружение объектов (идентификация и локализация отдельных элементов на изображении) и сегментация экземпляров (выделение контура каждого элемента на уровне пикселей). Эти задачи позволяют обнаруживать наноразмерные структуры, такие как зерна и границы, непосредственно на изображениях ПЭМ по мере их получения.

Рис. 1. Текущий рабочий процесс анализа изображений и данных микроскопии. Ученые, инженеры и исследователи в конечном итоге ищут открытия и ответы в конце рабочего процесса. Между тем, рабочий процесс разрознен и трудоемок, а относительное время/труд, необходимые для каждого шага, показаны внизу. Обнаружение и агрегирование признаков являются наиболее трудоемкими этапами рабочего процесса. Серые стрелки, возвращающиеся к получению данных, означают необходимость повторного получения данных, поскольку текущие данные оказались бесполезны. Источник: Theia Scientific.

Например, в недавнем исследовании поликристаллических тонких пленок платформу Theiascope™ и модели Ultralytics YOLO использовали для идентификации и измерения зернистых структур, влияющих на свойства материалов, используемых в электронике, покрытиях и энергетических устройствах. Точное распределение размеров зерен имеет решающее значение для понимания того, как эти пленки развиваются во время экспериментов.

Одна из ключевых причин, по которой модели Ultralytics YOLO столь эффективны в этих случаях использования, — их способность интерполировать данные по большим наборам. Вместо того чтобы требовать разметки каждого кадра в эксперименте, исследователи могут аннотировать лишь малую часть изображений, обучить модель YOLO, а затем позволить ей надежно анализировать тысячи дополнительных кадров. Это позволяет отслеживать рост зерен и изменения границ во время экспериментов ПЭМ с замедленной съемкой при минимальном ручном участии.

Link to this sectionПочему стоит выбрать модели Ultralytics YOLO?#

В уже упомянутом исследовании поликристаллических тонких пленок было обнаружено, что Ultralytics YOLOv8 работает до 43 раз быстрее, чем U‑Net (модель, часто используемая для научного анализа изображений). Такая скорость делает YOLO практичным решением для анализа в реальном времени непосредственно у микроскопа.

Хотя U‑Net точна, но медленна, YOLO сочетает скорость с точностью, позволяя измерениям размера зерен совпадать с эталонными данными с точностью до 3%. Ее архитектура также делает ее более гибкой, позволяя легко адаптироваться к разным масштабам и настройкам обучения. Для исследователей это означает получение результатов быстрее без ущерба для надежности, что идеально подходит для ускорения рабочих процессов в микроскопии.

Рис. 2. По сравнению с ручной отрисовкой (b) и U‑Net (c), сегментация YOLOv8 (d) обеспечивает более четкие и точные контуры на микроскопических изображениях. (Источник)

Link to this sectionСнижение предвзятости и повышение согласованности в микроскопии с помощью YOLO#

С помощью платформы Theiascope™ компания Theia Scientific показала, что модели Ultralytics YOLO могут ускорить анализ микроскопических изображений и эксперименты с ПЭМ, поддерживая при этом воспроизводимые долгосрочные исследования. Платформа разработана так, чтобы быть независимой от микроскопа: модели YOLO используются для анализа изображений, полученных с различных инструментов, без необходимости в специализированных конвейерах обработки. Такая гибкость гарантирует, что рабочие процессы остаются согласованными при проведении различных экспериментов, разными операторами и в разных условиях.

Воспроизводимость — еще один важный результат. Научные исследования зачастую требуют пересмотра и подтверждения результатов спустя годы. Благодаря интеграции различных моделей YOLO в Theiascope™, исследователи могут перезапускать старые модели, такие как Ultralytics YOLOv5, на архивных наборах данных и получать согласованные результаты, а затем сравнивать их напрямую с результатами новых моделей, таких как Ultralytics YOLO11. Это делает проверку выводов простой, даже по мере развития методов ИИ.

Рис. 3. Платформа Theiascope™. Изображения электронной микроскопии захватываются и передаются с компьютера сбора данных на устройство с поддержкой GPU, на котором запущено веб-приложение, база данных временных рядов и модели Ultralytics YOLO. Обновления и новые модели Ultralytics YOLO могут быть переданы на платформу с помощью OTA-обновлений. Источник: Theia Scientific.

Кроме того, модели Ultralytics YOLO обеспечивают платформе масштабируемость, необходимую для обработки больших наборов данных. Их возможности вывода в реальном времени позволяют анализировать тысячи изображений ПЭМ за то время, которое потребовалось бы для ручного анализа лишь нескольких. Это позволяет исследователям отслеживать динамические процессы, такие как рост зерен, на протяжении всего эксперимента, генерируя новые идеи и открывая возможности для инновационных экспериментов в масштабе и со скоростью, необходимыми для передовых научных исследований.

Link to this sectionИнтеграция передового компьютерного зрения в исследовательские инструменты следующего поколения#

Theia Scientific рассматривает модели Ultralytics YOLO как фундамент для будущего микроскопии. Продолжая совершенствовать методы обучения и подходы к калибровке, они стремятся к дальнейшему повышению точности при различных масштабах и экспериментальных условиях.

В дальнейшем Theia Scientific планирует расширить возможности Theiascope™ для поддержки более сложных экспериментов in-situ и мультимодальных наборов данных. Они верят, что компьютерное зрение, вероятно, станет стандартной частью исследовательских рабочих процессов следующего поколения, что позволит быстрее совершать открытия и получать более глубокие знания в научных областях.

Хочешь оптимизировать рабочие процессы в своей компании? Загляни в наш репозиторий на GitHub, чтобы узнать больше о компьютерном зрении. Узнай, как модели YOLO стимулируют инновации в таких областях, как ИИ в здравоохранении и компьютерное зрение в ритейле. Чтобы начать работать с YOLO на практике, изучи, как наши варианты лицензирования могут поддержать твое видение.