Theia Scientific ускоряет анализ микроскопии в 43 раза с помощью Ultralytics YOLO

Научные исследования в таких областях, как материаловедение и нанотехнологии, часто зависят от заряженных частиц, сканирующих зондов и оптической микроскопии для изучения структур, невидимых человеческому глазу. Например, просвечивающая электронная микроскопия (ПЭМ) является ключевым инструментом, способным фиксировать мельчайшие детали на нано- и атомном уровне.

К сожалению, после получения этих изображений их анализ может быть медленным и сложным, часто требуя значительных ручных усилий и предметных знаний. Чтобы улучшить этот процесс, компания Theia Scientific разработала платформу Theiascope™, систему анализа изображений микроскопии в реальном времени, которая объединяет модели Ultralytics YOLO для автоматизации обнаружения, сегментации и количественных измерений изображений, делая микроскопию более быстрой, эффективной и воспроизводимой.

Изучение роли компьютерного зрения в научных изображениях#

Основанная братьями Кевином и Кристофером Филд, компания Theia Scientific разрабатывает передовые программные инструменты для ускорения исследований в области микроскопии. Обладая опытом в таких сферах, как материаловедение, промышленная автоматизация, электроника и программная инженерия, они сосредоточены на уменьшении препятствий, с которыми сталкиваются ученые, инженеры и исследователи при анализе сложных графических данных.

Их флагманский продукт, платформа Theiascope™, интегрирует компьютерное зрение для автоматического обнаружения, сегментации и измерения особенностей на изображениях электронной микроскопии. Полагаясь на Vision AI вместо ручной разметки и обводки, платформа обеспечивает стабильные и воспроизводимые результаты.

Почему микроскопические изображения сложно анализировать вручную?#

Микроскопические изображения, особенно полученные с помощью ПЭМ, очень детализированы, но их сложно интерпретировать. Каждое изображение содержит от сотен до тысяч мелких элементов и структур, таких как зерна и границы, которые необходимо тщательно идентифицировать, аннотировать, обводить и/или измерять для извлечения значимых данных. Традиционно это делалось вручную, что медленно и может варьироваться от человека к человеку. Два исследователя могут по-разному аннотировать одно и то же изображение, что приводит к противоречивым результатам и большим погрешностям.

Этот процесс становится еще более сложным при работе с большими наборами данных. Для получения надежных выводов часто требуется проанализировать тысячи изображений, что может занять недели или даже месяцы при использовании ручных методов. Вдобавок к этому вариации контраста, шума и перекрывающихся структур делают процесс еще труднее.

Для исследователей, стремящихся изучить микроструктурную эволюцию или отслеживать изменения с течением времени, эти проблемы могут замедлить исследования. Theia Scientific осознала, что эти задачи требуют более автоматизированного и надежного решения.

Совершенствование рабочих процессов микроскопии с помощью моделей Ultralytics YOLO#

Изучив различные подходы к автоматизации анализа данных микроскопии, Theia Scientific увидела, что модели Ultralytics YOLO обеспечивают скорость, точность и гибкость, необходимые для анализа изображений микроскопии в реальном времени, позволяя получать мгновенные количественные результаты прямо у микроскопа, пока эксперименты еще продолжаются. Модели Ultralytics YOLO, такие как Ultralytics YOLO11 и Ultralytics YOLOv8, поддерживают задачи компьютерного зрения, такие как обнаружение объектов (определение и поиск отдельных особенностей на изображении) и сегментация экземпляров (обводка каждой особенности на уровне пикселей). Эти задачи делают возможным обнаружение наноразмерных структур, таких как зерна и границы, непосредственно на изображениях ПЭМ по мере их получения.

Рис. 1. Текущий рабочий процесс анализа изображений и данных микроскопии. Ученые, инженеры и исследователи в конечном итоге ищут открытия и ответы в конце рабочего процесса. Между тем рабочий процесс разрознен и трудоемок, а относительное время/трудозатраты, необходимые для каждого шага, показаны внизу. Обнаружение и агрегация признаков являются самыми трудоемкими этапами в рабочем процессе. Серые стрелки, ведущие обратно к сбору данных, означают необходимость повторного сбора данных, поскольку текущие данные не являются полезными. Источник: Theia Scientific.

Например, в недавнем исследовании поликристаллических тонких пленок платформа Theiascope™ и модели Ultralytics YOLO использовались для выявления и измерения зернистых структур, которые влияют на свойства материалов, используемых в электронике, покрытиях и энергетических устройствах. Точное распределение размеров зерен имеет решающее значение для понимания того, как эти пленки развиваются во время экспериментов.

Одна из ключевых причин, по которой модели Ultralytics YOLO столь эффективны в этих случаях использования, — их способность интерполировать данные по большим наборам. Вместо того чтобы требовать разметки каждого кадра в эксперименте, исследователи могут аннотировать лишь малую часть изображений, обучить модель YOLO, а затем позволить ей надежно анализировать тысячи дополнительных кадров. Это позволяет отслеживать рост зерен и изменения границ во время экспериментов ПЭМ с замедленной съемкой при минимальном ручном участии.

Почему стоит выбрать модели Ultralytics YOLO?#

В упомянутом ранее исследовании поликристаллических тонких пленок было обнаружено, что Ultralytics YOLOv8 работает до 43 раз быстрее, чем U‑Net (модель, часто используемая для научного анализа изображений). Эта скорость делает YOLO практичной для анализа в реальном времени прямо на микроскопе.

Хотя U‑Net точна, но медленна, YOLO сочетает скорость с точностью, позволяя измерениям размера зерен совпадать с эталонными данными с точностью до 3%. Ее архитектура также делает ее более гибкой, позволяя легко адаптироваться к разным масштабам и настройкам обучения. Для исследователей это означает получение результатов быстрее без ущерба для надежности, что идеально подходит для ускорения рабочих процессов в микроскопии.

Рис. 2. По сравнению с ручной обводкой (b) и U‑Net (c), сегментация YOLOv8 (d) обеспечивает более четкие и точные контуры на изображениях микроскопии. (Источник)

Снижение предвзятости и повышение согласованности в микроскопии с помощью YOLO#

С помощью платформы Theiascope™ компания Theia Scientific показала, что модели Ultralytics YOLO могут ускорить анализ микроскопических изображений и эксперименты с ПЭМ, поддерживая при этом воспроизводимые долгосрочные исследования. Платформа разработана так, чтобы быть независимой от микроскопа: модели YOLO используются для анализа изображений, полученных с различных инструментов, без необходимости в специализированных конвейерах обработки. Такая гибкость гарантирует, что рабочие процессы остаются согласованными при проведении различных экспериментов, разными операторами и в разных условиях.

Воспроизводимость — еще один ключевой результат. Научные исследования часто требуют возвращения к результатам и их проверки годы спустя. С различными моделями YOLO, интегрированными в Theiascope™, исследователи могут повторно запускать более старые модели, такие как Ultralytics YOLOv5, на архивированных наборах данных и получать согласованные результаты, а затем напрямую сравнивать их с результатами более новых моделей, таких как Ultralytics YOLO11. Это делает проверку выводов простой даже по мере развития методов ИИ.

Рис. 3. Платформа Theiascope™. Изображения электронной микроскопии захватываются и передаются с компьютера сбора данных на устройство с поддержкой GPU, на котором запущено веб-приложение, база данных временных рядов и модели Ultralytics YOLO. Обновления и новые модели Ultralytics YOLO могут быть переданы на платформу с помощью OTA-обновлений. Источник: Theia Scientific.

Кроме того, модели Ultralytics YOLO обеспечивают платформе масштабируемость, необходимую для обработки больших наборов данных. Их возможности вывода в реальном времени позволяют анализировать тысячи изображений ПЭМ за то время, которое потребовалось бы для ручного анализа лишь нескольких. Это позволяет исследователям отслеживать динамические процессы, такие как рост зерен, на протяжении всего эксперимента, генерируя новые идеи и открывая возможности для инновационных экспериментов в масштабе и со скоростью, необходимыми для передовых научных исследований.

Интеграция передового компьютерного зрения в исследовательские инструменты следующего поколения#

Theia Scientific рассматривает модели Ultralytics YOLO как основу для будущего микроскопии. Продолжая совершенствовать методы обучения и подходы к калибровке, компания стремится еще больше повысить точность в различных масштабах и условиях экспериментов.

В дальнейшем Theia Scientific планирует расширить возможности Theiascope™ для поддержки более сложных экспериментов in-situ и мультимодальных наборов данных. Они верят, что компьютерное зрение, вероятно, станет стандартной частью исследовательских рабочих процессов следующего поколения, что позволит быстрее совершать открытия и получать более глубокие знания в научных областях.

Хочешь оптимизировать рабочие процессы своей компании? Загляни в наш репозиторий на GitHub, чтобы узнать больше о Vision AI. Узнай, как модели YOLO стимулируют инновации в таких областях, как ИИ в здравоохранении и компьютерное зрение в ритейле. Чтобы познакомиться с YOLO на практике, узнай, как наши варианты лицензирования могут поддержать твое видение.