Интегрировав модели Ultralytics YOLO в свою платформу, Theia Scientific изменила подход к обработке микроскопических данных, сделав анализ более эффективным и надежным.
Научные исследования в таких областях, как материаловедение и нанотехнологии, часто опираются на ионную, сканирующую зондовую и оптическую микроскопию для изучения структур, невидимых человеческому глазу. Например, просвечивающая электронная микроскопия (TEM) — ключевой инструмент, позволяющий получать детализированные изображения на нано- и атомарном уровнях.
К сожалению, после получения этих изображений их анализ может быть медленным и сложным, часто требуя значительных ручных усилий и специальных знаний в предметной области. Для улучшения этого процесса Theia Scientific разработала платформу Theiascope™, систему анализа микроскопических изображений в реальном времени, которая интегрирует модели Ultralytics YOLO для автоматизации обнаружения объектов, сегментации и количественных измерений, делая микроскопию более быстрой, эффективной и воспроизводимой.
Изучение роли Vision AI в научной визуализации#
Братья Кевин и Кристофер Филд основали Theia Scientific, которая разрабатывает передовые программные инструменты для ускорения микроскопических исследований. Обладая опытом в материаловедении, промышленной автоматизации, электронике и разработке ПО, они сосредоточены на устранении узких мест, с которыми сталкиваются ученые, инженеры и исследователи при анализе сложных изображений.
Флагманский продукт компании — платформа Theiascope™, которая интегрирует компьютерное зрение для автоматического обнаружения, сегментации и измерения особенностей на изображениях, полученных с помощью электронной микроскопии. Используя Vision AI вместо ручной разметки и обведения контуров, платформа обеспечивает согласованные и воспроизводимые результаты.
Почему микроскопические изображения сложно анализировать вручную?#
Микроскопические изображения, особенно полученные с помощью TEM, очень детализированы, но сложны для интерпретации. Каждое изображение содержит от сотен до тысяч мелких особенностей и структур, таких как зерна и границы, которые необходимо тщательно идентифицировать, размечать, обводить и/или измерять для извлечения значимых данных. Традиционно это делалось вручную, что медленно, а результаты могут различаться у разных специалистов. Два исследователя могут по-разному разметить одно и то же изображение, что приводит к несогласованным результатам и большим погрешностям.
Этот процесс становится еще сложнее при работе с большими наборами данных. Для получения надежных выводов часто требуется проанализировать тысячи изображений, что при использовании ручных методов может занять недели или даже месяцы. Кроме того, различия в контрасте, шум и перекрывающиеся структуры еще больше усложняют процесс.
Для исследователей, стремящихся изучать эволюцию микроструктур или отслеживать изменения во времени, эти проблемы могут замедлять исследования. В Theia Scientific поняли, что для решения этих задач необходим более автоматизированный и надежный подход.
Улучшение рабочих процессов микроскопии с помощью моделей Ultralytics YOLO#
Изучив различные подходы к автоматизации анализа микроскопических данных, в Theia Scientific пришли к выводу, что модели Ultralytics YOLO обеспечивают скорость, точность и гибкость, необходимые для анализа микроскопических изображений в реальном времени, позволяя мгновенно получать количественные результаты прямо у микроскопа, пока эксперименты еще продолжаются. Такие модели Ultralytics YOLO, как Ultralytics YOLO11 и Ultralytics YOLOv8, поддерживают задачи компьютерного зрения, включая обнаружение объектов (идентификацию и определение местоположения отдельных особенностей на изображении) и сегментацию экземпляров (обведение каждой особенности на уровне пикселей). Благодаря этим задачам можно обнаруживать структуры наномасштаба, такие как зерна и границы, непосредственно на изображениях TEM по мере их получения.
Рис. 1. Текущий рабочий процесс анализа микроскопических изображений и данных. В конечном итоге ученые, инженеры и исследователи стремятся получить открытия и ответы. При этом рабочий процесс разрознен и трудоемок, а относительные затраты времени и усилий для каждого этапа показаны внизу. Обнаружение особенностей и агрегация — самые длительные этапы рабочего процесса. Серые стрелки, ведущие обратно к этапу получения данных, показывают необходимость повторного сбора данных, поскольку текущие данные непригодны для использования. Источник: Theia Scientific.
Например, в недавнем исследовании поликристаллических тонких пленок платформу Theiascope™ и модели Ultralytics YOLO использовали для выявления и измерения зернистых структур, влияющих на свойства материалов, применяемых в электронике, покрытиях и энергетических устройствах. Точное распределение размеров зерен имеет критическое значение для понимания того, как эти пленки изменяются в ходе экспериментов.
Одна из ключевых причин высокой эффективности моделей Ultralytics YOLO в таких сценариях — их способность интерполировать по большим наборам данных. Вместо того чтобы размечать каждый кадр эксперимента, исследователи могут аннотировать лишь небольшую часть изображений, обучить модель YOLO, а затем предоставить ей возможность надежно проанализировать тысячи дополнительных кадров. Это позволяет отслеживать рост зерен и изменения границ во времени в экспериментах TEM с покадровой съемкой при минимальном объеме ручной работы.
Почему стоит выбрать модели Ultralytics YOLO?#
В упомянутом ранее исследовании поликристаллических тонких пленок было установлено, что Ultralytics YOLOv8 работает до 43 раз быстрее, чем U‑Net (модель, часто используемая для анализа научных изображений). Благодаря такой скорости YOLO подходит для анализа в реальном времени непосредственно на микроскопе.
В отличие от точной, но медленной U‑Net, YOLO сочетает скорость и точность, обеспечивая измерения размеров зерен с отклонением не более 3% от эталонных значений. Архитектура модели также делает ее более гибкой: она легко работает с разными масштабами и настройками обучения. Для исследователей это означает более быстрые результаты без ущерба для надежности, что идеально подходит для ускорения рабочих процессов микроскопии.
Рис. 2. По сравнению с ручным обведением контуров (b) и U‑Net (c), сегментация YOLOv8 (d) обеспечивает более четкие и точные контуры на микроскопических изображениях. (Источник)
Снижение смещения и повышение согласованности микроскопии с помощью YOLO#
С помощью платформы Theiascope™ компания Theia Scientific показала, что модели Ultralytics YOLO могут ускорить анализ микроскопических изображений и эксперименты TEM, одновременно поддерживая воспроизводимые долгосрочные исследования. Платформа разработана как независимая от микроскопа система: это означает, что модели YOLO анализируют изображения, полученные с разных приборов, без необходимости создавать специализированные рабочие процессы. Такая гибкость обеспечивает согласованность рабочих процессов в различных экспериментах, для разных операторов и в разных условиях.
Воспроизводимость — еще один важный результат. Научные исследования часто требуют повторного изучения и проверки результатов спустя годы. Благодаря интеграции различных моделей YOLO в Theiascope™ исследователи могут повторно запустить старые модели, такие как Ultralytics YOLOv5, на архивных наборах данных и получить согласованные результаты, а затем напрямую сравнить их с результатами более новых моделей, таких как Ultralytics YOLO11. Это упрощает проверку выводов даже по мере развития методов ИИ.
Рис. 3. Платформа Theiascope™. Изображения, полученные с помощью электронной микроскопии, захватываются и передаются с компьютера сбора данных на устройство с GPU, где работают веб-приложение, база данных временных рядов и модели Ultralytics YOLO. Обновления и новые модели Ultralytics YOLO можно устанавливать на платформу с помощью обновлений OTA. Источник: Theia Scientific.
Кроме того, модели Ultralytics YOLO обеспечивают платформе масштабируемость, необходимую для работы с большими наборами данных. Благодаря возможностям вывода в реальном времени они позволяют проанализировать тысячи изображений TEM за то же время, которое потребовалось бы для ручного анализа всего нескольких изображений. Это дает исследователям возможность отслеживать динамические процессы, такие как рост зерен, на протяжении всего эксперимента, получать новые выводы и проводить инновационные эксперименты с масштабом и скоростью, необходимыми для передовых исследований.
Интеграция передовых технологий Vision AI в исследовательские инструменты нового поколения#
Theia Scientific рассматривает модели Ultralytics YOLO как основу будущего микроскопии. Продолжая совершенствовать методы обучения и подходы к калибровке, компания стремится дополнительно повысить точность при разных масштабах и экспериментальных условиях.
В дальнейшем Theia Scientific планирует расширить Theiascope™, добавив поддержку более сложных экспериментов in situ и мультимодальных наборов данных. В компании считают вероятным, что Vision AI станет стандартной частью исследовательских рабочих процессов следующего поколения, обеспечивая более быстрые открытия и глубокое понимание в различных научных областях.
Хочешь оптимизировать рабочие процессы своей компании? Загляни в наш репозиторий GitHub, чтобы узнать больше о Vision AI. Узнай, как модели YOLO способствуют инновациям в таких областях, как ИИ в здравоохранении и компьютерное зрение в розничной торговле. Чтобы попробовать YOLO на практике, узнай, как наши варианты лицензирования могут помочь реализовать твое видение.
