Сегментация клеток: что это и как Vision AI её улучшает

Многие прорывы в разработке лекарств, исследованиях рака и персонализированной медицине начинаются с одной важной задачи: четко видеть клетки. Ученым нужны четкие изображения, чтобы отслеживать поведение клеток, оценивать действие лекарств и изучать новые методы лечения.

На одном микроскопическом изображении могут быть тысячи перекрывающихся клеток, из-за чего их границы трудно различить. Сегментация клеток решает эту проблему, четко отделяя каждую клетку для точного анализа.

Однако сегментация клеток не всегда проста. В ходе одного исследования можно получить тысячи подробных микроскопических изображений — слишком много, чтобы проверять их вручную. По мере роста наборов данных ученым нужны более быстрые и надежные способы разделять клетки и изучать их.

Многие ученые уже используют компьютерное зрение — область ИИ, которая позволяет машинам интерпретировать и анализировать визуальную информацию. Например, модели, такие как Ultralytics YOLO11, поддерживающие сегментацию экземпляров, можно обучать разделять клетки и даже обнаруживать внутриклеточные структуры. Это позволяет проводить точный анализ за секунды, а не часы, помогая исследователям эффективно масштабировать свои исследования.

Рис. 1. YOLO для сегментации ядер: обнаружение и обведение контуров клеточных ядер (центров клеток). (Источник)

В этой статье мы разберемся, как работает сегментация клеток, как компьютерное зрение ее улучшает и где она применяется в реальных условиях.

Применение компьютерного зрения для сегментации клеток#

Раньше ученые сегментировали клетки вручную, обводя их на микроскопических изображениях. Этот подход хорошо работал в небольших проектах, но был медленным, непоследовательным и подверженным ошибкам. Когда на одном изображении тысячи перекрывающихся клеток, ручная разметка быстро становится непосильной задачей и серьезным узким местом.

Компьютерное зрение — более быстрый и надежный вариант. Это область ИИ на базе глубокого обучения, в рамках которой машины учатся находить закономерности на больших наборах изображений. В исследованиях клеток это означает, что системы могут с высокой точностью распознавать и разделять отдельные клетки.

В частности, модели ИИ для компьютерного зрения, такие как Ultralytics YOLO11, поддерживают обнаружение объектов и сегментацию экземпляров, а также могут обучаться на пользовательских наборах данных для анализа клеток. Обнаружение объектов позволяет находить и маркировать каждую клетку на изображении, даже если рядом есть много других клеток.

Сегментация экземпляров идет дальше и очерчивает точные границы каждой клетки, передавая ее форму. Интеграция этих возможностей компьютерного зрения в конвейеры сегментации клеток позволяет исследователям автоматизировать сложные рабочие процессы и эффективно обрабатывать микроскопические изображения высокого разрешения.

Развитие алгоритмов сегментации клеток#

За прошедшие годы методы сегментации клеток значительно изменились. Ранние методы сегментации изображений подходили для простых изображений, но плохо справлялись с ростом наборов данных и усложнением различения клеток.

Чтобы преодолеть эти ограничения, разработали более продвинутые методы. В результате появились современные модели компьютерного зрения, которые обеспечивают скорость, точность и масштабируемость исследований в области микробиологии и микроскопии.

Далее рассмотрим, как развивались алгоритмы сегментации: от простых методов пороговой обработки до современных моделей глубокого обучения и гибридных конвейеров.

Сегментация клеток с помощью пороговых методов и морфологических операций#

До развития компьютерного зрения сегментация клеток опиралась на традиционные методы обработки изображений. Эти методы использовали вручную заданные правила и операции, например обнаружение границ, отделение переднего плана от фона или сглаживание форм. В отличие от моделей компьютерного зрения, которые могут самостоятельно изучать закономерности на данных, обработка изображений опирается на фиксированные алгоритмы, одинаково применяемые ко всем изображениям.

Одним из первых подходов была пороговая обработка — метод отделения клеток от фона путем сравнения яркости пикселей. Он хорошо работает, когда между клетками и окружающим фоном есть сильный контраст.

Рис. 2. Пример сегментации клеток на основе пороговой обработки. (Источник)

Для уточнения результатов используют морфологические операции, например дилатацию (расширение форм) и эрозию (сужение форм), чтобы сглаживать края, удалять шум или закрывать небольшие промежутки. Если клетки соприкасаются или перекрываются, их помогает разделить метод водораздела: он проводит границы в местах соприкосновения клеток.

Хотя эти методы плохо справляются со сложными случаями, например с перекрывающимися клетками или зашумленными изображениями, они по-прежнему полезны для более простых задач и занимают важное место в истории сегментации клеток. Однако их ограничения подтолкнули эту область к моделям на основе глубокого обучения, которые обеспечивают гораздо более высокую точность при работе со сложными изображениями.

Модели глубокого обучения для сегментации клеток#

Когда методы обработки изображений достигли предела своих возможностей, для сегментации клеток стали применять подходы на основе обучения. В отличие от методов, основанных на правилах, модели глубокого обучения выявляют закономерности непосредственно в данных, поэтому лучше адаптируются к перекрывающимся клеткам, разнообразию форм и различным методам визуализации.

Сверточные нейронные сети (CNNs) — это класс архитектур глубокого обучения, широко применяемых в компьютерном зрении. Они обрабатывают изображения послойно: ранние слои обнаруживают простые признаки, например края и текстуры, а более глубокие — сложные формы и структуры. Благодаря такому послойному подходу CNN эффективны во многих задачах компьютерного зрения: от распознавания повседневных объектов с помощью поиска закономерностей до анализа биомедицинских изображений.

Такие модели, как Ultralytics YOLO11, построены на принципах глубокого обучения. Они развивают архитектуры на основе CNN, применяя методы обнаружения объектов в реальном времени и сегментации экземпляров, что позволяет быстро находить клетки и очерчивать их границы.

Гибридные конвейеры повышают качество сегментации клеток#

Гибридные конвейеры повышают качество сегментации клеток, объединяя преимущества нескольких методов. Это могут быть классическая обработка изображений и модели глубокого обучения или даже совместная работа разных моделей глубокого обучения.

Например, один метод может улучшать или предварительно обрабатывать микроскопические изображения, чтобы уменьшить шум и сделать границы четче, а другая модель — обнаруживать и сегментировать клетки. Разделение задач таким образом повышает точность, помогает эффективнее обрабатывать сложные изображения и делает масштабные исследования надежнее.

Рис. 3. Пример входного изображения клетки низкого качества (a) и закономерностей, выявленных при предварительной обработке (b), благодаря которой признаки клеток становятся отчетливее и их можно анализировать дальше. (Источник)

Важность наборов данных для сегментации клеток#

Еще один важный фактор сегментации клеток с помощью компьютерного зрения — данные изображений. Модели компьютерного зрения во многом зависят от больших высококачественных наборов данных, на которых они учатся точно распознавать и разделять клетки.

Такие наборы данных обычно состоят из микроскопических изображений с аннотациями. Не менее важную роль играет аннотирование данных, или разметка: оно сообщает модели ключевую информацию и помогает создавать эффективные наборы данных.

Например, чтобы обучить модель вроде Ultralytics YOLO11 сегментировать раковые клетки на микроскопических изображениях, нужны размеченные примеры, показывающие, где начинается и заканчивается каждая клетка. Эти метки служат ориентиром и учат модель распознавать морфологию и границы клеток. Аннотации можно наносить вручную или создавать с помощью полуавтоматических инструментов, чтобы сэкономить время.

Тип аннотации зависит от задачи. Для обнаружения объектов вокруг каждой клетки рисуют ограничивающую рамку. При сегментации экземпляров аннотации представляют собой подробные маски, точно повторяющие контур каждой клетки. Правильный выбор типа аннотации и обучающих данных помогает модели освоить нужные навыки.

Сложность данных для сегментации клеток#

В целом создавать наборы данных для компьютерного зрения сложно, особенно если готовых коллекций изображений нет или область сильно специализирована. Однако клеточные исследования сопряжены с дополнительными техническими сложностями, которые еще больше затрудняют сбор и разметку данных.

Микроскопические изображения могут сильно различаться в зависимости от метода визуализации клеток. Например, при флуоресцентной микроскопии используют красители, благодаря которым отдельные части клетки начинают светиться. Такие изображения выявляют детали, которые иначе трудно разглядеть.

Разметка — еще одна серьезная проблема. Вручную размечать тысячи клеток долго, и для этого нужны специальные знания. Клетки часто перекрываются, меняют форму или выглядят бледно, поэтому легко допустить ошибку. Полуавтоматические инструменты ускоряют процесс, но для контроля качества обычно требуется участие человека.

Чтобы уменьшить объем работы, исследователи иногда используют более простую разметку — например, метки областей интереса, которые указывают, где находятся клетки, вместо прорисовки полных контуров. Такие метки менее точны, но все равно дают важные ориентиры для обучения.

Кроме того, обмен биологическими данными сопряжен с дополнительными трудностями. Вопросы конфиденциальности, согласие пациентов и различия в оборудовании для визуализации между лабораториями мешают создавать согласованные высококачественные наборы данных.

Несмотря на эти трудности, наборы данных с открытым исходным кодом многое изменили. Общедоступные коллекции на GitHub и Ultralytics Platform, например Blood Cell Segmentation, содержат тысячи размеченных изображений разных типов клеток и методов съемки, помогая моделям лучше обобщать результаты на реальные сценарии.

Применение моделей сегментации клеток#

Теперь, когда мы лучше понимаем данные и методы сегментации клеток с помощью компьютерного зрения, давай рассмотрим реальные области применения сегментации клеток и компьютерного зрения.

Анализ отдельных клеток с помощью сегментации#

Анализ отдельных клеток — изучение клеток по одной, а не целых образцов тканей — помогает ученым замечать детали, которые часто теряются при рассмотрении более масштабной картины. Такой подход широко применяют в клеточной биологии, разработке лекарств и диагностике, чтобы понять, как клетки функционируют и реагируют на разные условия.

Например, образец раковой ткани часто содержит смесь раковых клеток, иммунных клеток и вспомогательных стромальных клеток. Анализ ткани целиком может скрыть важные различия: например, взаимодействие иммунных клеток с опухолями или особенности поведения раковых клеток рядом с кровеносными сосудами.

Анализ отдельных клеток позволяет исследователям разделять эти типы клеток и изучать их по отдельности, что крайне важно для понимания реакции на лечение и прогрессирования заболевания. Модели вроде Ultralytics YOLO11, поддерживающие сегментацию экземпляров, обнаруживают каждую клетку и очерчивают ее точную форму, даже на перегруженных изображениях или изображениях с перекрывающимися клетками. Преобразуя сложные микроскопические изображения в структурированные данные, YOLO11 позволяет быстро и единообразно анализировать тысячи клеток.

Отслеживание клеток и визуализация в реальном времени с помощью YOLO#

Клетки делятся, перемещаются и по-разному реагируют на окружающую среду. Анализ изменений в живых клетках с течением времени помогает ученым понять, как они ведут себя при здоровье и болезни.

С помощью таких методов, как фазово-контрастная или высокоразрешающая микроскопия, исследователи могут наблюдать за этими изменениями без добавления красителей или меток. Благодаря этому клетки сохраняют естественное состояние, а результаты становятся надежнее.

Отслеживание клеток с течением времени также помогает замечать детали, которые иначе могли бы остаться незамеченными. Одна клетка может двигаться быстрее других, необычным образом делиться или сильно реагировать на стимул. Фиксация таких незначительных различий дает более ясное представление о поведении клеток в реальных условиях.

Модели компьютерного зрения, такие как Ultralytics YOLOv8, ускоряют этот процесс и делают его более последовательным. Обнаруживая и отслеживая отдельные клетки в последовательностях изображений, YOLOv8 автоматически контролирует их перемещение, деление и взаимодействие, даже если клетки перекрываются или меняют форму.

Рис. 4. Результаты сегментации клеток с помощью Ultralytics YOLOv8 для их обнаружения. (Источник: mdpi.com)

Интеграция ИИ для компьютерного зрения с биоинформатикой и мультиомикой#

Результаты моделей компьютерного зрения, таких как Ultralytics YOLO11 для сегментации целых клеток, могут принести больше пользы в сочетании с биоинформатикой (применением вычислительных методов для анализа биологических данных) и мультиомикой (интеграцией данных о ДНК, РНК и белках). Вместе эти методы позволяют перейти от простого выделения границ клеток к пониманию их значения.

Вместо того чтобы просто определять местоположение клеток, ученые могут изучать их взаимодействия, изменения структуры тканей при заболеваниях и связь небольших изменений формы клеток с молекулярной активностью.

Рассмотрим образец опухоли: сопоставляя размер, форму или положение раковых клеток с их молекулярными профилями, исследователи могут выявлять корреляции с мутациями генов, экспрессией генов или аномальной активностью белков. Так статические изображения превращаются в полезные практические данные, которые помогают отслеживать активность генов в опухолях, отображать поведение белков в реальном времени и создавать эталонные атласы, связывающие структуру с функцией.

Преимущества сегментации клеток#

Вот некоторые основные преимущества сегментации клеток с помощью компьютерного зрения:

• Высокопроизводительный скрининг: автоматическая сегментация позволяет эффективно обрабатывать миллионы клеток, ускоряя масштабную разработку и тестирование лекарств.
• Данные о пространственной организации: сегментация показывает, как клетки расположены в тканях, и дает важные сведения об опухолевом окружении и развитии тканей.
• Получение количественных данных: помимо визуальной информации, сегментация позволяет измерять количество клеток, их площадь и уровень интенсивности. Это дает возможность надежно сравнивать результаты экспериментов.

Ограничения применения ИИ для компьютерного зрения при сегментации клеток#

Компьютерное зрение дает много преимуществ для сегментации клеток, но у этого подхода есть и ограничения. Вот несколько факторов, о которых стоит помнить:

• Конфиденциальность данных: передача размеченных наборов данных о клетках для обучения моделей может вызвать этические и нормативные вопросы, особенно если изображения связаны с информацией о пациентах.
• Требования к оборудованию и вычислительным ресурсам: анализ биологических изображений высокого разрешения требует мощных GPU и значительного объема хранилища. Облачные вычисления и оптимизированные алгоритмы делают эту задачу доступнее.
• Обобщающая способность модели: модели, обученные на изображениях с микроскопа или по протоколу окрашивания одной лаборатории, могут плохо работать в других условиях. Обучение на разнообразных данных из нескольких лабораторий повышает устойчивость.

Будущее сегментации клеток#

Вероятно, следующее поколение моделей сегментации клеток будет сочетать скорость, точность и масштабируемость. Такие модели, как U-Net, оказали большое влияние на область, но могут требовать значительных вычислительных ресурсов. Благодаря развитию компьютерного зрения исследователи переходят к моделям, которые обеспечивают и высокую точность, и работу в реальном времени.

Например, модели Ultralytics YOLOv8 сегментируют микроскопические изображения значительно быстрее традиционных методов, сохраняя при этом четкие и точные границы.

В недавнем исследовании с использованием просвечивающей электронной микроскопии (TEM) метрики производительности показали, что Ultralytics YOLOv8 работает до 43 раз быстрее U-Net. Такая производительность позволяет анализировать большие наборы данных в реальном времени, что становится все важнее по мере увеличения масштаба исследований с визуализацией.

Рис. 5. По сравнению с другими моделями, например U-Net (c), YOLOv8 при сегментации (d) точнее и четче выделяет контуры на микроскопических изображениях. (Источник)

Эти улучшения уже применяются на практике. Такие платформы, как Theiascope™ от Theia Scientific, объединяют модели Ultralytics YOLO с просвечивающей электронной микроскопией (TEM), обеспечивая последовательную сегментацию наноструктур в больших масштабах. Платформа использует модели Ultralytics YOLO для обнаружения и сегментации в реальном времени: автоматически распознает структуры на снимках TEM по мере их получения и преобразует их в надежные данные, готовые к анализу.

Главные выводы#

Сегментация клеток играет ключевую роль в современной микроскопии и биомедицинских исследованиях. Она позволяет ученым наблюдать за отдельными клетками, отслеживать развитие заболеваний и контролировать влияние лечения на их поведение. Модели компьютерного зрения на основе ИИ, такие как Ultralytics YOLO11, делают этот процесс быстрее и точнее. Эффективно обрабатывая большие сложные изображения, они помогают делать эксперименты воспроизводимыми и масштабируемыми.

Присоединяйся к нашему сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше об ИИ. Посмотри страницы с нашими решениями и узнай больше о таких приложениях, как ИИ в сельском хозяйстве и компьютерное зрение в логистике. Ознакомься с вариантами лицензирования и начинай создавать решения на основе компьютерного зрения уже сегодня!