Изучение принципов работы применений компьютерного зрения

Изучая историю моделей компьютерного зрения, мы увидели, как развивалось компьютерное зрение и какой путь привёл к современным продвинутым моделям зрения. Современные модели, такие как Ultralytics YOLOv8, поддерживают множество задач компьютерного зрения и используются в различных интересных приложениях.

В этой статье мы рассмотрим основы компьютерного зрения и моделей зрения. Мы расскажем, как они работают и применяются в различных отраслях. Инновации в области компьютерного зрения повсюду и незаметно меняют наш мир. Давай разберёмся в них по очереди!

Что такое компьютерное зрение?#

Искусственный интеллект (AI) — это общий термин, охватывающий множество технологий, цель которых — воспроизвести часть человеческого интеллекта. Одной из таких областей AI является компьютерное зрение. Компьютерное зрение призвано дать машинам глаза, способные видеть, наблюдать и понимать окружающий мир.

Как и человеческое зрение, решения на основе компьютерного зрения предназначены для различения объектов, вычисления расстояний и обнаружения движений. Однако люди опираются на накопленный за всю жизнь опыт, который помогает им видеть и понимать, а компьютеры — на огромные объёмы данных, камеры высокой чёткости и сложные алгоритмы.

Рис. 1. Сравнение человеческого зрения и компьютерного зрения.

Системы компьютерного зрения могут обрабатывать и анализировать визуальные данные, такие как изображения и видео, с невероятной скоростью и точностью. Способность быстро и точно анализировать огромные объёмы визуальной информации делает компьютерное зрение мощным инструментом в самых разных отраслях — от производства до здравоохранения.

Модели зрения поддерживают различные задачи компьютерного зрения#

Модели компьютерного зрения — основа любого приложения компьютерного зрения. По сути, это вычислительные алгоритмы, работающие на основе методов глубокого обучения и предназначенные для того, чтобы научить машины интерпретировать и понимать визуальную информацию. Модели зрения поддерживают важнейшие задачи компьютерного зрения — от классификации изображений до обнаружения объектов. Давай подробнее рассмотрим некоторые из этих задач и варианты их применения.

Классификация изображений#

Классификация изображений заключается в распределении изображений по заранее определённым классам или категориям и присвоении им меток. Модель зрения, например YOLOv8, можно обучить на больших наборах данных с размеченными изображениями. Во время обучения модель учится распознавать закономерности и признаки, связанные с каждым классом. После обучения она может предсказывать категорию новых, ранее не встречавшихся изображений, анализируя их признаки и сравнивая их с изученными закономерностями.

Рис. 2. Пример классификации изображений. (источник: towardsdatascience.com)

Существует несколько типов классификации изображений. Например, при работе с медицинскими изображениями можно использовать бинарную классификацию, чтобы разделить изображения на две группы — например, здоровые и больные. Другой тип — многоклассовая классификация. Она помогает распределять изображения по множеству групп, например классифицировать разных животных на ферме: свиней, коз и коров. Или предположим, что ты хочешь распределить животных по группам и подгруппам: сначала классифицировать их как млекопитающих и птиц, а затем разделить на виды, такие как львы, тигры, орлы и воробьи. В этом случае лучше всего подойдёт иерархическая классификация.

Обнаружение объектов#

Обнаружение объектов — это процесс выявления и определения местоположения объектов на изображениях и кадрах видео с помощью компьютерного зрения. Он состоит из двух задач: локализации объектов, при которой вокруг объектов строятся ограничивающие рамки, и классификации объектов, при которой определяется категория каждого объекта. На основе аннотаций ограничивающих рамок модель зрения может научиться распознавать закономерности и признаки, характерные для каждой категории объектов, а также предсказывать наличие и расположение этих объектов на новых, ранее не встречавшихся изображениях.

Рис. 3. Использование YOLOv8 для обнаружения игроков на футбольном поле.

Обнаружение объектов находит множество применений в различных отраслях — от спорта до морской биологии. Например, в сфере розничной торговли технология Amazon Just Walk Out использует обнаружение объектов для автоматизации оплаты, распознавая товары, которые покупатели берут с полок. Сочетание компьютерного зрения и данных с датчиков позволяет покупателям взять товары и уйти, не стоя в очереди.

Рассмотрим подробнее, как это работает:

• Камеры, установленные на потолке, фиксируют перемещение покупателей по магазину, а видеозапись обрабатывается моделями зрения в реальном времени.
• Обнаружение объектов используется для определения конкретного товара, который покупатель берёт и кладёт в корзину, чтобы соответствующим образом обновить его виртуальную корзину.
• Весовые датчики на полках повышают точность, обнаруживая снятие или возвращение товара.
• Когда покупатель выходит из магазина, для подтверждения его ухода можно использовать обнаружение объектов и технологию распознавания лиц, а его платёжные данные, например номер кредитной карты, — чтобы автоматически списать оплату.

Семантическая и экземплярная сегментация#

Семантическая сегментация и экземплярная сегментация — это задачи компьютерного зрения, которые помогают разделить изображения на содержательные сегменты. Семантическая сегментация классифицирует пиксели на основе их смыслового значения и рассматривает все объекты одной категории как единый объект с одинаковой меткой. Она подходит для разметки неисчисляемых объектов, таких как «небо» или «океан», либо скоплений объектов, таких как «листья» или «трава».

Экземплярная сегментация, напротив, позволяет различать отдельные экземпляры одного класса, присваивая каждому обнаруженному объекту уникальную метку. Экземплярную сегментацию можно использовать для сегментации исчисляемых объектов, когда важны их количество и независимость друг от друга. Она обеспечивает более точную идентификацию и дифференциацию.

Рис. 4. Пример семантической и экземплярной сегментации.

Разницу между семантической и экземплярной сегментацией легче понять на примере, связанном с беспилотными автомобилями. Семантическая сегментация отлично подходит для задач, требующих понимания содержимого сцены, и может использоваться в автономных транспортных средствах для классификации объектов на дороге, например пешеходных переходов и дорожных знаков. Экземплярную сегментацию, в свою очередь, можно применять в автономных транспортных средствах для различения отдельных пешеходов, транспортных средств и препятствий.

Оценка позы#

Оценка позы — это задача компьютерного зрения, ориентированная на обнаружение и отслеживание ключевых точек позы объекта на изображениях или видео. Чаще всего она используется для оценки позы человека; к ключевым точкам относятся, например, плечи и колени. Оценка позы человека помогает понимать и распознавать действия и движения, критически важные для различных приложений.

Рис. 5. Пример оценки позы с использованием YOLOv8.

Оценку позы можно использовать в спорте для анализа движений спортсменов. NBA применяет оценку позы для изучения движений и позиций игроков во время матча. Отслеживая ключевые точки, такие как плечи, локти, колени и лодыжки, оценка позы предоставляет подробную информацию о движениях игроков. Эти сведения помогают тренерам разрабатывать более эффективные стратегии, оптимизировать тренировочные программы и вносить изменения в реальном времени во время игр. Кроме того, данные помогают отслеживать усталость игроков и риск травм, повышая их общее состояние здоровья и результативность.

Обнаружение объектов с ориентированными ограничивающими рамками#

Обнаружение объектов с ориентированными ограничивающими рамками (OBB) использует повёрнутые прямоугольники для точной идентификации и определения местоположения объектов на изображении. В отличие от стандартных ограничивающих рамок, выровненных по осям изображения, OBB поворачиваются в соответствии с ориентацией объекта. Это особенно полезно для объектов, которые не расположены строго горизонтально или вертикально. Такие рамки позволяют точно выделять и изолировать повёрнутые объекты, предотвращая перекрытия в условиях скопления объектов.

Рис. 6. Пример обнаружения объектов с ориентированными ограничивающими рамками на аэрофотоснимке лодок с использованием YOLOv8.

В морском наблюдении идентификация и отслеживание судов имеют ключевое значение для безопасности и управления ресурсами. Обнаружение с помощью OBB можно использовать для точной локализации судов, даже если они находятся в плотной группе или ориентированы под разными углами. Это помогает контролировать судоходные пути, управлять морским движением и оптимизировать работу портов. Технология также может помочь при ликвидации последствий стихийных бедствий, быстро выявляя и оценивая повреждения судов и инфраструктуры после таких событий, как ураганы или разливы нефти.

Отслеживание объектов#

До сих пор мы обсуждали задачи компьютерного зрения, связанные с изображениями. Отслеживание объектов — это задача компьютерного зрения, позволяющая отслеживать объект на протяжении всех кадров видео. Сначала объект определяется на первом кадре с помощью алгоритмов обнаружения, после чего его положение непрерывно отслеживается по мере перемещения в видео. Для точного отслеживания объектов применяются такие методы, как обнаружение объектов, извлечение признаков и прогнозирование движения.

Рис. 7. Отслеживание рыб с помощью YOLOv8.

Модели зрения, такие как YOLOv8, можно использовать для отслеживания рыб в морской биологии. С помощью подводных камер исследователи могут наблюдать за перемещениями и поведением рыб в их естественной среде обитания. Процесс начинается с обнаружения отдельных рыб на первых кадрах, после чего отслеживается их положение на протяжении всего видео. Отслеживание рыб помогает учёным понять закономерности миграции, социальное поведение и взаимодействие с окружающей средой. Оно также способствует устойчивому рыболовству, предоставляя сведения о распространении и численности рыб.

Итоги: компьютерное зрение#

Компьютерное зрение активно меняет то, как мы используем технологии и взаимодействуем с окружающим миром. Используя модели глубокого обучения и сложные алгоритмы для понимания изображений и видео, компьютерное зрение помогает отраслям оптимизировать множество процессов. Такие задачи компьютерного зрения, как обнаружение и отслеживание объектов, позволяют создавать решения, которые раньше невозможно было представить. По мере совершенствования технологий компьютерного зрения нас ждёт ещё больше инновационных приложений!

Давай учиться и развиваться вместе! Загляни в наш репозиторий на GitHub, чтобы узнать о нашем вкладе в развитие AI. Посмотри, как мы меняем такие отрасли, как беспилотные автомобили и сельское хозяйство, с помощью AI. 🚀