Камеры для компьютерного зрения и их применение

На успех приложения искусственного интеллекта (AI) влияют многие технические факторы, включая данные, алгоритмы и вычислительные мощности. В частности, в компьютерном зрении — области ИИ, посвящённой тому, чтобы научить машины анализировать и понимать изображения и видео, — одним из важнейших факторов является входной источник данных: камера. Качество и тип камер, используемых в приложении компьютерного зрения, напрямую влияют на производительность моделей ИИ.

Выбор подходящей камеры крайне важен, поскольку для разных задач компьютерного зрения требуются разные типы визуальных данных. Например, камеры высокого разрешения применяются в таких задачах, как распознавание лиц, где нужно точно фиксировать мелкие детали лица. В отличие от них, камеры с более низким разрешением подходят для таких задач, как мониторинг очередей, где важнее общие закономерности, а не мелкие детали.

Сегодня доступно множество типов камер, предназначенных для решения разных задач. Понимание их различий помогает оптимизировать проекты компьютерного зрения. Рассмотрим различные типы камер для компьютерного зрения и их применение в разных отраслях.

Изучаем RGB-камеры для компьютерного зрения#

Камеры RGB (красный, зелёный и синий) широко используются в приложениях компьютерного зрения. Они захватывают изображения в видимом спектре с длинами волн от 400 до 700 нанометров (nm). Поскольку такие изображения похожи на то, как видят люди, камеры RGB подходят для многих задач, например обнаружения объектов, сегментации экземпляров и оценки позы, когда достаточно зрительного восприятия, похожего на человеческое.

Рис. 1. Обзор принципа работы RGB-камер.

Для этих задач обычно нужно идентифицировать и обнаруживать объекты в двухмерной (2D) перспективе, где для получения точных результатов не требуется информация о глубине. Однако если приложению нужны данные о глубине, например для обнаружения 3D-объектов или робототехники, используют камеры RGB-D (красный, зелёный, синий и глубина). Такие камеры объединяют данные RGB с датчиками глубины, чтобы захватывать детали трёхмерных сцен и измерять глубину в реальном времени.

Использование камер RGB-D в розничных магазинах#

Интересный пример применения камер RGB-D — виртуальная примерка, которая становится всё популярнее в розничных магазинах. Например, умные экраны со встроенными камерами и датчиками RGB-D могут собирать данные о росте, телосложении и ширине плеч покупателя. На основе этих данных система может накладывать одежду на изображение покупателя в реальном времени. Задачи компьютерного зрения, например сегментация экземпляров и оценка позы, позволяют анализировать визуальные данные, точно определять тело покупателя и подгонять одежду по его фигуре.

Рис. 2. Пример виртуальной примерки.

Виртуальная примерка показывает покупателю в 3D, как будет сидеть одежда, а некоторые системы даже имитируют движение ткани, делая примерку реалистичнее. Благодаря компьютерному зрению и камерам RGB-D покупатели могут не ходить в примерочную и сразу примерять одежду. Это экономит время, упрощает сравнение фасонов и размеров и делает покупки удобнее.

Стереосъёмка и камеры с измерением времени пролёта (ToF)#

Стереокамеры используют несколько датчиков изображения для определения глубины путём сравнения снимков, сделанных под разными углами. Они точнее систем с одним датчиком. Камеры или датчики времени пролёта (ToF) измеряют расстояние, испуская инфракрасный свет, который отражается от объектов и возвращается к датчику. Процессор камеры рассчитывает расстояние по времени, за которое свет возвращается.

Рис. 3. Обзор принципа работы камер ToF.

В некоторых случаях стереокамеры объединяют с датчиками ToF, сочетая преимущества обоих устройств для быстрого и точного получения данных о глубине. Сочетание измерения расстояния в реальном времени с помощью датчика ToF и подробного восприятия глубины стереокамерой идеально подходит для таких приложений, как автономные транспортные средства и бытовая электроника, где важны и скорость, и точность.

Повседневный пример определения глубины с помощью камеры с измерением времени пролёта (ToF)#

Возможно, ты уже пользовался камерой с измерением времени пролёта (ToF), даже не подозревая об этом. Популярные смартфоны таких брендов, как Samsung, Huawei и Realme, часто оснащены датчиками ToF, расширяющими возможности определения глубины. Точные данные о глубине, получаемые такими камерами, используются для создания популярного эффекта боке: фон размывается, а объект остаётся в резком фокусе.

Датчики ToF становятся незаменимыми и для других задач, помимо фотографии, например для распознавания жестов и дополненной реальности (AR). Например, в телефонах Samsung Galaxy S20 Ultra и Huawei P30 Pro эти датчики используются для построения карты глубины сцены в 3D в реальном времени, улучшая как фотосъёмку, так и интерактивные функции.

Инфракрасные и тепловизионные камеры для обнаружения источников тепла#

Тепловизионные камеры, как следует из названия, широко применяются для обнаружения тепла в самых разных областях, включая производство и автомобилестроение. Они измеряют температуру и могут оповещать пользователей, когда обнаруживают критически высокие или низкие значения. Камеры регистрируют невидимое человеческому глазу инфракрасное излучение и обеспечивают точное измерение температуры. Тепловизионные камеры также называют инфракрасными; их применение не ограничивается промышленностью. Например, в сельском хозяйстве их используют для мониторинга здоровья скота, при инспекции зданий — для поиска утечек тепла, а при тушении пожаров — для обнаружения очагов возгорания.

Рис. 4. Пожарные используют тепловизионные камеры для поиска очагов возгорания.

Тепловизионная съёмка в промышленности#

Машины и электрические системы на производственных предприятиях, нефтяных и газовых платформах часто работают непрерывно и выделяют тепло. Со временем в таких компонентах, как двигатели, подшипники и электрические цепи, может накапливаться избыточное тепло, что потенциально приводит к отказам оборудования или угрозам безопасности.

Тепловизионные камеры помогают операторам отслеживать эти системы и заранее обнаруживать аномальные скачки температуры. Перегревающийся двигатель можно отправить на обслуживание до того, как он выйдет из строя и приведёт к дорогостоящим последствиям. Интеграция тепловизионной съёмки в регулярные проверки позволяет внедрять предиктивное обслуживание, сокращать простои, продлевать срок службы оборудования и обеспечивать более безопасные условия труда. Это в целом повышает производительность предприятия и снижает риск неожиданных отказов.

Замедленная и высокоскоростная съёмка для захвата движения#

Высокоскоростные камеры рассчитаны на съёмку более 10 000 кадров в секунду (FPS), чтобы фиксировать быстрые движения с высокой детализацией. Например, если продукция быстро движется по производственной линии, высокоскоростные камеры можно использовать для её мониторинга и обнаружения отклонений.

Замедленные камеры, напротив, снимают с высокой частотой кадров, а затем воспроизводят видео медленнее. Это позволяет зрителям замечать детали, которые обычно не видны в реальном времени. Такие камеры используют для оценки характеристик огнестрельного оружия и взрывчатых веществ. Возможность замедлить и проанализировать сложные движения идеально подходит для таких задач.

В некоторых ситуациях сочетание высокоскоростных и замедленных камер позволяет детально анализировать быстро и медленно движущиеся объекты в рамках одного события. Например, можно анализировать игру в гольф. Высокоскоростные камеры измеряют скорость мяча для гольфа, а замедленные камеры позволяют анализировать замах игрока и контроль над телом.

Рис. 5. Использование компьютерного зрения и высокоскоростных камер для анализа замаха игрока в гольф.

Мультиспектральная съёмка в компьютерном зрении#

Мультиспектральные камеры — это специализированные устройства, которые за один кадр записывают несколько диапазонов светового спектра, включая ультрафиолетовый и инфракрасный. Мультиспектральная съёмка предоставляет ценную подробную информацию, недоступную обычным камерам. Как и гиперспектральные камеры, которые захватывают ещё больше узких и непрерывных диапазонов света, мультиспектральные камеры применяются в сельском хозяйстве, геологии, мониторинге окружающей среды и медицинской визуализации. Например, в здравоохранении мультиспектральные камеры помогают визуализировать разные ткани, снимая изображения в нескольких диапазонах длин волн.

Рис. 6. Сравнение RGB-, мультиспектральной и гиперспектральной съёмки.

Так же значительных успехов в сельском хозяйстве достигают дроны с мультиспектральными камерами. Они могут заранее выявлять нездоровые растения и растения, поражённые насекомыми и вредителями. Такие камеры анализируют ближний инфракрасный спектр, а здоровые растения обычно отражают больше ближнего инфракрасного света, чем нездоровые. Используя методы ИИ в сельском хозяйстве, фермеры могут заранее принимать меры, повышать урожайность и сокращать потери урожая.

Камеры LiDAR для автономных транспортных средств#

Камеры LiDAR (обнаружение света и определение дальности) используют лазерные импульсы для построения трёхмерных карт и обнаружения удалённых объектов. Они эффективны в самых разных условиях, включая темноту и высокие температуры, хотя сильные осадки, например дождь или туман, могут ухудшать их работу. LiDAR широко применяется в таких задачах, как навигация и обнаружение препятствий в беспилотных автомобилях.

LiDAR работает как глаза автомобиля: он испускает лазерные импульсы и измеряет время их возвращения после отражения. Эти данные помогают автомобилю рассчитывать расстояния и обнаруживать такие объекты, как машины, пешеходы и сигналы светофора, обеспечивая обзор на 360 градусов для более безопасного вождения.

Подводим итоги#

В компьютерном зрении камеры служат глазами, с помощью которых машины видят и интерпретируют мир подобно людям. Выбор подходящего типа камеры — ключ к успешной работе различных приложений компьютерного зрения. Каждый тип камер — от стандартных камер RGB до современных систем LiDAR — обладает уникальными функциями для конкретных задач. Понимая разнообразие камерных технологий и их применение, разработчики и исследователи смогут лучше оптимизировать модели компьютерного зрения для решения сложных задач реального мира.

Узнай больше об AI в нашем репозитории GitHub. Присоединяйся к нашему сообществу, чтобы познакомиться с единомышленниками, увлечёнными AI в компьютерном зрении. Подробнее о применении компьютерного зрения в здравоохранении и производстве читай на страницах наших решений.