Изучаем различные типы данных для приложений Vision AI

Раньше дроны и подобные технологии были доступны лишь исследователям и специалистам, но сегодня передовое оборудование становится доступнее широкой аудитории. Это меняет способы сбора визуальных данных. Благодаря доступности технологий мы можем получать изображения и видео из самых разных источников, а не только с традиционных камер.

Параллельно быстро развивается анализ изображений на основе компьютерного зрения — раздела искусственного интеллекта (AI), который позволяет машинам эффективнее интерпретировать и обрабатывать визуальные данные. Это открывает новые возможности для автоматизации, обнаружения объектов и анализа в реальном времени. Теперь машины могут распознавать закономерности, отслеживать движение и интерпретировать сложные визуальные данные.

К основным типам визуальных данных относятся изображения RGB (красный, зелёный, синий), которые широко используются для распознавания объектов; тепловизионные изображения, помогающие обнаруживать тепловые сигнатуры при слабом освещении; и данные о глубине, позволяющие машинам понимать трёхмерное окружение. Каждый из этих типов данных играет важную роль в различных приложениях Vision AI — от видеонаблюдения до медицинской визуализации.

В этой статье мы рассмотрим основные типы визуальных данных, используемых в компьютерном зрении, и разберём, как каждый из них помогает повышать точность, эффективность и производительность в разных отраслях.

Самые распространённые типы наборов данных изображений и видео для ИИ#

Когда ты фотографируешь на смартфон или смотришь записи с камер видеонаблюдения, обычно ты работаешь с изображениями RGB. RGB — это три цветовых канала: красный, зелёный и синий, которые передают визуальную информацию в цифровых изображениях.

Изображения и видео RGB — близкие типы визуальных данных, используемые в компьютерном зрении; оба типа получают с помощью обычных камер. Главное различие в том, что изображение фиксирует один момент, а видео представляет собой последовательность кадров, показывающих, как события меняются со временем.

Изображения RGB обычно применяются в задачах компьютерного зрения, таких как обнаружение объектов, сегментация экземпляров и оценка позы. Эти задачи решают, например, модели Ultralytics YOLO11. Такие приложения находят закономерности, формы и определённые признаки в одном кадре.

Видео, напротив, незаменимы, когда важны движение или время, например при распознавании жестов, видеонаблюдении или отслеживании действий. Поскольку видео можно рассматривать как последовательность изображений, модели компьютерного зрения, например Ultralytics YOLO11, обрабатывают их кадр за кадром, чтобы понимать движение и поведение с течением времени.

Например, Ultralytics YOLO11 может анализировать изображения или видео RGB, чтобы обнаруживать сорняки и подсчитывать растения на сельскохозяйственных полях. Это улучшает мониторинг посевов и помогает отслеживать изменения на протяжении циклов роста, делая управление хозяйством эффективнее.

Рис. 1. YOLO11 может обнаруживать и подсчитывать растения, улучшая мониторинг посевов.

Данные о глубине в Vision AI: LiDAR и 3D-восприятие#

Данные о глубине добавляют визуальной информации третье измерение, указывая расстояние от объектов до камеры или датчика. В отличие от изображений RGB, которые лишь фиксируют цвет и текстуру, данные о глубине дают пространственный контекст. Они показывают расстояние между объектами и камерой, позволяя интерпретировать трёхмерную структуру сцены.

Данные этого типа собираются с помощью таких технологий, как LiDAR, стереозрение (использование двух камер для имитации человеческого восприятия глубины) и камеры Time-of-Flight (ToF), измеряющие время, за которое свет достигает объекта и возвращается обратно. Глубину также можно оценить по одному RGB-изображению с помощью моделей монокулярной оценки глубины.

Среди этих технологий LiDAR (обнаружение и определение дальности с помощью света) часто обеспечивает наиболее надёжные измерения глубины. Он работает так: испускает короткие лазерные импульсы и измеряет время, за которое они отражаются обратно. В результате получается высокоточная трёхмерная карта, называемая облаком точек: она в реальном времени показывает форму, положение и расстояние до объектов.

Растущая роль LiDAR в системах Vision AI#

Технологию LiDAR можно разделить на два основных типа, каждый из которых предназначен для конкретных задач и условий. Рассмотрим оба типа подробнее:

• Воздушный LiDAR: обычно используется для картографирования больших территорий. Сканеры воздушного LiDAR устанавливают на дроны или летательные аппараты, чтобы собирать данные высокого разрешения для крупномасштабного топографического картографирования. Этот тип LiDAR подходит для съёмки рельефа, лесов и ландшафтов.
• Наземный LiDAR: данные этого типа LiDAR собирают датчики, установленные на транспортных средствах или стационарных платформах. Его применяют для мониторинга инфраструктуры, строительства и картографирования помещений. Он предоставляет очень подробные данные о небольших локальных участках, что полезно для городского планирования и съёмки отдельных сооружений.

Одно из важных применений данных LiDAR — автономные транспортные средства, где эта технология играет ключевую роль в обнаружении полос движения, предотвращении столкновений и распознавании ближайших объектов. LiDAR создаёт подробные трёхмерные карты окружения в реальном времени, позволяя транспортному средству видеть объекты, рассчитывать расстояние до них и безопасно перемещаться.

Рис. 2. Технология LiDAR позволяет автономным транспортным средствам определять глубину и обнаруживать объекты.

Использование тепловых и инфракрасных данных в приложениях ИИ#

Изображения RGB фиксируют то, что мы видим в видимом диапазоне света. Однако другие технологии визуализации, например тепловизионная и инфракрасная съёмка, выходят за его пределы. Инфракрасная съёмка регистрирует инфракрасный свет, который излучают или отражают объекты, поэтому она полезна при слабом освещении.

Тепловизионная съёмка, в свою очередь, обнаруживает тепло, излучаемое объектами, и показывает разницу температур, поэтому может работать в полной темноте, а также сквозь дым, туман и другие преграды. Такие данные особенно полезны для мониторинга и выявления проблем, особенно в отраслях, где изменения температуры могут сигнализировать о потенциальных неисправностях.

Интересный пример — использование тепловизионной съёмки для мониторинга электрических компонентов на предмет перегрева. Обнаруживая разницу температур, тепловизионные камеры позволяют выявлять проблемы до того, как они приведут к отказу оборудования, пожару или дорогостоящему ущербу.

Рис. 3. Пример использования тепловизионной съёмки для мониторинга электрических компонентов.

Аналогичным образом инфракрасные изображения помогают обнаруживать утечки в трубопроводах или дефекты изоляции: разница температур указывает на утечку газа или жидкости. Это крайне важно для предотвращения опасных ситуаций и повышения энергоэффективности.

Мультиспектральная и гиперспектральная съёмка в ИИ#

Инфракрасная и тепловизионная съёмка фиксируют отдельные участки электромагнитного спектра, а мультиспектральная съёмка собирает свет в нескольких выбранных диапазонах длин волн. Каждый диапазон выбирают для конкретной задачи, например обнаружения здоровой растительности или определения материалов поверхности.

Гиперспектральная съёмка позволяет пойти ещё дальше, регистрируя свет в сотнях очень узких непрерывных диапазонов длин волн. Благодаря этому для каждого пикселя изображения формируется подробный спектральный профиль, который позволяет гораздо лучше понять свойства наблюдаемого материала.

Рис. 4. Сравнение мультиспектральной и гиперспектральной съёмки.

Для мультиспектральной и гиперспектральной съёмки используются специальные датчики и фильтры, фиксирующие свет на разных длинах волн. Затем данные собирают в трёхмерную структуру, называемую спектральным кубом, каждый слой которой соответствует отдельной длине волны.

Модели ИИ могут анализировать эти данные и обнаруживать признаки, невидимые обычным камерам или человеческому глазу. Например, в фенотипировании растений гиперспектральную съёмку можно использовать для мониторинга здоровья и роста растений, выявляя едва заметные изменения листьев или стеблей, такие как дефицит питательных веществ или стресс. Это помогает исследователям оценивать состояние растений и оптимизировать методы ведения сельского хозяйства без инвазивных процедур.

Анализ радиолокационных и гидролокационных изображений с помощью ИИ#

Радиолокационная и гидролокационная съёмка позволяет обнаруживать и картографировать объекты, посылая сигналы и анализируя их отражения, подобно LiDAR. В отличие от съёмки RGB, основанной на световых волнах для получения визуальной информации, радары используют электромагнитные волны, обычно радиоволны, а сонары — звуковые волны. Обе системы излучают импульсы и измеряют время, за которое сигнал отражается от объекта, предоставляя сведения о расстоянии до него, его размере и скорости.

Радиолокационная съёмка особенно полезна при плохой видимости, например в туман, дождь или ночью. Поскольку радар не зависит от света, он может обнаруживать самолёты, транспортные средства и рельеф даже в полной темноте. Поэтому радары надёжно применяются в авиации, метеорологическом мониторинге и автономной навигации.

Гидролокационная съёмка, напротив, широко применяется под водой, куда не проникает свет. Она использует звуковые волны, которые распространяются в воде и отражаются от погружённых объектов, позволяя обнаруживать подводные лодки, картографировать морское дно и проводить спасательные операции под водой. Достижения в области компьютерного зрения теперь позволяют улучшать подводное обнаружение, объединяя данные сонара с интеллектуальным анализом для более точного обнаружения и принятия решений.

Рис. 5. Как сонар измеряет глубину моря с помощью ультразвуковых импульсов. (Источник: bbc.co.uk)

Синтетические и смоделированные визуальные данные для обучения моделей ИИ#

До сих пор мы обсуждали разные типы данных, которые можно собирать в реальном мире. Однако синтетические и симулированные визуальные данные — это разновидности искусственного контента. Синтетические данные создаются с нуля с помощью 3D-моделирования или генеративного ИИ, чтобы получать реалистичные изображения или видео.

Рис. 6. Пример синтетически сгенерированных изображений.

Симулированные данные похожи на синтетические, но для их создания используют виртуальные среды, воспроизводящие поведение физического мира, включая отражение света, образование теней и движение объектов. Все симулированные визуальные данные являются синтетическими, но не все синтетические данные — симулированными. Главное отличие в том, что симулированные данные воспроизводят реалистичное поведение, а не только внешний вид.

Эти типы данных полезны для обучения моделей компьютерного зрения, особенно когда реальные данные трудно собрать или нужно смоделировать конкретные редкие ситуации. Разработчики могут создавать целые сцены, выбирать типы и расположение объектов, настраивать освещение и автоматически добавлять обучающую разметку, например ограничивающие рамки. Так можно быстро создавать большие и разнообразные наборы данных без настоящих фотографий и ручной разметки, которые требуют больших затрат времени и средств.

Например, в здравоохранении синтетические данные можно использовать для обучения моделей сегментации клеток рака молочной железы: собрать и разметить большие наборы реальных изображений сложно. Синтетические и симулированные данные обеспечивают гибкость и контроль, восполняя нехватку визуальных данных из реального мира.

Как выбрать подходящий тип визуальных данных для приложения ИИ#

Теперь, когда мы рассмотрели, как работают разные типы визуальных данных и для чего они подходят, разберёмся, какие типы данных лучше всего использовать для конкретных задач:

• RGB-изображения: они хорошо подходят для общих задач компьютерного зрения, таких как классификация изображений и обнаружение объектов. Они передают цвет и текстуру, но плохо подходят для сложных условий, например при слабом освещении или низкой видимости.
• Лидарная съёмка: позволяет создавать высокоточные 3D-карты с помощью лазерных импульсов. Она подходит для задач, требующих точных измерений расстояния, например в робототехнике, автономном транспорте и при обследовании инфраструктуры.
• Тепловизионная съёмка: благодаря способности обнаруживать разницу температур она полезна в условиях низкой видимости, например для ночного наблюдения, пожаротушения и выявления утечек тепла в оборудовании и зданиях.
• Мультиспектральная и гиперспектральная съёмка: эти методы полезны для задач, требующих подробного анализа материалов, например для мониторинга сельскохозяйственных угодий, контроля качества фармацевтической продукции и дистанционного зондирования. Они дают более глубокое представление об объектах, регистрируя данные в широком диапазоне длин волн, включая невидимый свет.
• Радарная и сонарная съёмка: предпочтительна в условиях плохой видимости. Радар использует радиоволны и полезен в авиации и навигации, а сонар использует звуковые волны для обнаружения объектов под водой.
• Синтетические и смоделированные визуальные данные: они идеально подходят для обучения моделей ИИ, когда реальные данные ограничены, недоступны или их сложно размечать. Такие искусственные изображения помогают создавать разнообразные наборы данных для сложных сценариев, например редких событий или ситуаций, критически важных для безопасности.

Иногда одного типа данных недостаточно, чтобы обеспечить нужную точность или контекст в реальных условиях. Здесь ключевую роль играет мультимодальное объединение данных с датчиков. Сочетая RGB-данные с другими типами, например тепловыми, глубинными или лидарными, можно компенсировать ограничения каждого из них, повысив надёжность и адаптивность систем.

Например, в сфере автоматизации складов распознавание объектов по RGB-данным, измерение расстояния по данным о глубине и обнаружение перегрева оборудования с помощью тепловых данных повышают эффективность и безопасность работы. В конечном счёте лучшие результаты даёт выбор или комбинирование типов данных с учётом конкретных задач приложения.

Главные выводы#

При создании моделей визуального ИИ крайне важно выбрать подходящий тип визуальных данных. Для таких задач, как обнаружение объектов, сегментация и отслеживание движения, важны не только алгоритмы, но и качество входных данных. Чистые, разнообразные и точные наборы данных помогают уменьшить шум и повысить производительность.

Сочетая такие типы данных, как RGB, данные о глубине, тепловые и лидарные данные, системы ИИ получают более полное представление об окружающей среде и надёжнее работают в различных условиях. По мере развития технологий визуальный ИИ, вероятно, станет быстрее и адаптивнее и будет приносить больше пользы в самых разных отраслях.

Присоединяйся к нашему сообществу и изучай наш репозиторий GitHub, чтобы узнать больше о компьютерном зрении. На страницах наших решений ты найдёшь различные примеры применения ИИ в здравоохранении и компьютерного зрения в розничной торговле. Ознакомься с вариантами лицензирования, чтобы начать работу с визуальным ИИ.