Изучаем различные типы данных для приложений Vision AI

Такие технологии, как дроны, раньше были доступны только исследователям и специалистам, но сегодня передовое оборудование становится доступнее для широкой аудитории. Этот сдвиг меняет подход к сбору визуальных данных. Благодаря более доступным технологиям мы можем получать изображения и видео из самых разных источников, а не только с помощью традиционных камер.

Параллельно с этим быстро развиваются технологии анализа изображений, основанные на компьютерном зрении, направлении искусственного интеллекта (AI), позволяя машинам эффективнее интерпретировать и обрабатывать визуальные данные. Этот прогресс открыл новые возможности для автоматизации, обнаружения объектов и анализа в реальном времени. Теперь машины могут распознавать закономерности, отслеживать движение и интерпретировать сложные визуальные данные.

К основным типам визуальных данных относятся изображения RGB (красный, зеленый, синий), которые обычно используются для распознавания объектов; тепловизионные изображения, помогающие обнаруживать тепловые сигнатуры в условиях слабого освещения; и данные о глубине, позволяющие машинам понимать трехмерное окружение. Каждый из этих типов данных играет важную роль в различных приложениях vision AI — от видеонаблюдения до медицинской визуализации.

В этой статье мы рассмотрим основные типы визуальных данных, используемых в vision AI, и разберем, как каждый из них помогает повышать точность, эффективность и производительность в различных отраслях. Начнем!

Наиболее распространенные типы наборов данных изображений и видео для AI#

Как правило, когда ты используешь смартфон для съемки фотографии или просмотра записей с камер CCTV, ты работаешь с изображениями RGB. RGB означает красный, зеленый и синий — это три цветовых канала, представляющих визуальную информацию в цифровых изображениях.

Изображения и видео RGB — это тесно связанные типы визуальных данных, используемые в компьютерном зрении; оба типа получают с помощью стандартных камер. Ключевое различие заключается в том, что изображение фиксирует один момент, а видео представляет собой последовательность кадров, показывающую изменения во времени.

Изображения RGB обычно используются для задач компьютерного зрения, таких как обнаружение объектов, сегментация экземпляров и оценка позы, при поддержке моделей вроде Ultralytics YOLO11. Эти приложения основаны на выявлении закономерностей, форм или определенных признаков в одном кадре.

Видео, напротив, необходимы, когда важную роль играют движение или время, например при распознавании жестов, видеонаблюдении или отслеживании действий. Поскольку видео можно рассматривать как последовательность изображений, модели компьютерного зрения, такие как Ultralytics YOLO11, обрабатывают его кадр за кадром, чтобы понимать движение и поведение во времени.

Например, Ultralytics YOLO11 можно использовать для анализа изображений или видео RGB, обнаружения сорняков и подсчета растений на сельскохозяйственных полях. Это улучшает мониторинг посевов и помогает отслеживать изменения на протяжении вегетационных циклов, повышая эффективность управления фермерским хозяйством.

Рис. 1. YOLO11 может обнаруживать и подсчитывать растения для более эффективного мониторинга посевов.

Данные о глубине в vision AI: LiDAR и 3D-восприятие#

Данные о глубине добавляют к визуальной информации третье измерение, показывая, как далеко объекты находятся от камеры или датчика. В отличие от изображений RGB, которые лишь фиксируют цвет и текстуру, данные о глубине обеспечивают пространственный контекст. Они показывают расстояние между объектами и камерой, позволяя интерпретировать трехмерную структуру сцены.

Этот тип данных получают с помощью таких технологий, как LiDAR, стереозрение (с использованием двух камер для имитации человеческого восприятия глубины) и камеры с измерением времени пролета (Time-of-Flight), которые измеряют время прохождения света до объекта и обратно.

Среди них LiDAR (обнаружение и измерение дальности) часто считается наиболее надежным способом измерения глубины. Он работает, испуская быстрые лазерные импульсы и измеряя время их возвращения после отражения. В результате создается высокоточная трехмерная карта, известная как облако точек, которая в реальном времени показывает форму, положение и расстояние до объектов.

Растущая роль LiDAR в системах vision AI#

Технологию LiDAR можно разделить на два основных типа, каждый из которых предназначен для определенных приложений и условий. Рассмотрим оба типа подробнее:

• Воздушный LiDAR: Обычно сканеры воздушного LiDAR устанавливаются на дронах или воздушных судах для получения данных высокого разрешения при крупномасштабном топографическом картографировании. Этот тип идеально подходит для обследования рельефа, лесов и ландшафтов.
• Наземный LiDAR: Данные этого типа LiDAR собираются датчиками, установленными на транспортных средствах или стационарных платформах, для таких задач, как мониторинг инфраструктуры, строительство и картографирование помещений. Он предоставляет подробные данные для небольших локальных областей, что делает его полезным для городского планирования и обследования отдельных сооружений.

Одно из важных применений данных LiDAR — автономные транспортные средства, где эта технология играет ключевую роль в таких задачах, как обнаружение полос движения, предотвращение столкновений и идентификация близлежащих объектов. LiDAR создает подробные трехмерные карты окружения в реальном времени, позволяя транспортному средству видеть объекты, рассчитывать расстояние до них и безопасно перемещаться.

Рис. 2. Технология LiDAR позволяет автономным транспортным средствам строить карту глубины и обнаруживать объекты.

Использование тепловых и инфракрасных данных в приложениях AI#

Изображения RGB фиксируют то, что мы видим в спектре видимого света, однако другие технологии визуализации, например тепловизионная и инфракрасная, позволяют выйти за его пределы. Инфракрасная визуализация фиксирует инфракрасный свет, излучаемый или отражаемый объектами, поэтому она полезна в условиях слабого освещения.

Тепловизионная визуализация, напротив, обнаруживает тепло, излучаемое объектами, и показывает различия температур, благодаря чему может работать в полной темноте, а также сквозь дым, туман и другие препятствия. Этот тип данных особенно полезен для мониторинга и обнаружения неисправностей, прежде всего в отраслях, где изменения температуры могут указывать на потенциальные проблемы.

Интересный пример — использование тепловизионной съемки для мониторинга электрических компонентов на предмет перегрева. Обнаруживая разницу температур, тепловизионные камеры могут выявлять проблемы до того, как они приведут к отказу оборудования, пожару или дорогостоящему повреждению.

Рис. 3. Пример использования тепловизионной съемки для мониторинга электрических компонентов.

Аналогичным образом инфракрасные изображения помогают обнаруживать утечки в трубопроводах или изоляции, выявляя различия температур, указывающие на выход газов или жидкостей. Это крайне важно для предотвращения опасных ситуаций и повышения энергоэффективности.

Мультиспектральная и гиперспектральная визуализация в AI#

В то время как инфракрасная и тепловизионная визуализация фиксируют определенные участки электромагнитного спектра, мультиспектральная визуализация собирает свет в нескольких выбранных диапазонах длин волн, каждый из которых подбирается для конкретной цели, например для обнаружения здоровой растительности или идентификации материалов поверхности.

Гиперспектральная визуализация идет еще дальше: она фиксирует свет в сотнях очень узких непрерывных диапазонов длин волн. Это создает подробную световую сигнатуру для каждого пикселя изображения и обеспечивает значительно более глубокое понимание наблюдаемого материала.

Рис. 4. Сравнение мультиспектральной и гиперспектральной визуализации.

И мультиспектральная, и гиперспектральная визуализация используют специальные датчики и фильтры для захвата света на разных длинах волн. Затем данные организуются в трехмерную структуру, называемую спектральным кубом, где каждый слой соответствует отдельной длине волны.

Модели AI могут анализировать эти данные, чтобы обнаруживать признаки, невидимые для обычных камер или человеческого глаза. Например, при фенотипировании растений гиперспектральную визуализацию можно использовать для мониторинга здоровья и роста растений, выявляя малозаметные изменения в листьях или стеблях, например дефицит питательных веществ или стресс. Это помогает исследователям оценивать состояние растений и оптимизировать методы сельского хозяйства без инвазивных процедур.

Анализ радиолокационных и сонарных изображений с помощью AI#

Радиолокационная и сонарная визуализация — это технологии, которые обнаруживают и отображают объекты, испуская сигналы и анализируя их отражения, подобно LiDAR. В отличие от визуализации RGB, которая использует световые волны для получения визуальной информации, радар применяет электромагнитные волны, обычно радиоволны, а сонар — звуковые волны. Обе системы испускают импульсы и измеряют время, за которое сигнал возвращается после отражения от объекта, предоставляя информацию о его расстоянии, размере и скорости.

Радиолокационная визуализация особенно полезна при плохой видимости, например в тумане, дожде или ночью. Поскольку она не зависит от света, радар может обнаруживать воздушные суда, транспортные средства или рельеф местности в полной темноте. Поэтому он надежен в авиации, мониторинге погоды и автономной навигации.

Сонарная визуализация, напротив, обычно используется под водой, куда свет не проникает. Она использует звуковые волны, распространяющиеся в воде и отражающиеся от подводных объектов, что позволяет обнаруживать подводные лодки, картографировать морское дно и проводить подводные спасательные операции. Достижения в области компьютерного зрения теперь позволяют дополнительно улучшать подводное обнаружение, объединяя данные сонара с интеллектуальным анализом для более эффективного обнаружения и принятия решений.

Рис. 5. Как система SONAR использует ультразвуковые импульсы для измерения глубины моря. (Источник: bbc.co.uk)

Синтетические и смоделированные визуальные данные для обучения моделей AI#

До этого мы обсуждали типы данных, которые можно собирать из реального мира. Однако синтетические и смоделированные визуальные данные представляют собой разновидности искусственного контента. Синтетические данные создаются с нуля с помощью 3D-моделирования или генеративного AI для получения реалистично выглядящих изображений или видео.

Рис. 6. Пример синтетически созданных изображений.

Смоделированные данные похожи на синтетические, но предполагают создание виртуальных сред, воспроизводящих поведение физического мира, включая отражение света, образование теней и движение объектов. Хотя любые смоделированные визуальные данные являются синтетическими, не все синтетические данные являются смоделированными. Ключевое различие заключается в том, что смоделированные данные воспроизводят реалистичное поведение, а не только внешний вид.

Эти типы данных полезны для обучения моделей компьютерного зрения, особенно когда реальные данные трудно собрать или когда необходимо смоделировать конкретные редкие ситуации. Разработчики могут создавать целые сцены, выбирать типы и расположение объектов, настраивать освещение и автоматически добавлять такие метки, как ограничивающие рамки, для обучения. Это помогает быстро создавать большие разнообразные наборы данных без реальных фотографий и ручной разметки, которые могут быть дорогостоящими и требовать много времени.

Например, в здравоохранении синтетические данные можно использовать для обучения моделей сегментации клеток рака молочной железы, поскольку сбор и разметка больших наборов реальных изображений затруднены. Синтетические и смоделированные данные обеспечивают гибкость и контроль, закрывая пробелы там, где реальные визуальные данные ограничены.

Выбор подходящего типа визуальных данных для приложения AI#

Теперь, когда мы рассмотрели, как работают различные типы визуальных данных и на что они способны, давай подробнее разберем, какие типы данных лучше всего подходят для конкретных задач:

• Изображения RGB: Идеально подходят для общих задач компьютерного зрения, таких как классификация изображений и обнаружение объектов. Они фиксируют цвет и текстуру, но имеют ограничения в сложных условиях, например при слабом освещении или плохой видимости.
• Визуализация LiDAR: Этот тип визуализации обеспечивает высокоточную трехмерную съемку с помощью лазерных импульсов. Он отлично подходит для приложений, требующих точного измерения расстояний, таких как робототехника, автономные транспортные средства и инспекция инфраструктуры.
• Тепловизионная визуализация: Поскольку она обнаруживает различия температур, она полезна в условиях плохой видимости, например при ночном мониторинге, тушении пожаров или обнаружении утечек тепла в машинах и зданиях.
• Мультиспектральная и гиперспектральная визуализация: Она полезна для задач, требующих подробного анализа материалов, таких как мониторинг сельскохозяйственных угодий, контроль качества фармацевтической продукции или дистанционное зондирование. Эти методы обеспечивают более глубокое понимание объектов, собирая данные в широком диапазоне длин волн, выходящем за пределы видимого света.
• Радиолокационная и сонарная визуализация: Они предпочтительны в условиях плохой видимости. Радар использует радиоволны и полезен в авиации и навигации, а сонар применяет звуковые волны для подводного обнаружения.
• Синтетические и смоделированные визуальные данные: Идеально подходят для обучения моделей AI, когда реальные данные ограничены, недоступны или сложны для разметки. Эти искусственные визуальные данные помогают создавать разнообразные наборы данных для сложных сценариев, таких как редкие события или условия, критичные с точки зрения безопасности.

Иногда одного типа данных недостаточно для обеспечения нужной точности или контекста в реальных условиях. Здесь ключевую роль играет мультимодальное объединение данных с датчиков. Сочетая RGB с другими типами данных, например тепловыми, данными о глубине или LiDAR, системы могут преодолевать отдельные ограничения, повышая надежность и адаптивность.

Например, в автоматизации складов использование RGB для распознавания объектов, данных о глубине для измерения расстояния и тепловых данных для обнаружения перегрева оборудования делает операции эффективнее и безопаснее. В конечном счете лучшие результаты достигаются при выборе или сочетании типов данных с учетом конкретных потребностей приложения.

Основные выводы#

При создании моделей vision AI крайне важно выбрать подходящий тип визуальных данных. Такие задачи, как обнаружение объектов, сегментация и отслеживание движения, зависят не только от алгоритмов, но и от качества входных данных. Чистые, разнообразные и точные наборы данных помогают уменьшить шум и повысить производительность.

Объединяя такие типы данных, как RGB, глубина, тепловые данные и LiDAR, системы AI получают более полное представление об окружающей среде и становятся надежнее в различных условиях. По мере развития технологий это, вероятно, проложит путь к тому, чтобы vision AI стал быстрее, адаптивнее и полезнее в разных отраслях.

Присоединяйся к нашему сообществу и изучай наш репозиторий GitHub, чтобы узнать больше о компьютерном зрении. На страницах наших решений ты найдешь информацию о различных приложениях, связанных с AI в здравоохранении и компьютерным зрением в розничной торговле. Ознакомься с вариантами лицензирования, чтобы начать работу с vision AI.