Что такое сопоставление изображений в ИИ для компьютерного зрения? Краткое введение

Если посмотреть на две картинки с одним и тем же объектом, например картину и фотографию автомобиля, легко заметить, что у них общего. Для машин это не так просто.

Чтобы выполнять такие сравнения, машины используют компьютерное зрение — область искусственного интеллекта (AI), которая помогает им интерпретировать визуальную информацию и понимать ее. Компьютерное зрение позволяет системам обнаруживать объекты, понимать сцены и извлекать закономерности из изображений и видео.

Некоторые задачи компьютерного зрения выходят за рамки анализа одного изображения. Они предполагают сравнение изображений для поиска сходств, выявления различий или отслеживания изменений во времени.

Vision AI включает множество методов. Один из важнейших — сопоставление изображений — помогает находить сходства между изображениями, даже если условия освещения, углы обзора или фон различаются. Этот метод применяют в робототехнике, дополненной реальности и географическом картографировании.

В этой статье мы расскажем, что такое сопоставление изображений, рассмотрим основные методы и некоторые примеры применения в реальных условиях.

Что такое сопоставление изображений?#

Сопоставление изображений позволяет компьютерной системе определять, содержат ли два изображения похожие объекты. Люди делают это интуитивно, замечая формы, цвета и закономерности.

Компьютеры, напротив, работают с числовыми данными. Они анализируют изображения, изучая каждый пиксель — наименьшую единицу цифрового изображения.

Каждое изображение хранится в виде сетки пикселей, каждый из которых обычно содержит значения красного, зеленого и синего (RGB) цветов. Эти значения могут меняться при повороте и изменении размера изображения, просмотре под другим углом или съемке при другом освещении. Поэтому сравнение изображений пиксель за пикселем часто дает ненадежные результаты.

Чтобы сравнение было более последовательным, при сопоставлении изображений учитываются локальные признаки — например, углы, края и текстурированные области, которые обычно сохраняются даже при небольших изменениях изображения. Обнаруживая эти признаки, или ключевые точки, на нескольких изображениях, система может сравнивать их гораздо точнее.

Этот процесс широко применяют в навигации, локализации, дополненной реальности, картографировании, 3D-реконструкции и визуальном поиске. Когда системы обнаруживают одинаковые точки на разных изображениях или нескольких кадрах, они могут отслеживать движение, понимать структуру сцены и принимать надежные решения в динамичной среде.

Рис. 1. Пример сопоставления изображений автомобиля, на которых выделены похожие ключевые точки. (Источник)

Как работает сопоставление изображений#

Сопоставление изображений включает несколько ключевых этапов, которые помогают системам находить и сравнивать похожие области на изображениях. Каждый этап повышает точность, стабильность и устойчивость метода в разных условиях.

Рассмотрим пошагово, как работает сопоставление изображений:

• Обнаружение признаков: сначала система находит на изображении характерные ключевые точки, которые остаются узнаваемыми при изменении освещения, масштаба или угла обзора. Они выделяют визуально заметные области, например углы, края и текстурированные участки.
• Описание признаков: затем для каждой ключевой точки создается дескриптор — компактный числовой вектор, описывающий визуальный рисунок вокруг этой точки. Дескрипторы позволяют надежно сравнивать признаки на разных изображениях.
• Сопоставление признаков: дескрипторы двух изображений сравниваются с помощью алгоритмов, которые вычисляют степень их сходства. На этом этапе попарно сопоставляются ключевые точки, которые, вероятно, соответствуют друг другу, и отбрасываются слабые или ненадежные совпадения.
• Геометрическая проверка: наконец система проверяет, образуют ли сопоставленные ключевые точки правдоподобную геометрическую связь. Она удаляет ошибочные совпадения (выбросы) с помощью метода RANSAC (метод случайных выборок для согласования), оставляя только надежные пары точек. После этого система определяет преобразование, которое лучше всего связывает два изображения. Часто используется аффинное преобразование, корректирующее масштабирование, поворот и сдвиг, либо гомография, которая также учитывает изменения перспективы. Эти преобразования позволяют точно совмещать изображения, даже если они сняты с немного разных ракурсов.

Рис. 2. (a) Извлечение ключевых точек и (b) сопоставление признаков. (Источник)

Основные методы сопоставления изображений#

Прежде чем рассмотреть практическое применение сопоставления изображений, давай подробнее изучим методы сопоставления изображений, используемые в системах компьютерного зрения.

Сопоставление изображений методом шаблонов#

Сопоставление с шаблоном — один из самых простых методов сопоставления изображений. Обычно его считают методом обработки изображений, а не современным методом компьютерного зрения, поскольку он основывается на прямом сравнении пикселей и не извлекает более глубокие визуальные признаки.

Этот метод позволяет найти небольшое эталонное изображение, или шаблон, в более крупной сцене. Алгоритм перемещает шаблон по основному изображению и вычисляет показатель сходства для каждой позиции, чтобы определить, насколько хорошо совпадают два участка. Участок с наибольшим показателем считается лучшим совпадением и указывает, где объект, скорее всего, находится в сцене.

Рис. 3. Пример использования сопоставления шаблонов. (Источник)

Этот метод хорошо работает, если масштаб и ориентация объекта, а также освещение остаются неизменными, поэтому он подходит для контролируемых условий и базовых сравнений. Однако эффективность снижается, если объект отличается от шаблона: например, меняет размер, поворачивается, частично перекрывается или находится на зашумлённом либо сложном фоне.

Классические методы сопоставления изображений на основе признаков#

До широкого распространения глубокого обучения сопоставление изображений в основном опиралось на классические алгоритмы компьютерного зрения, которые обнаруживали на изображении характерные ключевые точки. Вместо сравнения каждого пикселя эти методы анализируют градиенты изображения, то есть изменения интенсивности, чтобы выделить заметные углы, границы и текстурированные области.

Затем каждая обнаруженная ключевая точка представляется в виде компактного числового описания — дескриптора. При сравнении двух изображений алгоритм сопоставления оценивает дескрипторы и находит наиболее похожие пары.

Высокий показатель сходства обычно означает, что на обоих изображениях присутствует одна и та же физическая точка. Алгоритмы сопоставления также используют специальные метрики расстояния или правила оценки близости признаков, повышая общую надёжность.

Вот несколько ключевых классических алгоритмов компьютерного зрения для сопоставления изображений:

• SIFT (инвариантное к масштабу преобразование признаков): Алгоритм находит ключевые точки, анализируя градиенты интенсивности изображения, благодаря чему они остаются узнаваемыми при увеличении, уменьшении или повороте изображения.
• SURF (устойчивые признаки с ускоренным вычислением): Этот алгоритм похож на SIFT, но оптимизирован для скорости. Он использует быстрые приближения операций на основе градиентов, поэтому подходит для приложений, которым требуется быстро реагировать.
• ORB (ориентированный FAST и повёрнутый BRIEF): Этот алгоритм объединяет два метода — FAST и BRIEF. FAST быстро находит на изображении точки, похожие на углы, а BRIEF создаёт компактное описание каждой точки, чтобы её можно было сопоставить с точками на других изображениях. ORB также дополняет оба этапа обработкой поворота, что обеспечивает высокую скорость и надёжность.

Рис. 4. Извлечение и сопоставление точек признаков SURF на двух изображениях. (Источник)

Методы сопоставления изображений на основе глубокого обучения#

В отличие от классических методов, опирающихся на конкретные правила, глубокое обучение автоматически извлекает признаки из больших наборов данных — коллекций визуальных данных, на которых модели ИИ учатся распознавать закономерности. Такие модели обычно работают на GPU (графических процессорах), обеспечивающих высокую вычислительную мощность, необходимую для эффективной обработки больших пакетов изображений и обучения сложных нейронных сетей.

Благодаря этому модели ИИ умеют учитывать изменения реальных условий: освещения, ракурса камеры и перекрытия объектов. Некоторые модели также объединяют все этапы в единый рабочий процесс, обеспечивая надёжную работу в сложных условиях.

Вот несколько методов глубокого обучения для извлечения и сопоставления признаков изображений:

• Извлечение признаков на основе CNN: Эти модели автоматически обучаются выделять ключевые визуальные закономерности на больших наборах данных. Они распознают признаки, которые с меньшей вероятностью меняются, и поэтому надёжно сопоставляют объекты в разных сценах.
• Сопоставление на основе эмбеддингов: вместо прямого сравнения пикселей этот метод преобразует изображения в компактные числовые представления, называемые эмбеддингами. Затем алгоритм сопоставления сравнивает эмбеддинги, чтобы находить похожие изображения. Такой подход используют, например, FaceNet, который создает эмбеддинги для распознавания и сравнения лиц, и CLIP, который отображает изображения и текст в общее пространство для таких задач, как поиск изображений и семантическое сопоставление.
• Сквозные конвейеры сопоставления: современные системы глубокого обучения часто объединяют обнаружение ключевых точек, описание признаков и сопоставление в единый рабочий процесс. Такие модели, как SuperPoint и D2-Net, обучаются находить ключевые точки и описатели непосредственно на картах признаков CNN, а SuperGlue выполняет роль обучаемого алгоритма сопоставления, который связывает эти описатели надежнее традиционных методов. Вместе эти компоненты образуют сквозной конвейер, который в сложных условиях обеспечивает более высокую точность и устойчивость, чем классические методы на основе признаков.
• Сопоставление на основе Transformer: Этот метод использует механизмы внимания, чтобы связывать соответствующие области на двух изображениях и совмещать фрагменты даже при сильных изменениях ракурса, освещения или текстуры. Такие модели, как LoFTR (локальный Transformer признаков), обеспечивают гораздо более высокую точность: глобальное рецептивное поле Transformer позволяет надёжно сопоставлять области с малым количеством текстурных деталей, размытые и повторяющиеся области, в которых традиционные детекторы дают сбой. LoFTR находит полуплотные совпадения с высокой достоверностью и значительно превосходит предыдущие лучшие методы на тестах как для помещений, так и для открытых пространств.
• Эффективные модели: Новые модели сопоставления изображений стремятся обеспечить высокую точность и при этом работать быстрее. Такие модели, как LightGlue, эффективно работают на устройствах с ограниченными вычислительными ресурсами, сохраняя хорошее качество сопоставления.

Практическое применение сопоставления изображений#

Теперь, когда мы лучше понимаем, как работает сопоставление изображений, давай рассмотрим несколько практических задач, в которых оно играет важную роль.

Более эффективная робототехника благодаря сопоставлению изображений#

Роботы часто работают в оживлённых и постоянно меняющихся условиях, где им нужно понимать, какие объекты присутствуют и как они расположены. Сопоставление изображений помогает роботам распознавать увиденные объекты, сравнивая их с сохранёнными или эталонными изображениями. Благодаря этому роботы легче распознают объекты, отслеживают их перемещение и адаптируются к изменениям освещения или ракурса камеры.

Например, на складе роботизированная система захвата и размещения может использовать сопоставление изображений, чтобы идентифицировать и обрабатывать различные предметы. Сначала робот захватывает объект, а затем сравнивает его изображение с эталонными образцами, чтобы определить, что это за предмет.

Рис. 5. Робот распознаёт и поднимает объекты, сопоставляя их с эталонными изображениями. (Источник)

Найдя совпадение, робот понимает, как правильно отсортировать или разместить предмет. Такой подход позволяет роботам распознавать как знакомые, так и новые объекты без переобучения всей системы. Он также помогает им принимать более взвешенные решения в реальном времени, например при организации полок, сборке деталей или перестановке предметов.

Улучшение 3D-реконструкции за счёт более точного сопоставления изображений#

В таких областях, как картографирование с помощью дронов, виртуальная реальность и осмотр зданий, системам часто нужно восстановить 3D-модель по нескольким 2D-изображениям. Для этого используется сопоставление изображений, позволяющее находить общие ключевые точки — например, углы или текстурированные области, которые присутствуют на нескольких изображениях.

Эти общие точки помогают системе понять, как изображения соотносятся друг с другом в трёхмерном пространстве. Эта идея тесно связана с методом Structure from Motion (SfM), который строит трёхмерные структуры, находя и сопоставляя ключевые точки на изображениях, снятых с разных ракурсов.

Если сопоставление выполнено неточно, полученная 3D-модель может оказаться искажённой или неполной. Поэтому исследователи работают над повышением надёжности сопоставления изображений для 3D-реконструкции, и последние достижения уже показывают многообещающие результаты.

Интересный пример — HashMatch, более быстрый и надёжный алгоритм сопоставления изображений. HashMatch преобразует детали изображения в компактные последовательности, называемые хеш-кодами, благодаря чему правильные совпадения легче находить, а выбросы — отфильтровывать даже при изменении освещения или ракурса.

В испытаниях на масштабных наборах данных HashMatch позволил получить более чёткие и реалистичные модели 3D-реконструкции с меньшим количеством ошибок совмещения. Это особенно полезно в таких задачах, как картографирование с помощью дронов, системы AR и сохранение культурного наследия, где точность критически важна.

Роль сопоставления изображений в дополненной реальности#

В дополненной реальности (AR) бывает сложно удерживать виртуальные объекты на одном месте относительно реального мира. Внешняя среда постоянно меняется под влиянием таких условий, как солнечный свет и погода. Даже незначительные изменения реального мира могут сделать виртуальные элементы нестабильными или слегка сместить их.

Чтобы решить эту проблему, системы AR используют сопоставление изображений для анализа окружающей обстановки. Сравнивая кадры с камеры в реальном времени с сохранёнными эталонными изображениями, они определяют местоположение пользователя и изменения в сцене.

Рис. 6. Сопоставленные точки признаков на двух изображениях. (Источник: theijes.com)

Например, в исследовании военной уличной AR-тренировки с использованием очков XR (расширенной реальности) исследователи применяли SIFT и другие методы на основе признаков, чтобы сопоставлять визуальные детали на реальных и эталонных изображениях. Точное сопоставление удерживало виртуальные элементы на нужных местах относительно реального мира, даже когда пользователь быстро двигался или менялось освещение.

Главные выводы#

Сопоставление изображений — ключевой компонент компьютерного зрения, который помогает системам понимать взаимосвязи между изображениями и изменения сцены во времени. Оно играет важную роль в робототехнике, дополненной реальности, 3D-реконструкции, автономной навигации и многих других практических задачах, где необходимы точность и стабильность.

Благодаря продвинутым моделям ИИ, таким как SuperPoint и LoFTR, современные системы становятся гораздо надёжнее прежних методов. По мере развития методов машинного обучения, специализированных модулей компьютерного зрения, нейронных сетей и наборов данных сопоставление изображений, вероятно, станет быстрее, точнее и адаптивнее.

Присоединяйся к нашему растущему сообществу и загляни в наш репозиторий GitHub, чтобы найти практические материалы по ИИ. Чтобы уже сегодня создавать решения на основе визуального ИИ, изучи наши варианты лицензирования. На страницах наших решений узнай, как ИИ в сельском хозяйстве меняет аграрную отрасль, а визуальный ИИ в здравоохранении формирует будущее медицины.