Что такое сопоставление изображений в компьютерном зрении? Краткое введение

Когда ты смотришь на две фотографии одного и того же объекта, например на картину и фотографию автомобиля, легко заметить, что у них общего. Однако для машин это не так просто.

Для выполнения таких сравнений машины используют компьютерное зрение — область искусственного интеллекта (AI), которая помогает им интерпретировать и понимать визуальную информацию. Компьютерное зрение позволяет системам обнаруживать объекты, понимать сцены и извлекать закономерности из изображений или видео.

В частности, некоторые задачи компьютерного зрения выходят за рамки анализа одного изображения. Они включают сравнение изображений для поиска сходств, выявления различий или отслеживания изменений во времени.

Vision AI охватывает широкий набор методов, и одна из ключевых возможностей, известная как сопоставление изображений, предназначена для выявления сходств между изображениями, даже если освещение, углы съёмки или фон различаются. Этот метод можно применять в различных областях, включая робототехнику, дополненную реальность и геокартографирование.

В этой статье мы рассмотрим, что такое сопоставление изображений, его основные методы и некоторые практические применения. Давай начнём!

Что такое сопоставление изображений?#

Сопоставление изображений позволяет компьютерной системе понять, содержат ли два изображения похожие элементы. Люди делают это интуитивно, обращая внимание на формы, цвета и узоры.

Компьютеры, напротив, работают с числовыми данными. Они анализируют изображения, исследуя каждый пиксель — наименьшую единицу цифрового изображения.

Каждое изображение хранится в виде сетки пикселей, и каждый пиксель обычно содержит значения красного, зелёного и синего цветов (RGB). Эти значения могут измениться при повороте или изменении размера изображения, просмотре под другим углом или съёмке при другом освещении. Поэтому попиксельное сравнение изображений часто оказывается ненадёжным.

Чтобы сделать сравнение более стабильным, сопоставление изображений фокусируется на локальных признаках — углах, границах и текстурированных областях, которые обычно остаются неизменными даже при небольших изменениях изображения. Обнаруживая эти признаки, или ключевые точки, на нескольких изображениях, система может сравнивать их с гораздо большей точностью.

Этот процесс широко используется в таких задачах, как навигация, локализация, дополненная реальность, картографирование, 3D-реконструкция и визуальный поиск. Когда системы определяют одни и те же точки на разных изображениях или в нескольких кадрах, они могут отслеживать движение, понимать структуру сцены и принимать надёжные решения в динамичной среде.

Рис. 1. Пример сопоставления изображений автомобиля с обнаружением похожих ключевых точек. (Источник)

Как работает сопоставление изображений#

Сопоставление изображений включает несколько ключевых этапов, которые помогают системам находить и сравнивать похожие области на изображениях. Каждый этап повышает точность, стабильность и устойчивость к различным условиям.

Рассмотрим пошагово, как работает сопоставление изображений:

• Обнаружение признаков: Сначала система определяет характерные ключевые точки на изображении, которые остаются неподвижными даже при изменении освещения, масштаба или угла обзора. Они обозначают такие области, как углы, границы или текстурированные участки, которые визуально выделяются.
• Описание признаков: Затем каждая ключевая точка преобразуется в дескриптор — компактный числовой вектор, который описывает визуальный шаблон вокруг этой точки. Эти дескрипторы позволяют надёжно сравнивать признаки на разных изображениях.
• Сопоставление признаков: Дескрипторы двух изображений сравниваются с помощью алгоритмов сопоставления, вычисляющих степень их сходства. На этом этапе попарно связываются ключевые точки, которые, предположительно, соответствуют друг другу, а слабые или ненадёжные соответствия отфильтровываются.
• Геометрическая проверка: Наконец, система проверяет, образуют ли сопоставленные ключевые точки реалистичную геометрическую связь. Она удаляет ошибочные соответствия, называемые выбросами, с помощью метода RANSAC (согласование методом случайной выборки), чтобы сохранить только надёжные пары точек. После определения хороших соответствий система оценивает преобразование, которое наилучшим образом связывает два изображения. Часто это аффинное преобразование, учитывающее такие изменения, как масштабирование, поворот и сдвиг, или гомография, которая также может обрабатывать изменения перспективы. Эти преобразования позволяют системе точно совместить изображения, даже если они были сняты с немного отличающихся точек обзора.

Рис. 2. (a) Извлечение характерных точек и (b) сопоставление признаков. (Источник)

Основные методы сопоставления изображений#

Прежде чем перейти к практическим применениям сопоставления изображений, давай подробнее рассмотрим методы сопоставления изображений, используемые в системах компьютерного зрения.

Сопоставление изображений на основе шаблонов#

Сопоставление по шаблону — один из самых простых методов сопоставления изображений. Обычно его считают методом обработки изображений, а не современным методом компьютерного зрения, поскольку он основан на прямом сравнении пикселей и не извлекает более глубокие визуальные признаки.

Этот метод используется для поиска небольшого эталонного изображения, или шаблона, внутри более крупной сцены. Он работает с помощью алгоритма, который перемещает шаблон по основному изображению и вычисляет оценку сходства в каждой позиции, чтобы определить, насколько хорошо совпадают две области. Область с наивысшей оценкой считается лучшим соответствием и указывает, где объект, скорее всего, находится в сцене.

Рис. 3. Пример использования сопоставления по шаблону. (Источник)

Этот метод хорошо работает, когда масштаб, поворот и освещение объекта остаются неизменными, поэтому он подходит для контролируемых условий или базовых сравнений. Однако его эффективность снижается, когда объект выглядит иначе, чем шаблон: например, если меняется его размер, он поворачивается, частично закрыт или находится на зашумлённом либо сложном фоне.

Классические методы сопоставления изображений на основе признаков#

До широкого распространения глубокого обучения сопоставление изображений в основном опиралось на классические алгоритмы компьютерного зрения, которые обнаруживали характерные ключевые точки на изображении. Вместо сравнения каждого пикселя эти методы анализируют градиенты изображения, то есть изменения интенсивности, чтобы выделить углы, границы и текстурированные области.

Затем каждая обнаруженная ключевая точка представляется с помощью компактного числового описания, называемого дескриптором. При сравнении двух изображений сопоставитель анализирует эти дескрипторы и находит наиболее похожие пары.

Высокая оценка сходства обычно указывает на то, что одна и та же физическая точка присутствует на обоих изображениях. Сопоставители также используют специальные метрики расстояния или правила оценки, чтобы определить, насколько хорошо признаки совпадают, повышая общую надёжность.

Вот некоторые ключевые классические алгоритмы компьютерного зрения, используемые для сопоставления изображений:

• SIFT (масштабно-инвариантное преобразование признаков): Он определяет ключевые точки, анализируя градиенты интенсивности изображения, благодаря чему они остаются распознаваемыми при увеличении, уменьшении или повороте изображения.

• SURF (ускоренные устойчивые признаки): Этот алгоритм похож на SIFT, но оптимизирован для высокой скорости. Он использует быстрые приближения операций на основе градиентов, поэтому подходит для приложений, которым требуется быстрое время отклика.

• ORB (ориентированный FAST и повёрнутый BRIEF): Он объединяет два алгоритма — FAST и BRIEF. FAST быстро находит на изображении точки, похожие на углы, а BRIEF создаёт компактное описание каждой точки, чтобы их можно было сопоставлять между изображениями. ORB также улучшает оба этапа, добавляя обработку поворотов, благодаря чему работает быстро и надёжно.

Рис. 4. Характерные точки SURF, извлечённые и сопоставленные между двумя изображениями. (Источник)

Методы сопоставления изображений на основе глубокого обучения#

В отличие от классических методов, основанных на заданных правилах, глубокое обучение автоматически извлекает признаки из больших наборов данных — коллекций визуальных данных, на которых AI-модели учатся находить закономерности. Такие модели обычно работают на GPU (графические процессоры), обеспечивающих высокую вычислительную мощность, необходимую для эффективной обработки больших пакетов изображений и обучения сложных нейронных сетей.

Благодаря этому AI-модели могут обрабатывать изменения реального мира, такие как освещение, углы съёмки и частичные перекрытия. Некоторые модели также объединяют все этапы в единый рабочий процесс, обеспечивая устойчивую работу в сложных условиях.

Вот несколько подходов глубокого обучения к извлечению и сопоставлению признаков изображений:

• Извлечение признаков на основе CNN: Эти модели автоматически изучают ключевые визуальные закономерности на больших наборах данных. Они распознают признаки, которые с малой вероятностью изменятся, поэтому надёжно сопоставляют объекты в разных сценах.

• Сопоставление на основе эмбеддингов: Вместо прямого сравнения пикселей этот метод преобразует изображения в компактные числовые представления, называемые эмбеддингами. Затем сопоставитель сравнивает эти эмбеддинги, чтобы найти похожие визуальные элементы. Такой подход используют модели вроде FaceNet, которая создаёт эмбеддинги для распознавания и сравнения лиц, и CLIP, которая отображает изображения и текст в общее пространство для таких задач, как поиск изображений и семантическое сопоставление.

• Сквозные конвейеры сопоставления: Передовые системы глубокого обучения часто объединяют обнаружение ключевых точек, их описание и сопоставление в единый рабочий процесс. Такие модели, как SuperPoint и D2-Net, обучаются находить и ключевые точки, и дескрипторы непосредственно на картах признаков CNN, а SuperGlue выступает в роли обученного сопоставителя, который надёжнее объединяет эти дескрипторы, чем традиционные методы. Вместе эти компоненты образуют сквозной конвейер, обеспечивающий более высокую точность и устойчивость в сложных условиях по сравнению с классическими подходами на основе признаков.

• Сопоставление на основе Transformer: Этот метод использует механизмы внимания для связывания соответствующих областей на двух изображениях, что позволяет совмещать фрагменты даже при значительных изменениях точки обзора, освещения или текстуры. Такие модели, как LoFTR (локальный Transformer признаков), обеспечивают гораздо более высокую точность, поскольку глобальное рецептивное поле Transformer позволяет надёжно выполнять сопоставление в областях с низкой текстурностью, размытием или повторяющимися элементами, где традиционные детекторы не справляются. LoFTR создаёт полуплотные соответствия с высокой уверенностью и значительно превосходит предыдущие передовые методы на тестах для помещений и открытых пространств.

• Модели, ориентированные на эффективность: Более новые модели сопоставления изображений стремятся обеспечивать высокую точность при более высокой скорости работы. Такие модели, как LightGlue, рассчитаны на эффективную работу на устройствах с ограниченными вычислительными ресурсами при сохранении хорошего качества сопоставления.

Практические применения сопоставления изображений#

Теперь, когда мы лучше понимаем, как работает сопоставление изображений, давай рассмотрим некоторые практические области, где оно играет важную роль.

Более интеллектуальная робототехника на основе сопоставления изображений#

Роботы часто работают в загруженных и изменяющихся средах, где им необходимо понимать, какие объекты присутствуют и как они расположены. Сопоставление изображений помогает роботам понимать увиденные объекты, сравнивая их с сохранёнными или эталонными изображениями. Благодаря этому роботам проще распознавать объекты, отслеживать их перемещение и адаптироваться даже при изменении освещения или углов съёмки.

Например, на складе роботизированная система захвата и размещения объектов может использовать сопоставление изображений для идентификации различных предметов и работы с ними. Сначала робот захватывает объект, а затем сравнивает его изображение с эталонными образцами, чтобы определить, что это за объект.

Рис. 5. Робот распознаёт и захватывает объекты, сопоставляя их с эталонными изображениями. (Источник)

После нахождения соответствия робот понимает, как правильно отсортировать объект или разместить его. Такой подход позволяет роботам распознавать как знакомые, так и новые объекты без повторного обучения всей системы. Он также помогает им принимать более эффективные решения в реальном времени, например организовывать стеллажи, собирать детали или переставлять предметы.

Улучшение 3D-реконструкции благодаря более качественному сопоставлению изображений#

В таких областях, как картографирование с помощью дронов, виртуальная реальность и инспекция зданий, системам часто требуется реконструировать 3D-модель по нескольким 2D-изображениям. Для этого они используют сопоставление изображений, чтобы находить общие ключевые точки, например углы или текстурированные области, присутствующие на нескольких изображениях.

Эти общие точки помогают системе понять, как изображения связаны друг с другом в 3D-пространстве. Эта идея тесно связана со структурой из движения (SfM) — методом, который строит 3D-структуры, находя и сопоставляя ключевые точки на изображениях, снятых с разных точек обзора.

Если сопоставление выполнено неточно, итоговая 3D-модель может выглядеть искажённой или неполной. Поэтому исследователи работают над повышением надёжности сопоставления изображений для 3D-реконструкции, и последние достижения показывают многообещающие результаты.

Интересным примером служит HashMatch — более быстрый и устойчивый алгоритм сопоставления изображений. HashMatch преобразует детали изображения в компактные шаблоны, называемые хеш-кодами, благодаря чему правильные соответствия проще находить, а выбросы — удалять даже при различиях в освещении или точках обзора.

При тестировании на крупномасштабных наборах данных HashMatch создавал более чёткие и реалистичные модели 3D-реконструкции с меньшим количеством ошибок совмещения. Это делает его особенно полезным для таких приложений, как картографирование с помощью дронов, системы AR и сохранение культурного наследия, где точность критически важна.

Роль сопоставления изображений в дополненной реальности#

В дополненной реальности (AR) поддержание выравнивания виртуальных объектов с реальным миром часто становится сложной задачей. Окружающая среда на открытом воздухе может постоянно меняться под воздействием таких условий, как солнечный свет и погода. Незначительные изменения реального мира могут привести к тому, что виртуальные элементы будут выглядеть нестабильно или окажутся слегка смещёнными.

Чтобы решить эту проблему, системы AR используют сопоставление изображений для интерпретации окружающей обстановки. Сравнивая кадры с камеры в реальном времени с сохранёнными эталонными изображениями, они могут понять, где находится пользователь и как изменилась сцена.

Рис. 6. Характерные точки, сопоставленные между двумя изображениями. (Источник: theijes.com)

Например, в исследовании, посвящённом уличному обучению с использованием AR в военном стиле и очков XR (расширенная реальность), исследователи использовали SIFT и другие методы на основе признаков для сопоставления визуальных деталей между реальными и эталонными изображениями. Точные соответствия сохраняли правильное выравнивание виртуальных элементов с реальным миром, даже когда пользователь быстро двигался или освещение менялось.

Основные выводы#

Сопоставление изображений — ключевой компонент компьютерного зрения, позволяющий системам понимать, как разные изображения связаны друг с другом и как сцена изменяется со временем. Оно играет критически важную роль в робототехнике, дополненной реальности, 3D-реконструкции, автономной навигации и многих других практических приложениях, где необходимы точность и стабильность.

Благодаря передовым AI-моделям, таким как SuperPoint и LoFTR, современные системы становятся гораздо устойчивее ранних методов. По мере развития методов машинного обучения, специализированных модулей компьютерного зрения, нейронных сетей и наборов данных сопоставление изображений, вероятно, будет становиться быстрее, точнее и адаптивнее.

Присоединяйся к нашему растущему сообществу и изучай наш репозиторий на GitHub, чтобы использовать практические AI-ресурсы. Чтобы уже сегодня создавать решения на основе Vision AI, изучи наши варианты лицензирования. Узнай, как AI в сельском хозяйстве преобразует фермерство и как Vision AI в здравоохранении формирует будущее, посетив страницы наших решений.