Что такое инвариантное к масштабу преобразование признаков (SIFT)?

Чтобы наглядно ознакомиться с концепциями, рассмотренными в этой статье, посмотри видео ниже.

Сегодня многие используемые нами умные устройства — от телефонов и камер до систем умного дома — оснащены решениями на основе AI, которые могут распознавать лица, объекты и даже целые визуальные сцены. Эта возможность обеспечивается компьютерным зрением — областью искусственного интеллекта, которая позволяет машинам понимать и интерпретировать изображения и видео.

Например, если ты сфотографируешь Эйфелеву башню с любого ракурса или расстояния, устройство обычно всё равно сможет распознать её с помощью компьютерного зрения и поместить снимок в правильную папку галереи. Хотя это звучит просто, распознавать объекты не всегда легко. Изображения могут сильно различаться в зависимости от их размера, угла обзора, масштаба или освещения, из-за чего машинам трудно стабильно их идентифицировать.

Чтобы решить эту проблему, исследователи разработали алгоритм компьютерного зрения под названием «инвариантное к масштабу преобразование признаков», или SIFT. Этот алгоритм позволяет обнаруживать объекты в разных условиях наблюдения. SIFT, созданный Дэвидом Лоу в 1999 году, предназначен для поиска и описания уникальных ключевых точек на изображении, таких как углы, границы или узоры, которые остаются узнаваемыми даже после изменения размера или поворота изображения, а также при другом освещении.

До того как модели компьютерного зрения на основе глубокого обучения, такие как Ultralytics YOLO11, стали популярными, SIFT был широко используемым методом в компьютерном зрении. Это был стандартный подход для таких задач, как распознавание объектов, где нужно идентифицировать конкретный предмет на фотографии, и сопоставление изображений, при котором фотографии выравниваются по совпадающим признакам.

В этой статье мы кратко рассмотрим SIFT: разберёмся, что это такое, как он работает на высоком уровне и почему он важен для развития компьютерного зрения. Давай начнём!

Почему алгоритм SIFT необходим для компьютерного зрения#

Объект на изображении может выглядеть совершенно по-разному. Например, кофейную кружку можно сфотографировать сверху, сбоку, при ярком солнечном свете или под тёплой лампой. Та же кружка также будет выглядеть крупнее, если находится близко к камере, и меньше — если расположена дальше.

Все эти различия усложняют обучение компьютера распознаванию объектов. Эта задача компьютерного зрения, известная как обнаружение объектов, требует от моделей Vision AI точно идентифицировать объекты и находить их расположение, даже когда меняются их размер, угол обзора или условия освещения.

Чтобы это стало возможным, компьютерное зрение использует процесс, называемый извлечением признаков, или обнаружением признаков. Вместо попытки понять всё изображение целиком модель ищет отличительные признаки, такие как резкие углы, уникальные узоры или текстуры, которые остаются узнаваемыми при разных углах обзора, масштабах и условиях освещения.

Именно для этого было разработано инвариантное к масштабу преобразование признаков, или SIFT. SIFT — это алгоритм обнаружения и описания признаков, который способен надёжно идентифицировать объекты на изображениях независимо от условий съёмки.

Обеспечение инвариантности к масштабу#

Алгоритм SIFT обладает несколькими важными свойствами, которые делают его полезным для распознавания объектов. Одно из ключевых свойств называется инвариантностью к масштабу. Это означает, что SIFT может распознавать различные части объекта независимо от того, выглядит ли он большим и находится близко к камере или маленьким и находится далеко. Даже если объект виден не полностью, алгоритм всё равно может выделить те же ключевые точки.

Для этого используется концепция теории масштабного пространства. Проще говоря, изображение размывается на разных уровнях, чтобы создать несколько его версий. Затем SIFT просматривает эти версии и ищет узоры и детали, которые остаются неизменными независимо от того, как меняются размер или резкость изображения.

Например, дорожный знак, сфотографированный с расстояния в несколько метров, будет выглядеть намного крупнее того же знака, снятого издалека, но SIFT всё равно сможет обнаружить одни и те же отличительные признаки. Благодаря этому два изображения можно правильно сопоставить, хотя знак на них имеет совершенно разный масштаб.

Обеспечение инвариантности к повороту#

Объекты на изображениях также могут быть повернуты, иногда даже перевёрнуты вверх ногами. SIFT справляется с этим благодаря свойству, называемому инвариантностью к повороту. Для каждой обнаруженной ключевой точки алгоритм задаёт согласованную ориентацию на основе локальных градиентов изображения. Благодаря этому один и тот же объект можно распознать независимо от его поворота.

Можно представить, что у каждой ключевой точки есть маленькая стрелка, показывающая направление, в котором она ориентирована. Выравнивая признаки по этим направлениям, SIFT обеспечивает правильное сопоставление ключевых точек даже при повороте объекта. Например, достопримечательность на пейзажной фотографии можно правильно идентифицировать, даже если другой снимок сделан с наклонённой под углом камерой.

Устойчивость к другим изменениям изображения#

Помимо размера и поворота, изображения могут изменяться и по другим причинам, например из-за перемен в освещении. Освещение объекта может измениться с яркого на тусклое, угол камеры может немного сместиться, а изображение может стать размытым или зашумлённым.

SIFT разработан для обработки таких изменений. Он фокусируется на отличительных ключевых точках с высоким контрастом, поскольку такие признаки меньше зависят от изменений освещения или небольших смещений точки обзора. Поэтому SIFT обычно надёжнее простых методов обнаружения границ или углов, которые часто дают сбой при изменении условий.

Рис. 1. Ключевые точки SIFT, извлечённые из (a) дождливого изображения и (b) соответствующего исходного изображения без дождя. (Источник)

Представь картину в галерее. Её всё равно можно распознать, независимо от того, сфотографирована ли она при мягком дневном свете, под яркими искусственными прожекторами или даже с небольшим размытием из-за движения камеры в руках. Несмотря на эти различия, ключевые точки остаются достаточно стабильными для точного сопоставления.

Как работает алгоритм инвариантного к масштабу преобразования признаков (SIFT)#

Теперь давай рассмотрим, как работает алгоритм SIFT. Этот процесс можно разделить на четыре основных этапа: обнаружение ключевых точек, локализация ключевых точек, назначение ориентации и описание ключевых точек.

Шаг 1: обнаружение экстремумов масштабного пространства#

На первом этапе нужно найти и обнаружить ключевые точки — отличительные области изображения, такие как углы или резкие изменения текстуры, которые помогают отслеживать или распознавать объект.

Чтобы потенциальные ключевые точки можно было распознать при любом размере, SIFT строит так называемое масштабное пространство. Это набор изображений, созданных путём постепенного размытия исходного изображения с помощью фильтра Гаусса — метода сглаживания — и объединения результатов в слои, называемые октавами. Каждая октава содержит одно и то же изображение с увеличивающейся степенью размытия, а следующая октава представляет собой уменьшенную версию изображения.

Вычитая одно размытое изображение из другого, SIFT вычисляет разность гауссианов (DoG), которая выделяет области с резкими изменениями яркости. Эти области выбираются в качестве кандидатных ключевых точек, поскольку они остаются стабильными при увеличении или уменьшении изображения.

Рис. 2. DoG выделяет ключевые структуры, вычитая изображения с разными уровнями размытия. (Источник)

Шаг 2: локализация ключевых точек#

Не все кандидатные ключевые точки полезны, поскольку некоторые из них могут быть слабыми или нестабильными. Для их уточнения SIFT использует математический метод, называемый разложением в ряд Тейлора, который помогает с большей точностью оценить точное положение ключевой точки.

На этом этапе ненадёжные точки удаляются. Ключевые точки с низким контрастом, сливающиеся с окружением, отбрасываются, как и точки, расположенные непосредственно на границах, поскольку они могут слишком легко смещаться. После такой фильтрации остаются только наиболее стабильные и отличительные ключевые точки.

Шаг 3: назначение ориентации#

После определения стабильных ключевых точек SIFT делает их инвариантными к повороту, то есть их можно сопоставить, даже если изображение повернуто набок или вверх ногами. Для этого SIFT анализирует изменения яркости вокруг каждой ключевой точки, известные как градиент. Градиенты показывают как направление, так и силу изменения интенсивности пикселей и вместе описывают локальную структуру вокруг точки.

Для каждой ключевой точки SIFT рассматривает градиенты в окружающей области и группирует их в гистограмму ориентаций. Самый высокий пик этой гистограммы указывает основное направление изменения интенсивности, которое затем назначается ориентацией ключевой точки. Для построения этой гистограммы используются как направления градиентов, показывающие, где изменяется интенсивность, так и величины градиентов, указывающие силу этого изменения.

Если есть другие пики почти такой же силы, SIFT назначает одной ключевой точке несколько ориентаций. Это предотвращает потерю важных признаков, когда объекты находятся под необычными углами. Выравнивая каждую ключевую точку по её ориентации, SIFT обеспечивает согласованность дескрипторов, создаваемых на следующем этапе.

Иными словами, даже если два изображения одного и того же объекта повернуты по-разному, ключевые точки, выровненные по ориентации, всё равно будут правильно сопоставлены. Именно этот этап обеспечивает SIFT высокую устойчивость к поворотам и делает его значительно надёжнее ранних методов обнаружения признаков.

Рис. 3. Более подробный обзор третьего шага алгоритма SIFT (Источник)

Шаг 4: дескриптор ключевой точки#

На последнем этапе SIFT создаёт описание каждой ключевой точки, чтобы её можно было распознать на других изображениях.

Для этого SIFT анализирует небольшой квадратный фрагмент вокруг каждой ключевой точки размером примерно 16 × 16 пикселей. Сначала этот фрагмент выравнивается по ориентации ключевой точки, чтобы поворот не влиял на результат. Затем фрагмент делится на сетку из 4 × 4 меньших квадратов.

В каждом маленьком квадрате SIFT измеряет, как изменяется яркость в разных направлениях. Эти изменения сохраняются в виде гистограммы — своего рода графика, показывающего наиболее распространённые направления. Для каждого квадрата создаётся собственная гистограмма, поэтому 16 квадратов вместе дают 16 гистограмм.

Наконец, эти гистограммы объединяются в единый список из 128 чисел. Этот список называется вектором признаков и служит своеобразным отпечатком ключевой точки. Поскольку он описывает уникальную текстуру и структуру вокруг точки, такой отпечаток позволяет сопоставлять одну и ту же ключевую точку на разных изображениях, даже если они изменены по размеру, повернуты или освещены по-разному.

Рис. 4. Обзор работы SIFT (Источник)

Основные применения SIFT в компьютерном зрении#

Теперь, когда мы лучше понимаем, что такое SIFT и как он работает, давай рассмотрим некоторые его практические применения в компьютерном зрении.

Распознавание и обнаружение объектов#

Одно из основных применений SIFT — распознавание и обнаружение объектов. Оно включает обучение компьютера распознавать объекты на изображениях и находить их, даже если они выглядят по-разному. Например, SIFT может обнаружить книгу независимо от того, находится ли она близко к камере, далеко от неё или повернута под углом.

Это работает благодаря тому, что SIFT извлекает очень отличительные и стабильные ключевые точки. В сочетании с дескрипторами SIFT они образуют признаки SIFT, которые обеспечивают надёжный способ сопоставления одного и того же объекта на разных изображениях. Эти признаки содержат уникальные детали объекта, сохраняющиеся неизменными, что позволяет надёжно сопоставлять признаки на изображениях даже при изменении размера, положения или ориентации объекта.

Рис. 5. Использование SIFT для распознавания обложки книги на новом изображении, сделанном с ориентацией, отличной от исходной. Изображение предоставлено автором.

До того как глубокое обучение стало популярным, SIFT был одним из самых надёжных методов построения систем распознавания объектов. Его широко применяли в исследованиях и задачах, требовавших сопоставления объектов в больших наборах изображений, хотя он часто требовал значительных вычислительных ресурсов.

Сшивка изображений и создание панорам#

SIFT также можно использовать для создания панорамных изображений — широких фотографий, полученных путём объединения нескольких снимков. С помощью SIFT отличительные ключевые точки находят в перекрывающихся областях разных изображений, а затем сопоставляют друг с другом. Эти совпадения служат якорями и помогают алгоритму сшивки определить, как выровнять фотографии.

После завершения сопоставления алгоритмы сшивки вычисляют правильное выравнивание, часто используя геометрические преобразования, которые отображают одно изображение на другое. Затем изображения смешиваются так, чтобы швы исчезли. В результате получается цельная панорама, похожая на одну широкую фотографию, хотя фактически она создана из нескольких снимков.

3D-реконструкция и робототехника#

Ещё одно интересное применение SIFT — 3D-реконструкция, при которой несколько 2D-фотографий, снятых под разными углами, объединяются для построения трёхмерной модели. SIFT находит и сопоставляет одни и те же точки на этих изображениях.

После сопоставления можно оценить 3D-положения этих точек с помощью триангуляции — метода вычисления глубины по разным точкам обзора. Этот процесс является частью структуры из движения (SfM) — метода, который использует несколько перекрывающихся изображений для оценки 3D-формы сцены и положения камер, сделавших фотографии.

Результатом обычно становится 3D-облако точек — набор точек в пространстве, очерчивающий объект или окружение. SIFT был одним из первых инструментов, сделавших структуру из движения практически применимой. Хотя современные методы быстрее и сегодня используются чаще, SIFT по-прежнему применяется, когда точность важнее скорости.

SIFT также использовался в робототехнике, особенно в визуальной SLAM (одновременная локализация и построение карты). SLAM позволяет роботу определять своё местоположение и одновременно строить карту окружающего пространства.

Ключевые точки SIFT служат надёжными ориентирами, которые робот может распознавать в разных кадрах, даже при изменении освещения или угла обзора. Отслеживая эти ориентиры, робот может оценивать своё положение и обновлять карту на лету. Хотя сегодня в робототехнике чаще используются более быстрые детекторы признаков, SIFT сыграл важную роль в ранних системах SLAM и по-прежнему незаменим в случаях, когда устойчивость важнее скорости.

Преимущества и особенности SIFT#

Хотя алгоритм SIFT широко использовался в компьютерном зрении и известен как надёжный метод, у него есть определённые компромиссы. Поэтому перед выбором SIFT для проекта важно взвесить его преимущества и недостатки. Далее рассмотрим его основные сильные и слабые стороны.

Основные преимущества SIFT#

Вот некоторые преимущества использования алгоритма SIFT:

• Инвариантность к масштабу и повороту: SIFT создаёт инвариантные к масштабу ключевые точки, которые остаются относительно стабильными, когда объекты имеют разные размеры или ориентации. Это значительный шаг вперёд по сравнению с ранними детекторами признаков.
• Умеренная устойчивость к изменениям освещения и точки обзора: SIFT справляется с изменениями яркости, контраста или небольшими смещениями точки обзора, хотя при более экстремальных условиях он менее надёжен.
• Способность работать в загромождённых или частично скрытых сценах: поскольку SIFT обнаруживает множество локальных ключевых точек, он часто может идентифицировать объект, даже если его часть закрыта или фон сложен.

Особенности производительности и альтернативы#

Вот некоторые недостатки использования алгоритма SIFT:

• Высокая вычислительная сложность: многоэтапный процесс SIFT и подробные дескрипторы делают его медленнее и требовательнее к ресурсам, чем современные детекторы признаков. Чтобы улучшить этот подход, исследователи разработали алгоритм SURF (ускоренные устойчивые признаки), использующий более быстрые вычисления для поиска и описания признаков. В некоторых случаях SURF менее точен, чем SIFT, но работает значительно быстрее, что делает его практичнее для задач, чувствительных к задержкам.
• Не подходит для работы в реальном времени: из-за вычислительной сложности SIFT плохо справляется с задачами, где критична скорость, например с отслеживанием в реальном времени или мобильной робототехникой.
• Ограниченная универсальность: хотя SIFT устойчив во многих случаях, он менее эффективен при экстремальных изменениях освещения, значительных изменениях точки обзора или в очень динамичных сценах, где новые алгоритмы или методы машинного обучения работают лучше.

Изучая преимущества и недостатки SIFT, можно заметить, что многие его ограничения проложили путь к более продвинутым методам. В частности, мощной альтернативой стали свёрточные нейронные сети (CNNs).

CNN — это тип модели глубокого обучения, вдохновлённый принципами работы зрительной системы человека. Она обрабатывает изображение по слоям: начинает с простых узоров, таких как границы и текстуры, а затем постепенно формирует более сложные формы и объекты. В отличие от заданных вручную правил выделения признаков в SIFT, CNN обучается представлениям признаков непосредственно на данных.

Благодаря обучению на данных CNN могут превосходить SIFT в задачах сопоставления дескрипторов и классификации. CNN также обладают большей выразительностью и устойчивостью и лучше адаптируются к изменчивости и сложности визуальных данных.

Например, модели на основе CNN показали революционные результаты на ImageNet — огромном эталонном наборе данных, содержащем миллионы размеченных изображений из тысяч категорий. ImageNet предназначен для проверки способности алгоритмов распознавать и классифицировать объекты и наглядно демонстрирует разрыв между старыми методами на основе признаков и глубоким обучением.

CNN быстро превзошли SIFT, научившись создавать гораздо более насыщенные и гибкие представления. Это позволило им распознавать объекты при меняющемся освещении, с разных точек обзора и даже при частичном перекрытии — в сценариях, где SIFT часто испытывает трудности.

Основные выводы#

Алгоритм инвариантного к масштабу преобразования признаков занимает важное место в истории компьютерного зрения. Он предоставил надёжный способ обнаружения признаков даже в изменяющихся условиях и повлиял на многие методы, используемые сегодня.

Хотя новые методы быстрее и эффективнее, SIFT заложил основу для их развития. SIFT показывает, с чего начался современный прогресс в компьютерном зрении, и подчёркивает, насколько далеко продвинулись передовые AI-системы.

Присоединяйся к нашему глобальному сообществу и загляни в наш репозиторий GitHub, чтобы узнать больше о компьютерном зрении. Изучи страницы наших решений и узнай о таких инновациях, как AI в сельском хозяйстве и компьютерное зрение в розничной торговле. Ознакомься с вариантами лицензирования и начни создавать собственную модель компьютерного зрения.