스케일 불변 특징 변환(SIFT)이란 무엇인가?

이 글에서 다루는 개념에 대한 시각적 설명을 보려면 아래 동영상을 시청하십시오.

오늘날 우리가 사용하는 휴대폰, 카메라부터 스마트 홈 시스템에 이르기까지 많은 스마트 기기에는 얼굴, 사물, 심지어 전체적인 시각 장면을 인식할 수 있는 AI 솔루션이 탑재되어 있습니다. 이러한 기능은 기계가 이미지와 비디오를 이해하고 해석할 수 있도록 하는 인공지능 분야인 computer vision에서 비롯됩니다.

예를 들어, 에펠탑을 어떤 각도나 거리에서 촬영하더라도 기기는 일반적으로 computer vision을 사용하여 이를 인식하고 갤러리의 올바른 폴더로 분류할 수 있습니다. 이는 간단해 보이지만, 사물 인식은 항상 쉬운 것은 아닙니다. 이미지는 크기, 각도, 스케일 또는 조명에 따라 매우 다르게 보일 수 있으므로 기계가 이를 일관되게 식별하기가 어렵습니다.

이 문제를 해결하기 위해 연구자들은 Scale Invariant Feature Transform, 즉 SIFT라고 하는 computer vision 알고리즘을 개발했습니다. 이 알고리즘을 사용하면 다양한 보기 조건에서 사물을 감지할 수 있습니다. 1999년 David Lowe가 만든 SIFT는 이미지의 크기가 조정되거나, 회전되거나, 조명이 다르게 비추더라도 인식 가능한 상태로 유지되는 모서리, 가장자리 또는 패턴과 같은 이미지의 고유한 키포인트를 찾아 설명하도록 설계되었습니다.

Ultralytics YOLO11과 같은 딥러닝 기반 computer vision 모델이 대중화되기 전, SIFT는 computer vision에서 널리 사용되던 기술이었습니다. 이는 사진에서 특정 항목을 식별하는 사물 인식과 겹치는 이미지 특징을 찾아 사진을 정렬하는 이미지 매칭과 같은 작업의 표준 접근 방식이었습니다.

이 글에서는 SIFT가 무엇인지, 전반적으로 어떻게 작동하는지, 그리고 computer vision의 발전에 있어 왜 중요한지에 대한 빠른 개요와 함께 SIFT를 살펴보겠습니다. 시작해 볼까요!

Link to this sectionSIFT 알고리즘이 computer vision에 필수적인 이유#

이미지에서 사물은 여러 가지 방식으로 나타날 수 있습니다. 예를 들어, 커피 머그잔은 위에서 내려다보거나, 측면에서 촬영하거나, 밝은 햇빛 아래 또는 따뜻한 램프 아래에서 촬영될 수 있습니다. 동일한 머그잔도 카메라와 가까울 때는 더 커 보이고 멀리 있을 때는 더 작게 보일 수 있습니다.

이러한 모든 차이점으로 인해 컴퓨터에게 사물을 인식하도록 가르치는 작업은 복잡해집니다. object detection으로 알려진 이 computer vision 작업은 Vision AI 모델이 크기, 각도 또는 조명 조건이 변경되더라도 사물을 정확하게 식별하고 위치를 파악하도록 요구합니다.

이를 가능하게 하기 위해 computer vision은 feature extraction 또는 감지라는 프로세스에 의존합니다. 모델은 전체 이미지를 한꺼번에 이해하려고 시도하는 대신 각도, 스케일 및 조명 조건 전반에 걸쳐 인식 가능한 상태로 유지되는 날카로운 모서리, 고유한 패턴 또는 텍스처와 같은 뚜렷한 이미지 특징을 찾습니다.

특히 이것이 바로 Scale Invariant Feature Transform, 즉 SIFT가 수행하도록 설계된 작업입니다. SIFT는 이미지가 어떻게 캡처되든 상관없이 사물을 안정적으로 식별할 수 있는 특징 감지 및 설명 알고리즘입니다.

Link to this section스케일 불변성 달성#

SIFT 알고리즘에는 사물 인식에 유용한 몇 가지 중요한 속성이 있습니다. 주요 속성 중 하나는 스케일 불변성입니다. 이는 SIFT가 사물이 커 보이고 카메라와 가까이 있든, 작고 멀리 있든 상관없이 사물의 다양한 부분을 인식할 수 있음을 의미합니다. 사물이 완전히 보이지 않더라도 알고리즘은 여전히 동일한 키포인트를 골라낼 수 있습니다.

이는 스케일 공간 이론(scale-space theory)이라는 개념을 사용하여 수행됩니다. 간단히 말해서, 이미지를 여러 수준으로 흐리게 처리하여 여러 버전을 만듭니다. 그런 다음 SIFT는 이러한 버전을 살펴보고 이미지의 크기나 선명도가 어떻게 변하든 관계없이 동일하게 유지되는 패턴과 세부 정보를 찾습니다.

예를 들어, 몇 미터 거리에서 촬영한 도로 표지판은 먼 거리에서 촬영한 같은 표지판보다 훨씬 커 보이겠지만, SIFT는 여전히 동일한 고유 특징을 감지할 수 있습니다. 이를 통해 표지판이 매우 다른 스케일로 나타나더라도 두 이미지를 올바르게 매칭할 수 있습니다.

Link to this section회전 불변성 보장#

이미지의 사물은 회전된 상태로, 때로는 거꾸로 나타날 수도 있습니다. SIFT는 회전 불변성(rotation invariance)이라는 속성을 통해 이를 처리합니다. 감지하는 모든 키포인트에 대해 알고리즘은 로컬 이미지 그래디언트를 기반으로 일관된 방향을 할당합니다. 이렇게 하면 사물이 어떻게 회전하든 동일한 사물을 인식할 수 있습니다.

각 키포인트를 어떤 방향을 향하고 있는지 보여주는 작은 화살표로 표시한다고 생각할 수 있습니다. 특징을 이러한 방향에 맞춤으로써 SIFT는 사물이 회전하더라도 키포인트가 올바르게 매칭되도록 합니다. 예를 들어, 풍경 사진에서 캡처된 랜드마크는 카메라가 비스듬히 기울어진 상태에서 다른 사진을 촬영하더라도 올바르게 식별될 수 있습니다.

Link to this section다른 이미지 변형에 대한 복원력#

크기 및 회전 외에도 이미지는 조명 변화와 같은 다른 방식으로도 변할 수 있습니다. 사물에 비치는 조명이 밝았다가 어두워질 수도 있고, 카메라 각도가 약간 바뀔 수도 있으며, 이미지가 흐릿하거나 노이즈가 발생할 수도 있습니다.

SIFT는 이러한 종류의 변형을 처리하도록 구축되었습니다. SIFT는 고유하고 대비가 높은 키포인트에 집중함으로써 이를 수행하는데, 이러한 특징은 조명 변화나 관점의 작은 이동에 덜 영향을 받기 때문입니다. 결과적으로 SIFT는 조건이 바뀔 때 종종 실패하는 단순한 edge or corner detection 방법보다 더 안정적인 경향이 있습니다.

그림 1. (a) 비가 오는 이미지와 (b) 그에 해당하는 깨끗한 입력 이미지에서 추출한 SIFT 키포인트. (Source)

갤러리에 있는 그림을 생각해 보십시오. 부드러운 햇빛 아래서 촬영되든, 밝은 인공 조명 아래서 촬영되든, 핸드헬드 카메라의 약간의 모션 블러가 있든 상관없이 여전히 인식될 수 있습니다. 이러한 차이에도 불구하고 키포인트는 정확한 매칭을 위해 충분히 안정적으로 유지됩니다.

Link to this sectionScale-Invariant Feature Transform(SIFT) 알고리즘의 작동 원리#

다음으로, SIFT 알고리즘이 어떻게 작동하는지 살펴보겠습니다. 이 과정은 키포인트 감지, 키포인트 위치 파악, 방향 할당, 키포인트 설명이라는 네 가지 주요 단계로 나눌 수 있습니다.

Link to this section1단계: 스케일 공간 극값 감지(Scale-space extrema detection)#

첫 번째 단계는 사물을 추적하거나 인식하는 데 도움이 되는 모서리나 텍스처의 급격한 변화와 같은 이미지의 뚜렷한 지점인 키포인트를 찾아 감지하는 것입니다.

이러한 잠재적 키포인트를 모든 크기에서 인식할 수 있도록 하기 위해 SIFT는 스케일 공간(scale space)을 구축합니다. 이는 원본 이미지를 가우시안 필터(평활화 기술)로 점진적으로 흐리게 처리하여 생성된 이미지 컬렉션이며, 결과를 옥타브(octaves)라는 레이어로 그룹화합니다. 각 옥타브는 점점 더 흐려지는 동일한 이미지를 포함하며, 다음 옥타브는 이미지의 더 작은 버전입니다.

SIFT는 한 흐린 이미지에서 다른 흐린 이미지를 빼서 밝기가 급격하게 변하는 영역을 강조하는 차분 가우시안(Difference of Gaussians, DoG)을 계산합니다. 이러한 영역은 이미지를 확대하거나 축소할 때 일관되게 유지되기 때문에 후보 키포인트로 선택됩니다.

그림 2. DoG는 다른 수준으로 흐리게 처리된 이미지를 빼서 주요 구조를 강조합니다. (Source)

Link to this section2단계: 키포인트 위치 파악(Keypoint localization)#

일부 키포인트는 약하거나 불안정할 수 있으므로 모든 후보 키포인트가 유용한 것은 아닙니다. 이를 개선하기 위해 SIFT는 키포인트의 정확한 위치를 더 정밀하게 추정하는 데 도움이 되는 테일러 급수 전개(Taylor Series Expansion)라는 수학적 방법을 사용합니다.

이 단계에서 신뢰할 수 없는 지점은 제거됩니다. 주변과 섞이는 대비가 낮은 키포인트와 가장자리에 직접 위치하여 너무 쉽게 이동할 수 있는 키포인트는 폐기됩니다. 이 필터링 단계는 가장 안정적이고 뚜렷한 키포인트만 남깁니다.

Link to this section3단계: 방향 할당(Orientation assignment)#

안정적인 키포인트가 식별되면 SIFT는 이를 회전 불변으로 만듭니다. 즉, 이미지가 옆으로 돌아가거나 거꾸로 되어도 여전히 매칭될 수 있습니다. 이를 위해 SIFT는 키포인트 주변의 밝기가 어떻게 변하는지(그래디언트)를 분석합니다. 그래디언트는 픽셀 강도의 방향과 변화 강도를 모두 보여주며, 이들이 결합되어 지점 주변의 로컬 구조를 캡처합니다.

각 키포인트에 대해 SIFT는 주변 영역 내의 그래디언트를 고려하고 이를 방향 히스토그램으로 그룹화합니다. 이 히스토그램에서 가장 높은 피크는 강도 변화의 지배적인 방향을 나타내며, 이것이 키포인트의 방향으로 할당됩니다. 강도가 어디에서 변하는지를 보여주는 그래디언트 방향과 그 변화가 얼마나 강한지를 나타내는 그래디언트 크기가 모두 이 히스토그램을 작성하는 데 사용됩니다.

거의 동일한 강도의 다른 피크가 있는 경우, SIFT는 동일한 키포인트에 여러 방향을 할당합니다. 이는 사물이 특이한 각도로 나타날 때 중요한 특징이 손실되는 것을 방지합니다. 각 키포인트를 방향에 맞춤으로써 SIFT는 다음 단계에서 생성된 디스크립터가 일관되게 유지되도록 합니다.

즉, 동일한 사물의 두 이미지가 다르게 회전되더라도 방향이 정렬된 키포인트는 여전히 올바르게 매칭됩니다. 이 단계가 SIFT에 회전을 처리하는 강력한 능력을 부여하며, 초기 특징 감지 방법보다 훨씬 더 강력하게 만듭니다.

그림 3. SIFT 알고리즘 3단계 자세히 보기 (Source)

Link to this section4단계: 키포인트 디스크립터(Keypoint descriptor)#

SIFT의 마지막 단계는 각 키포인트를 다른 이미지에서 인식할 수 있도록 설명하는 것입니다.

SIFT는 각 키포인트 주변의 약 16x16 픽셀 크기의 작은 정사각형 패치를 살펴봄으로써 이를 달성합니다. 이 패치는 먼저 키포인트의 방향에 맞춰 정렬되므로 회전의 영향을 받지 않습니다. 그런 다음 패치는 4x4개의 작은 정사각형 그리드로 나뉩니다.

각 작은 정사각형에서 SIFT는 밝기가 다른 방향으로 어떻게 변하는지 측정합니다. 이러한 변화는 가장 일반적인 방향을 보여주는 차트와 같은 히스토그램에 저장됩니다. 각 정사각형은 자체 히스토그램을 가지며, 16개의 정사각형은 총 16개의 히스토그램을 생성합니다.

마지막으로 이 히스토그램들은 총 128개의 숫자 리스트로 결합됩니다. 이 리스트는 특징 벡터(feature vector)라고 불리며 키포인트의 지문 역할을 합니다. 지점 주변의 고유한 텍스처와 구조를 캡처하기 때문에, 이 지문을 사용하면 이미지의 크기가 조정되거나 회전되거나 조명이 다르게 비추더라도 서로 다른 이미지 전반에서 동일한 키포인트를 매칭할 수 있습니다.

그림 4. SIFT 작동 방식 개요 (Source)

Link to this sectioncomputer vision에서 SIFT의 주요 응용 분야#

이제 SIFT가 무엇인지, 어떻게 작동하는지 더 잘 이해했으니 computer vision에서의 실제 응용 분야를 살펴보겠습니다.

Link to this section사물 인식 및 감지#

SIFT의 주요 용도 중 하나는 사물 인식 및 감지입니다. 여기에는 사물이 항상 같아 보이지 않더라도 이미지에서 사물을 인식하고 위치를 파악하도록 컴퓨터를 가르치는 작업이 포함됩니다. 예를 들어, SIFT는 책이 카메라와 가까이 있든, 더 멀리 있든, 각도가 틀어져 있든 상관없이 책을 감지할 수 있습니다.

이것이 작동하는 이유는 SIFT가 매우 뚜렷하고 안정적인 키포인트를 추출하기 때문입니다. 이러한 키포인트가 SIFT 디스크립터와 결합되면 SIFT 특징이 형성되며, 이는 다른 이미지에서 동일한 사물을 매칭하는 안정적인 방법을 제공합니다. 이러한 특징은 사물의 고유한 세부 정보를 캡처하여 일관되게 유지되므로 사물의 크기, 위치 또는 방향이 변경되더라도 이미지 전반에서 신뢰할 수 있는 특징 매칭이 가능합니다.

그림 5. 원래 이미지와 다른 방향에서 촬영된 새로운 이미지에서 책 표지를 인식하기 위해 SIFT를 사용. 저자 이미지.

deep learning이 대중화되기 전, SIFT는 사물 인식 시스템을 구축하는 가장 안정적인 방법 중 하나였습니다. 이는 상당한 컴퓨팅 자원이 필요했음에도 불구하고 대규모 이미지 데이터 세트에서 사물을 매칭해야 하는 연구 및 응용 분야에서 널리 사용되었습니다.

Link to this section이미지 스티칭 및 파노라마 생성#

SIFT는 여러 사진을 결합하여 만든 넓은 사진인 파노라마 이미지를 만드는 데에도 사용할 수 있습니다. SIFT를 사용하면 서로 다른 이미지의 겹치는 부분에서 뚜렷한 키포인트를 찾아 서로 매칭합니다. 이러한 매칭은 닻(anchors) 역할을 하여 사진을 어떻게 정렬해야 하는지에 대한 스티칭 프로세스를 안내합니다.

매칭이 완료되면, 스티칭 알고리즘을 사용하여 한 이미지를 다른 이미지에 매핑하는 기하학적 변환을 사용하여 올바른 정렬을 계산할 수 있습니다. 그런 다음 이미지가 혼합되어 이음새가 사라집니다. 최종 결과물은 여러 번 촬영하여 만들어졌음에도 불구하고 하나의 넓은 사진처럼 보이는 매끄러운 파노라마입니다.

Link to this section3D 재구성 및 로봇 공학#

SIFT의 또 다른 흥미로운 응용 분야는 3D 재구성입니다. 여기서는 서로 다른 각도에서 촬영한 여러 2D 사진을 결합하여 three-dimensional model을 구축합니다. SIFT는 이러한 이미지 전반에서 동일한 지점을 찾고 매칭하여 작동합니다.

매칭이 완료되면 서로 다른 관점에서 깊이를 계산하는 방법인 삼각 측량을 사용하여 이러한 지점의 3D 위치를 추정할 수 있습니다. 이 과정은 여러 겹치는 이미지를 사용하여 사진을 찍은 카메라의 위치와 함께 장면의 3D 형태를 추정하는 기술인 SfM(Structure from Motion)의 일부입니다.

그 결과는 일반적으로 사물이나 환경의 윤곽을 나타내는 공간의 점들의 집합인 3D 포인트 클라우드입니다. SIFT는 구조 기반 모션(structure-from-motion)을 실용적으로 만든 최초의 도구 중 하나였습니다. 오늘날 더 새로운 기술이 더 빠르고 일반적이지만, 속도보다 정확성이 더 중요한 경우 SIFT가 계속 적용됩니다.

SIFT는 robotics, 특히 시각적 SLAM(동시적 위치 추정 및 지도 작성)에도 사용되었습니다. SLAM을 사용하면 로봇이 주변 환경의 지도를 작성하는 동시에 자신의 위치를 파악할 수 있습니다.

SIFT 키포인트는 로봇이 조명이나 각도가 변하더라도 프레임 전반에 걸쳐 인식할 수 있는 신뢰할 수 있는 랜드마크 역할을 합니다. 이러한 랜드마크를 추적함으로써 로봇은 실시간으로 자신의 위치를 추정하고 지도를 업데이트할 수 있습니다. 오늘날 로봇 공학에서는 더 빠른 특징 감지기가 더 자주 사용되지만, SIFT는 초기 SLAM 시스템에서 중요한 역할을 했으며 속도보다 견고함이 더 중요한 경우 여전히 핵심적입니다.

Link to this sectionSIFT의 장점 및 고려 사항#

SIFT 알고리즘은 computer vision에서 널리 사용되었으며 신뢰할 수 있는 방법으로 알려져 있지만, 몇 가지 장단점도 있습니다. 그렇기 때문에 프로젝트에 적합한지 결정하기 전에 장단점을 따져보는 것이 중요합니다. 다음으로, 주요 강점과 한계를 살펴보겠습니다.

Link to this sectionSIFT의 핵심 장점#

다음은 SIFT 알고리즘 사용의 장점입니다.

• 스케일 및 회전 불변성: SIFT는 사물이 다른 크기나 방향으로 나타날 때 비교적 안정적으로 유지되는 스케일 불변 키포인트를 제공하며, 이는 이전 특징 감지기에 비해 상당한 진전을 나타냅니다.
• 조명 및 관점 변화에 대한 적당한 견고함: SIFT는 밝기, 대비 변화 또는 관점의 작은 이동을 처리할 수 있지만, 더 극단적인 조건에서는 신뢰도가 떨어집니다.
• 복잡하거나 부분적으로 숨겨진 장면에서 작업할 수 있는 능력: SIFT는 많은 로컬 키포인트를 감지하기 때문에 사물의 일부가 가려져 있거나 배경이 복잡하더라도 종종 사물을 식별할 수 있습니다.

Link to this section성능 고려 사항 및 대안#

다음은 SIFT 알고리즘 사용의 단점입니다.

• 높은 계산 비용: SIFT의 다단계 프로세스와 자세한 디스크립터는 현대 특징 감지기보다 느리고 리소스가 많이 필요합니다. 이를 개선하기 위해 연구자들은 더 빠른 계산을 사용하여 특징을 찾고 설명하는 SURF(Speeded-Up Robust Features) 알고리즘을 개발했습니다. SURF는 어떤 경우에는 SIFT보다 정밀도가 떨어지지만 훨씬 빠르게 실행되어 시간 제한이 있는 작업에 더 실용적입니다.
• 실시간 사용에 이상적이지 않음: 계산 비용 때문에 SIFT는 real-time tracking 또는 모바일 로봇 공학과 같이 속도가 중요한 응용 분야에서 어려움을 겪습니다.
• 제한된 범용성: 많은 경우 견고하지만, SIFT는 극단적인 조명 변화, 큰 관점 이동 또는 더 새로운 알고리즘이나 기계 학습 방법이 더 잘 수행되는 매우 동적인 장면에서는 효율성이 떨어집니다.

SIFT의 장단점을 살펴보면서, 그 한계 중 상당수가 더 고급 기술을 위한 길을 열었다는 점을 알 수 있을 것입니다. 구체적으로 합성곱 신경망(CNN)이 강력한 대안으로 부상했습니다.

CNN은 인간 시각 시스템의 작동 방식에서 영감을 받은 딥러닝 모델의 일종입니다. 이는 가장자리와 텍스처 같은 단순한 패턴부터 시작하여 점진적으로 더 복잡한 모양과 사물로 구성하면서 레이어 단위로 이미지를 처리합니다. SIFT의 수작업 특징 규칙과 달리, CNN은 데이터에서 직접 특징 표현을 학습합니다.

이러한 데이터 기반 학습은 CNN이 디스크립터 매칭 및 classification 작업에서 SIFT를 능가할 수 있음을 의미합니다. CNN은 또한 더 표현력이 뛰어나고 견고하여 시각적 데이터의 가변성과 복잡성에 더 잘 적응합니다.

예를 들어, CNN 기반 모델은 수천 개의 범주에 걸쳐 수백만 개의 라벨링된 이미지가 포함된 대규모 벤치마크 데이터 세트인 ImageNet에서 획기적인 결과를 달성했습니다. 알고리즘이 사물을 얼마나 잘 인식하고 분류할 수 있는지 테스트하기 위해 설계된 ImageNet은 기존 특징 기반 방법과 딥러닝 사이의 격차를 강조합니다.

CNN은 훨씬 더 풍부하고 유연한 표현을 학습하여 SIFT를 빠르게 능가했으며, 조명 변화, 서로 다른 관점, 심지어 부분적으로 가려진 상황에서도 사물을 인식할 수 있게 했습니다. 이는 SIFT가 종종 어려움을 겪는 시나리오입니다.

Link to this section핵심 요약#

Scale-Invariant Feature Transform 알고리즘은 computer vision 역사에서 중요한 위치를 차지합니다. 이는 변화하는 환경에서도 특징을 감지할 수 있는 신뢰할 수 있는 방법을 제공했으며 오늘날 사용되는 많은 방법에 영향을 미쳤습니다.

더 새로운 기술이 더 빠르고 효율적이지만, SIFT는 그들을 위한 토대를 마련했습니다. SIFT는 오늘날 computer vision의 진보가 어디에서 시작되었는지 보여주며 최첨단 AI 시스템이 얼마나 발전했는지 강조합니다.

전 세계 community에 참여하고 GitHub repository를 확인하여 computer vision에 대해 더 자세히 알아보십시오. AI in agriculture 및 computer vision in retail과 같은 혁신을 발견하려면 솔루션 페이지를 탐색하십시오. licensing options을 확인하고 자신만의 computer vision 모델 구축을 시작해 보십시오.