스케일 불변 특징 변환(SIFT)이란 무엇인가요?

이 글에서 다룬 개념을 시각적으로 설명하는 내용은 아래 동영상에서 확인할 수 있습니다.

오늘날 휴대전화와 카메라부터 스마트 홈 시스템에 이르기까지 우리가 사용하는 많은 스마트 기기에는 얼굴, 사물, 심지어 전체 시각적 장면까지 인식할 수 있는 AI 솔루션이 탑재되어 있습니다. 이러한 기능은 기계가 이미지와 동영상을 이해하고 해석하도록 하는 인공지능 분야인 컴퓨터 비전에서 비롯됩니다.

예를 들어 어떤 각도나 거리에서 에펠탑을 촬영하더라도 기기는 일반적으로 컴퓨터 비전을 사용해 에펠탑을 인식하고 갤러리의 올바른 폴더에 정리할 수 있습니다. 간단해 보일 수 있지만 사물을 인식하는 일이 항상 쉬운 것은 아닙니다. 이미지의 크기, 각도, 배율, 조명에 따라 이미지가 크게 달라 보일 수 있어 기계가 사물을 일관되게 식별하기 어렵습니다.

이 문제를 해결하기 위해 연구자들은 Scale Invariant Feature Transform, 즉 SIFT라는 컴퓨터 비전 알고리즘을 개발했습니다. 이 알고리즘을 사용하면 다양한 관측 조건에서 사물을 감지할 수 있습니다. David Lowe가 1999년에 개발한 SIFT는 이미지 크기를 조정하거나 회전하거나 조명을 다르게 해도 식별 가능한 모서리, 가장자리, 패턴과 같은 고유한 키포인트를 이미지에서 찾아 설명하도록 설계되었습니다.

Ultralytics YOLO11과 같은 딥러닝 기반 컴퓨터 비전 모델이 인기를 얻기 전에는 SIFT가 컴퓨터 비전에서 널리 사용되는 기법이었습니다. 사진에서 특정 항목을 식별하는 객체 인식이나 겹치는 이미지 특징을 찾아 사진을 정렬하는 이미지 매칭과 같은 작업에 표준적인 접근 방식으로 사용되었습니다.

이 글에서는 SIFT의 개요와 기본 작동 방식, 그리고 컴퓨터 비전 발전 과정에서 중요한 이유를 간략히 살펴보겠습니다.

SIFT 알고리즘이 컴퓨터 비전에 필수적인 이유#

이미지 속 사물은 다양한 모습으로 나타날 수 있습니다. 예를 들어 커피잔을 위에서, 옆에서, 밝은 햇빛 아래에서, 따뜻한 조명 아래에서 촬영할 수 있습니다. 같은 커피잔도 카메라에 가까우면 크게 보이고 멀리 있으면 작게 보일 수 있습니다.

이러한 차이 때문에 컴퓨터가 사물을 인식하도록 학습시키는 일은 복잡합니다. 객체 감지라고 하는 이 컴퓨터 비전 작업에서는 사물의 크기, 각도, 조명 조건이 바뀌더라도 비전 AI 모델이 사물을 정확하게 식별하고 위치를 찾아야 합니다.

이를 가능하게 하기 위해 컴퓨터 비전은 특징 추출 또는 감지라는 과정을 사용합니다. 모델은 이미지 전체를 한 번에 이해하려고 하기보다, 각도와 배율, 조명 조건이 달라져도 식별 가능한 뚜렷한 모서리, 고유한 패턴, 질감 같은 특징을 이미지에서 찾습니다.

Scale Invariant Feature Transform, 즉 SIFT는 바로 이러한 작업을 수행하도록 설계되었습니다. SIFT는 이미지를 어떻게 촬영했는지와 관계없이 이미지 속 사물을 안정적으로 식별할 수 있는 특징 감지 및 설명 알고리즘입니다.

스케일 불변성 구현#

SIFT 알고리즘에는 객체 인식에 유용한 몇 가지 중요한 특성이 있습니다. 주요 특성 중 하나는 스케일 불변성입니다. 즉, 사물이 카메라 가까이에서 크게 보이든 멀리 떨어져 작게 보이든 SIFT는 사물의 다양한 부분을 인식할 수 있습니다. 사물이 완전히 보이지 않더라도 알고리즘은 동일한 키포인트를 찾아낼 수 있습니다.

SIFT는 스케일 공간 이론이라는 개념을 사용합니다. 간단히 말해, 이미지를 여러 단계로 흐리게 처리해 여러 버전을 만듭니다. 그런 다음 SIFT는 이러한 버전을 살펴보며 이미지의 크기나 선명도가 달라져도 그대로 유지되는 패턴과 세부 정보를 찾습니다.

예를 들어 몇 미터 거리에서 촬영한 도로 표지판은 멀리서 촬영한 같은 표지판보다 훨씬 크게 보이지만, SIFT는 여전히 동일한 특징을 감지할 수 있습니다. 따라서 표지판이 서로 다른 배율로 나타나더라도 두 이미지를 올바르게 매칭할 수 있습니다.

회전 불변성 보장#

이미지 속 사물은 회전되어 나타날 수 있으며, 때로는 거꾸로 보이기도 합니다. SIFT는 회전 불변성이라는 특성을 통해 이러한 상황에 대응합니다. 알고리즘은 감지된 각 키포인트에 대해 주변 이미지의 그래디언트를 바탕으로 일관된 방향을 지정합니다. 따라서 사물이 어떻게 회전하더라도 인식할 수 있습니다.

각 키포인트에 방향을 나타내는 작은 화살표를 표시한다고 생각해 볼 수 있습니다. 이러한 방향에 맞춰 특징을 정렬하면 사물이 회전하더라도 키포인트가 정확하게 매칭됩니다. 예를 들어 가로로 촬영한 사진 속 랜드마크는 다른 사진에서 카메라를 기울여 촬영했더라도 정확하게 식별할 수 있습니다.

그 밖의 이미지 변형에 대한 대응력#

이미지는 크기와 회전 외에도 조명 변화와 같이 다양한 방식으로 달라질 수 있습니다. 사물에 비치는 조명이 밝았다가 어두워질 수 있고, 카메라 각도가 약간 바뀔 수 있으며, 이미지가 흐려지거나 노이즈가 생길 수도 있습니다.

SIFT는 이러한 변형을 처리하도록 설계되었습니다. 조명 변화나 작은 시점 변화의 영향을 덜 받는 뚜렷하고 대비가 높은 키포인트에 중점을 둡니다. 따라서 조건이 바뀌면 자주 실패하는 단순한 에지 또는 코너 감지 방식보다 SIFT가 더 안정적인 경향이 있습니다.

그림 1. (a) 비가 내리는 이미지와 (b) 이에 대응하는 깨끗한 입력 이미지에서 추출한 SIFT 키포인트. (출처)

미술관의 그림을 예로 들어보겠습니다. 부드러운 자연광이나 밝은 인공 스포트라이트 아래에서 촬영하거나, 손에 든 카메라의 움직임으로 약간 흐릿하게 촬영하더라도 그림을 여전히 인식할 수 있습니다. 이러한 차이에도 키포인트가 충분히 안정적으로 유지되어 정확하게 매칭할 수 있습니다.

Scale-Invariant Feature Transform(SIFT) 알고리즘의 작동 방식#

이제 SIFT 알고리즘의 작동 방식을 살펴보겠습니다. 이 과정은 키포인트 감지, 키포인트 위치 지정, 방향 지정, 키포인트 설명의 네 가지 주요 단계로 나눌 수 있습니다.

1단계: 스케일 공간 극값 감지#

첫 번째 단계는 이미지에서 모서리나 질감이 급격히 변하는 부분처럼 두드러지는 지점인 키포인트를 찾아 감지하는 것입니다. 키포인트는 객체를 추적하거나 인식하는 데 도움이 됩니다.

잠재적 키포인트가 어떤 크기에서도 인식되도록 SIFT는 스케일 공간이라는 것을 구축합니다. 스케일 공간은 가우시안 필터라는 스무딩 기법으로 원본 이미지를 점진적으로 흐리게 처리해 이미지를 만들고, 그 결과를 옥타브라는 레이어로 그룹화한 모음입니다. 각 옥타브에는 흐림 정도를 높인 동일한 이미지가 들어 있으며, 다음 옥타브에는 더 작은 크기의 이미지가 들어갑니다.

흐리게 처리한 이미지 하나에서 다른 이미지를 빼면 SIFT는 가우시안 차분(DoG)을 계산하여 밝기가 급격하게 변하는 영역을 강조합니다. 이미지 확대·축소 시에도 이러한 영역은 일관되게 유지되므로 후보 키포인트로 선정됩니다.

그림 2. 서로 다른 수준으로 흐리게 처리한 이미지끼리 빼서 주요 구조를 강조하는 DoG. (출처)

2단계: 키포인트 위치 지정#

일부 후보 키포인트는 약하거나 불안정할 수 있으므로 모두 유용한 것은 아닙니다. 키포인트를 정교화하기 위해 SIFT는 테일러 급수 전개라는 수학적 방법을 사용하여 키포인트의 정확한 위치를 더 정밀하게 추정합니다.

이 단계에서는 신뢰하기 어려운 점을 제거합니다. 주변과 잘 구분되지 않는 대비가 낮은 키포인트와 쉽게 이동할 수 있는 에지 위의 키포인트를 제외합니다. 이 필터링을 거치면 가장 안정적이고 뚜렷한 키포인트만 남습니다.

3단계: 방향 지정#

안정적인 키포인트를 식별하면 SIFT는 회전 불변성을 부여합니다. 즉, 이미지가 옆으로 또는 거꾸로 회전하더라도 키포인트를 매칭할 수 있습니다. 이를 위해 SIFT는 각 키포인트 주변의 밝기 변화, 즉 그래디언트를 분석합니다. 그래디언트는 픽셀 강도 변화의 방향과 크기를 모두 나타내며, 두 정보를 함께 사용해 점 주변의 국소 구조를 포착합니다.

각 키포인트에 대해 SIFT는 주변 영역 내의 그래디언트를 고려하고 방향 히스토그램으로 그룹화합니다. 히스토그램에서 가장 높은 피크는 강도 변화의 주요 방향을 나타내며, 이 방향을 키포인트의 방향으로 지정합니다. 강도가 변하는 위치를 나타내는 그래디언트 방향과 변화의 크기를 나타내는 그래디언트 크기를 모두 사용해 이 히스토그램을 구성합니다.

그와 비슷한 강도의 다른 피크가 있으면 SIFT는 동일한 키포인트에 여러 방향을 지정합니다. 이를 통해 사물이 특이한 각도로 나타나더라도 중요한 특징이 손실되지 않습니다. 각 키포인트를 해당 방향에 맞춰 정렬하면 다음 단계에서 생성되는 디스크립터의 일관성이 유지됩니다.

다시 말해, 동일한 사물을 촬영한 두 이미지가 서로 다른 각도로 회전되어 있어도 방향에 맞춰 정렬된 키포인트는 여전히 정확하게 매칭됩니다. 이 단계 덕분에 SIFT는 회전에 강하게 대응할 수 있으며, 이전의 특징 감지 방식보다 훨씬 견고합니다.

그림 3. SIFT 알고리즘 3단계 자세히 살펴보기 (출처)

4단계: 키포인트 디스크립터#

SIFT의 마지막 단계는 각 키포인트에 대한 설명을 만들어 다른 이미지에서도 인식할 수 있도록 하는 것입니다.

SIFT는 각 키포인트 주변의 약 16×16픽셀 크기의 작은 정사각형 패치를 살펴봅니다. 먼저 회전의 영향을 받지 않도록 패치를 키포인트의 방향에 맞춰 정렬합니다. 그런 다음 패치를 4×4 크기의 작은 정사각형 격자로 나눕니다.

각 작은 정사각형에서 SIFT는 여러 방향으로 밝기가 어떻게 변하는지 측정합니다. 이러한 변화는 가장 흔한 방향을 보여주는 차트와 같은 히스토그램에 저장됩니다. 각 정사각형마다 자체 히스토그램이 만들어지며, 16개 정사각형에서 총 16개의 히스토그램이 생성됩니다.

마지막으로 이 히스토그램을 총 128개의 숫자로 이루어진 하나의 목록으로 결합합니다. 이 목록을 특징 벡터라고 하며, 키포인트의 지문 역할을 합니다. 지문은 지점 주변의 고유한 질감과 구조를 포착하므로, 이미지의 크기를 조정하거나 회전하거나 조명을 다르게 해도 서로 다른 이미지에서 동일한 키포인트를 매칭할 수 있습니다.

그림 4. SIFT 작동 방식 개요 (출처)

컴퓨터 비전에서 SIFT의 주요 활용 분야#

SIFT의 개념과 작동 방식을 더 잘 이해했으니, 이제 컴퓨터 비전에서의 실제 활용 사례를 살펴보겠습니다.

객체 인식 및 감지#

SIFT의 주요 활용 분야 중 하나는 객체 인식 및 감지입니다. 이는 사물의 모습이 항상 같지 않더라도 컴퓨터가 이미지에서 사물을 인식하고 위치를 찾도록 학습시키는 과정입니다. 예를 들어 SIFT는 책이 카메라 가까이에 있든, 멀리 있든, 기울어진 각도로 회전되어 있든 감지할 수 있습니다.

이러한 작동이 가능한 이유는 SIFT가 매우 뚜렷하고 안정적인 키포인트를 추출하기 때문입니다. 이러한 키포인트를 SIFT 디스크립터와 결합하면 SIFT 특징이 만들어지며, 이를 통해 서로 다른 이미지에서 동일한 사물을 안정적으로 매칭할 수 있습니다. 이러한 특징은 사물의 고유한 세부 정보를 포착하고 일관되게 유지되므로 사물의 크기, 위치, 방향이 달라져도 이미지 간 특징 매칭을 안정적으로 수행할 수 있습니다.

그림 5. 원본과 다른 방향에서 촬영한 새 이미지에서 SIFT를 사용해 책 표지를 인식하는 모습. 이미지 제공: 저자.

딥러닝이 널리 사용되기 전까지 SIFT는 객체 인식 시스템을 구축하는 데 가장 안정적인 방법 중 하나였습니다. 상당한 컴퓨팅 리소스가 필요한 경우가 많았지만, 대규모 이미지 데이터 세트에서 객체를 매칭해야 하는 연구와 애플리케이션에 널리 사용되었습니다.

이미지 스티칭 및 파노라마 생성#

SIFT는 여러 사진을 이어 붙여 만드는 넓은 사진인 파노라마 이미지를 생성하는 데도 사용할 수 있습니다. SIFT를 사용하면 여러 이미지에서 서로 겹치는 부분의 뚜렷한 키포인트를 찾은 다음 서로 매칭합니다. 이렇게 매칭된 키포인트는 기준점 역할을 하며, 사진을 어떻게 정렬할지 스티칭 과정을 안내합니다.

매칭이 완료되면 스티칭 알고리즘을 사용해 올바른 정렬을 계산할 수 있으며, 이때 한 이미지를 다른 이미지에 대응시키는 기하학적 변환을 자주 사용합니다. 그런 다음 이미지의 경계가 보이지 않도록 이미지를 혼합합니다. 여러 장의 사진으로 만들었지만 최종 결과는 하나의 넓은 사진처럼 보이는 매끄러운 파노라마입니다.

3D 재구성 및 로보틱스#

SIFT의 또 다른 흥미로운 활용 분야는 서로 다른 각도에서 촬영한 여러 2D 사진을 결합해 3차원 모델을 만드는 3D 재구성입니다. SIFT는 이러한 이미지 전반에서 동일한 점을 찾아 매칭하는 방식으로 작동합니다.

점들을 매칭한 후에는 여러 시점에서 깊이를 계산하는 삼각 측량을 사용해 각 점의 3D 위치를 추정할 수 있습니다. 이 과정은 여러 장의 중첩 이미지를 사용하여 장면의 3D 형태와 사진을 촬영한 카메라의 위치를 추정하는 기법인 모션으로부터의 구조(SfM)의 일부입니다.

그 결과는 일반적으로 객체나 환경의 윤곽을 나타내는 공간상의 점 모음인 3D 포인트 클라우드입니다. SIFT는 모션으로부터의 구조를 실용적으로 구현할 수 있게 한 최초의 도구 중 하나였습니다. 오늘날에는 더 빠르고 널리 사용되는 기법이 등장했지만, 속도보다 정확도가 중요할 때 SIFT는 계속 활용됩니다.

SIFT는 로보틱스, 특히 시각적 SLAM(동시적 위치 추정 및 지도 작성)에서 사용되기도 했습니다. SLAM을 사용하면 로봇이 주변 환경의 지도를 작성하는 동시에 자신의 위치를 파악할 수 있습니다.

SIFT 키포인트는 로봇이 프레임 간에 인식할 수 있는 신뢰할 만한 랜드마크 역할을 하며, 조명이나 각도가 달라져도 인식할 수 있습니다. 로봇은 이러한 랜드마크를 추적하여 자신의 위치를 추정하고 실시간으로 지도를 업데이트할 수 있습니다. 오늘날 로보틱스에서는 더 빠른 특징 검출기를 더 자주 사용하지만, SIFT는 초기 SLAM 시스템에서 중요한 역할을 했으며 속도보다 강건성이 중요한 경우에는 여전히 핵심적으로 사용됩니다.

SIFT의 장점과 고려 사항#

SIFT 알고리즘은 컴퓨터 비전 분야에서 널리 사용되어 왔으며 신뢰할 수 있는 방법으로 알려져 있지만, 몇 가지 상충 요소도 있습니다. 따라서 프로젝트에 적합한지 결정하기 전에 장단점을 비교하는 것이 중요합니다. 다음으로 주요 강점과 한계를 살펴보겠습니다.

SIFT의 주요 장점#

SIFT 알고리즘을 사용할 때의 장점은 다음과 같습니다.

• 스케일 및 회전 불변성: SIFT는 객체가 다양한 크기나 방향으로 나타날 때도 비교적 안정적으로 유지되는 스케일 불변 키포인트를 제공하며, 이는 이전 특징 검출기와 비교해 크게 발전한 부분입니다.
• 조명 및 시점 변화에 대한 적절한 강건성: SIFT는 밝기, 대비 또는 시점의 작은 변화에 대응할 수 있지만, 변화가 극심한 조건에서는 신뢰도가 떨어집니다.
• 복잡하거나 부분적으로 가려진 장면에서의 작동 능력: SIFT는 다수의 로컬 키포인트를 검출하므로, 객체의 일부가 가려져 있거나 배경이 복잡해도 객체를 식별할 수 있는 경우가 많습니다.

성능 고려 사항 및 대안#

SIFT 알고리즘을 사용할 때의 단점은 다음과 같습니다.

• 높은 연산 비용: SIFT의 다단계 처리 과정과 상세한 디스크립터 때문에 최신 특징 검출기보다 속도가 느리고 더 많은 리소스를 사용합니다. 이를 개선하기 위해 연구자들은 더 빠른 계산으로 특징을 찾고 기술하는 SURF(고속 강인 특징) 알고리즘을 개발했습니다. SURF는 일부 사례에서 SIFT보다 정밀도가 낮지만 훨씬 빠르게 실행되므로 시간에 민감한 작업에 더 실용적입니다.
• 실시간 사용에는 적합하지 않음: 연산 비용이 높기 때문에 SIFT는 실시간 추적이나 모바일 로보틱스처럼 속도가 중요한 애플리케이션에서 어려움을 겪습니다.
• 제한된 범용성: 여러 상황에서 강건하지만, 조명 변화가 극심하거나 시점이 크게 바뀌거나 장면의 동적 변화가 매우 큰 경우에는 SIFT의 효과가 떨어집니다. 이러한 경우에는 최신 알고리즘이나 머신러닝 방법의 성능이 더 뛰어납니다.

SIFT의 장단점을 살펴보면 많은 한계가 더 발전된 기법의 등장으로 이어졌다는 점을 알 수 있습니다. 특히 합성곱 신경망(CNN)이 강력한 대안으로 등장했습니다.

CNN은 인간의 시각 시스템 작동 방식에서 영감을 얻은 딥러닝 모델의 한 유형입니다. CNN은 이미지를 계층적으로 처리하며, 엣지와 텍스처 같은 단순한 패턴에서 시작해 점차 더 복잡한 모양과 객체를 표현합니다. 수작업으로 특징 규칙을 설계하는 SIFT와 달리, CNN은 데이터에서 직접 특징 표현을 학습합니다.

이러한 데이터 기반 학습 덕분에 CNN은 디스크립터 매칭 및 분류 작업에서 SIFT보다 뛰어난 성능을 낼 수 있습니다. 또한 CNN은 표현력이 뛰어나고 강건하며, 시각 데이터의 변동성과 복잡성에 더 잘 적응합니다.

예를 들어 CNN 기반 모델은 수천 개 범주에 걸친 수백만 개의 레이블 이미지가 포함된 대규모 벤치마크 데이터셋인 ImageNet에서 획기적인 성과를 거두었습니다. 알고리즘의 객체 인식 및 분류 성능을 평가하도록 설계된 ImageNet은 기존 특징 기반 방법과 딥러닝 사이의 격차를 분명히 보여줍니다.

CNN은 훨씬 풍부하고 유연한 표현을 학습하여 빠르게 SIFT를 능가했습니다. 이를 통해 조명이 바뀌거나 시점이 달라져도, 심지어 객체가 부분적으로 가려져도 인식할 수 있습니다. 이런 상황에서는 SIFT가 어려움을 겪는 경우가 많습니다.

핵심 요점#

스케일 불변 특징 변환(Scale Invariant Feature Transform) 알고리즘은 컴퓨터 비전 역사에서 중요한 위치를 차지합니다. 이 알고리즘은 환경이 바뀌어도 특징을 신뢰성 있게 검출하는 방법을 제공했으며, 오늘날 사용되는 여러 방법에 영향을 주었습니다.

더 최신 기법은 더 빠르고 효율적이지만, SIFT는 이러한 기법의 토대를 마련했습니다. SIFT는 오늘날 컴퓨터 비전의 발전이 어디에서 시작되었는지 보여 주고, 최신 AI 시스템이 얼마나 발전했는지 강조합니다.

전 세계 커뮤니티에 참여하고 GitHub 저장소를 확인하여 컴퓨터 비전에 대해 자세히 알아보세요. 솔루션 페이지에서 농업 분야의 AI 및 리테일 분야의 컴퓨터 비전과 같은 혁신 사례를 살펴보세요. 라이선스 옵션을 확인하고 직접 컴퓨터 비전 모델을 구축해 보세요.