비전 AI의 이미지 매칭이란 무엇인가요? 간략한 소개

자동차의 그림과 사진처럼 동일한 대상을 담은 두 이미지를 볼 때, 무엇이 공통점인지 파악하는 것은 쉽습니다. 하지만 기계에게는 결코 간단한 일이 아닙니다.

이러한 비교를 수행하기 위해 기계는 컴퓨터 비전에 의존합니다. 이는 시각 정보를 해석하고 이해하도록 돕는 인공지능(AI)의 한 분야입니다. 컴퓨터 비전을 통해 시스템은 이미지가 비디오에서 객체를 감지하고, 장면을 이해하며, 패턴을 추출할 수 있습니다.

특히 일부 시각 작업은 단일 이미지 분석을 넘어섭니다. 이미지 간의 유사성을 찾고, 차이점을 발견하거나, 시간이 지남에 따른 변화를 추적하는 비교 작업이 포함됩니다.

비전 AI는 광범위한 기술을 포괄하며, 그 중 필수적인 기능인 이미지 매칭은 조명, 각도 또는 배경이 바뀌더라도 이미지 간의 유사성을 식별하는 데 중점을 둡니다. 이 기술은 로봇 공학, 증강 현실, 지오매핑 등 다양한 응용 분야에서 사용될 수 있습니다.

본 글에서는 이미지 매칭이 무엇인지, 그 핵심 기술과 실제 적용 사례를 살펴보겠습니다. 지금 바로 시작해 보시죠!

Link to this section이미지 매칭이란 무엇인가요?#

이미지 매칭은 컴퓨터 시스템이 두 이미지에 유사한 콘텐츠가 포함되어 있는지 이해할 수 있게 해줍니다. 사람은 모양, 색상, 패턴을 인식하여 직관적으로 이를 수행할 수 있습니다.

반면에 컴퓨터는 수치 데이터에 의존합니다. 컴퓨터는 디지털 이미지의 가장 작은 단위인 각 픽셀을 조사하여 이미지를 분석합니다.

모든 이미지는 픽셀 그리드로 저장되며, 각 픽셀은 일반적으로 빨간색, 녹색, 파란색(RGB) 값을 가집니다. 이러한 값은 이미지가 회전하거나, 크기가 조정되거나, 다른 각도에서 보여지거나, 다른 조명 조건에서 캡처될 때 변경될 수 있습니다. 이러한 변형 때문에 픽셀 단위로 이미지를 비교하는 것은 종종 신뢰성이 떨어집니다.

비교를 더 일관되게 만들기 위해, 이미지 매칭은 이미지 내에서 약간의 변화가 있어도 안정적으로 유지되는 로컬 특징 또는 모서리, 가장자리, 질감 영역에 집중합니다. 여러 이미지에 걸쳐 이러한 특징(또는 키포인트)을 감지함으로써, 시스템은 훨씬 더 높은 정확도로 이미지를 비교할 수 있습니다.

이 과정은 내비게이션, 위치 인식, 증강 현실, 매핑, 3D 재구성 및 시각적 검색과 같은 사례에서 널리 사용됩니다. 시스템이 서로 다른 이미지나 여러 프레임에서 동일한 지점을 식별하면, 움직임을 추적하고 장면 구조를 이해하며 역동적인 환경에서 신뢰할 수 있는 결정을 내릴 수 있습니다.

그림 1. 유사한 키포인트를 식별한 자동차 이미지 매칭의 예시. (출처)

Link to this section이미지 매칭의 작동 원리 이해#

이미지 매칭에는 시스템이 이미지 내에서 유사한 영역을 식별하고 비교하도록 돕는 몇 가지 핵심 단계가 포함됩니다. 각 단계는 다양한 조건에서 정확도, 일관성 및 견고성을 향상시킵니다.

이미지 매칭이 작동하는 방식을 단계별로 살펴보겠습니다:

• 특징 감지(Feature detection): 시스템은 먼저 조명, 스케일 또는 시야각이 변하더라도 정지 상태로 유지되는 이미지의 독특한 키포인트를 식별합니다. 이들은 시각적으로 눈에 띄는 모서리, 가장자리 또는 질감 영역을 강조합니다.
• 특징 설명(Feature description): 각 키포인트는 해당 지점 주변의 시각적 패턴을 포착하는 압축된 수치 벡터인 디스크립터로 변환됩니다. 이러한 디스크립터는 서로 다른 이미지 간의 특징을 비교할 수 있는 신뢰할 수 있는 방법을 제공합니다.
• 특징 매칭(Feature matching): 두 이미지의 디스크립터는 유사도를 계산하는 매칭 알고리즘을 사용하여 비교됩니다. 이 단계는 일치하는 것으로 보이는 키포인트를 쌍으로 묶고 더 약하거나 신뢰할 수 없는 매칭을 필터링합니다.
• 기하학적 검증(Geometric verification): 마지막으로 시스템은 일치하는 키포인트가 현실적인 기하학적 관계를 형성하는지 확인합니다. RANSAC(Random Sample Consensus)이라는 방법을 사용하여 잘못된 매칭(이상치, outliers)을 제거하며, 신뢰할 수 있는 포인트 쌍만 유지되도록 합니다. 좋은 매칭이 확인되면 시스템은 두 이미지를 가장 잘 연결하는 변환을 추정합니다. 이는 종종 크기 조정, 회전, 이동과 같은 변화를 조정하는 아핀 변환(affine transformation)이거나, 원근 변화를 처리할 수 있는 호모그래피(homography)일 수 있습니다. 이러한 변환을 사용하면 시스템이 약간 다른 시점에서 캡처된 경우에도 이미지를 정확하게 정렬할 수 있습니다.

그림 2. (a) 특징점 추출 및 (b) 특징 매칭. (출처)

Link to this section이미지 매칭에 관련된 핵심 기술#

이미지 매칭의 실제 적용 사례를 살펴보기 전에, 먼저 컴퓨터 비전 시스템에서 사용되는 이미지 매칭 기술을 더 자세히 살펴보겠습니다.

Link to this section템플릿 매칭 기반 이미지 매칭#

템플릿 매칭은 가장 직관적인 이미지 매칭 방법 중 하나입니다. 이는 직접적인 픽셀 비교에 의존하고 더 깊은 시각적 특징을 추출하지 않기 때문에 현대적인 컴퓨터 비전 방법보다는 이미지 처리 기술로 간주됩니다.

이 기술은 더 큰 장면 내에서 더 작은 참조 이미지 또는 템플릿을 찾는 데 사용됩니다. 주요 이미지 위에서 템플릿을 슬라이딩하고 각 위치에서 유사성 점수를 계산하여 두 영역이 얼마나 일치하는지 측정하는 알고리즘을 사용합니다. 가장 높은 점수를 받은 영역이 최적의 매칭으로 간주되며, 이는 객체가 장면에 나타날 가능성이 가장 높은 위치임을 나타냅니다.

그림 3. 템플릿 매칭 사용 사례. (출처)

이 기술은 객체의 스케일, 회전, 조명이 일관될 때 잘 작동하여 통제된 환경이나 기준 비교에 좋은 선택지입니다. 하지만 객체가 템플릿과 다르게 보일 때, 예를 들어 크기가 변하거나, 회전하거나, 부분적으로 가려지거나, 노이즈가 많거나 복잡한 배경에 나타날 경우 성능이 저하됩니다.

Link to this section전통적인 특징 기반 이미지 매칭 기술#

딥러닝이 널리 채택되기 전에는 이미지 매칭은 주로 이미지에서 독특한 키포인트를 감지하는 고전적인 컴퓨터 비전 알고리즘에 의존했습니다. 이러한 방식은 모든 픽셀을 비교하는 대신 이미지 기울기나 강도 변화를 분석하여 눈에 띄는 모서리, 가장자리, 질감 영역을 강조합니다.

각 감지된 키포인트는 디스크립터라고 하는 압축된 수치 요약으로 표현됩니다. 두 이미지를 비교할 때 매처는 이러한 디스크립터를 평가하여 가장 유사한 쌍을 찾습니다.

강한 유사성 점수는 일반적으로 동일한 물리적 지점이 두 이미지 모두에 나타남을 의미합니다. 매처는 특징이 얼마나 일치하는지 판단하기 위해 특정 거리 측정법이나 점수 규칙을 사용하여 전반적인 신뢰도를 높입니다.

다음은 이미지 매칭에 사용되는 몇 가지 주요 고전적인 컴퓨터 비전 알고리즘입니다:

• SIFT (Scale-Invariant Feature Transform): 이 알고리즘은 이미지 강도 그라데이션을 분석하여 키포인트를 식별하며, 이미지가 확대, 축소되거나 회전되어도 인식할 수 있게 합니다.

• SURF (Speeded-Up Robust Features): 이 알고리즘은 SIFT와 유사하지만 속도에 최적화되어 있습니다. 그라데이션 기반 작업의 빠른 근사치를 사용하여 빠른 응답 시간이 필요한 응용 분야에 적합합니다.

• ORB (Oriented FAST and Rotated BRIEF): 이 알고리즘은 FAST와 BRIEF라고 하는 두 가지 알고리즘을 결합합니다. FAST는 이미지에서 모서리와 같은 지점을 빠르게 찾고, BRIEF는 각 지점에 대한 압축된 설명을 생성하여 이미지 간에 매칭될 수 있도록 합니다. ORB는 회전 처리를 추가하여 두 단계를 모두 향상시킴으로써 빠르고 안정적입니다.

그림 4. 두 이미지 사이에서 추출 및 매칭된 SURF 특징점. (출처)

Link to this section딥러닝 기반 이미지 매칭 기술#

특정 규칙에 의존하는 고전적인 방법과 달리, 딥러닝은 대규모 데이터셋(AI 모델이 패턴을 학습하는 시각 데이터 모음)에서 특징을 자동으로 학습합니다. 이러한 모델은 일반적으로 대량의 이미지를 처리하고 복잡한 신경망을 효율적으로 훈련하는 데 필요한 높은 컴퓨팅 성능을 제공하는 GPU에서 실행됩니다.

이를 통해 AI 모델은 조명, 카메라 각도, 가려짐과 같은 실제 환경의 변화를 처리할 수 있는 능력을 갖추게 됩니다. 일부 모델은 모든 단계를 단일 워크플로로 결합하여 까다로운 조건에서도 강력한 성능을 지원합니다.

다음은 이미지 특징 추출 및 매칭을 위한 몇 가지 딥러닝 기반 접근 방식입니다:

• CNN 기반 특징 추출: 이 모델들은 대규모 데이터셋으로부터 핵심 시각 패턴을 자동으로 학습합니다. 변화할 가능성이 낮은 특징을 인식하므로 서로 다른 장면 간의 객체 매칭에 신뢰성을 제공합니다.

• 임베딩 기반 매칭: 이 방법은 픽셀을 직접 비교하는 대신 이미지를 임베딩이라는 압축된 수치 표현으로 변환합니다. 매처는 이러한 임베딩을 비교하여 유사한 시각적 요소를 찾습니다. 얼굴을 인식하고 비교하기 위해 임베딩을 생성하는 FaceNet이나, 이미지 검색 및 시맨틱 매칭과 같은 작업을 위해 이미지와 텍스트를 공유 공간에 매핑하는 CLIP과 같은 모델이 이 접근 방식을 따릅니다.

• 엔드투엔드 매칭 파이프라인: 최첨단 딥러닝 시스템은 종종 키포인트 감지, 설명 및 매칭을 통합된 워크플로로 결합합니다. SuperPoint 및 D2-Net과 같은 모델은 CNN 특징 맵에서 직접 키포인트와 디스크립터를 모두 학습하며, SuperGlue는 전통적인 방법보다 더 안정적으로 이러한 디스크립터를 쌍으로 연결하는 학습된 매처 역할을 합니다. 이 컴포넌트들을 함께 사용하면 고전적인 특징 기반 접근 방식보다 까다로운 조건에서 더 높은 정확도와 강력한 성능을 제공하는 엔드투엔드 파이프라인이 생성됩니다.

• 트랜스포머 기반 매칭: 이 방법은 어텐션 메커니즘을 사용하여 두 이미지의 해당 영역을 연결하며, 이를 통해 시야각, 조명 또는 질감 변화가 심한 경우에도 패치를 정렬할 수 있습니다. LoFTR(Local Feature Transformer)과 같은 모델은 트랜스포머의 글로벌 수용 영역(receptive field) 덕분에 기존 감지기가 실패하는 저질감, 흐릿하거나 반복적인 영역에서 신뢰할 수 있는 매칭을 가능하게 하여 훨씬 더 높은 정확도를 달성합니다. LoFTR은 준밀도(semi-dense)의 고신뢰성 매칭을 생성하며, 실내 및 실외 벤치마크 모두에서 기존 최첨단 방법보다 큰 차이로 앞서 나갑니다.

• 효율성 중심 모델: 최신 이미지 매칭 모델은 더 빠르게 실행되면서 높은 정확도를 제공하는 것을 목표로 합니다. LightGlue와 같은 모델은 컴퓨팅 성능이 제한된 장치에서 효율적으로 실행되면서도 우수한 매칭 품질을 유지하도록 설계되었습니다.

Link to this section이미지 매칭의 실제 적용 사례#

이제 이미지 매칭의 작동 방식을 더 잘 이해했으니, 이미지 매칭이 중요한 역할을 하는 몇 가지 실제 적용 사례를 살펴보겠습니다.

Link to this section이미지 매칭을 통한 더 스마트한 로봇 공학#

로봇은 종종 분주하고 변화하는 환경에서 작동하며, 어떤 객체가 존재하고 어떻게 배치되었는지 이해해야 합니다. 이미지 매칭은 로봇이 저장된 참조 이미지와 비교하여 눈앞의 객체를 이해하도록 도울 수 있습니다. 이를 통해 로봇은 객체를 인식하고, 움직임을 추적하며, 조명이나 카메라 각도가 변하더라도 적응할 수 있습니다.

예를 들어, 창고에서 로봇 픽앤플레이스 시스템은 이미지 매칭을 사용하여 다양한 항목을 식별하고 처리할 수 있습니다. 로봇은 먼저 객체를 잡은 다음, 이미지를 참조 샘플과 비교하여 식별합니다.

그림 5. 로봇이 참조 이미지와 매칭하여 객체를 인식하고 집어 올립니다. (출처)

매칭이 발견되면 로봇은 이를 올바르게 분류하거나 배치하는 방법을 알게 됩니다. 이 접근 방식을 통해 로봇은 전체 시스템을 재훈련할 필요 없이 친숙한 객체와 새로운 객체를 모두 인식할 수 있습니다. 또한 선반 정리, 부품 조립 또는 항목 재배치와 같은 실시간 결정을 더 잘 내릴 수 있도록 돕습니다.

Link to this section더 나은 이미지 매칭으로 3D 재구성 개선하기#

드론 매핑, 가상 현실 및 건물 검사와 같은 분야에서 시스템은 종종 여러 2D 이미지로부터 3D 모델을 재구성해야 합니다. 이를 위해 시스템은 이미지 매칭에 의존하여 여러 이미지에 걸쳐 나타나는 모서리나 질감 영역과 같은 공통 키포인트를 식별합니다.

이러한 공유 포인트는 시스템이 3D 공간에서 이미지들이 어떻게 연관되어 있는지 이해하도록 돕습니다. 이 개념은 다양한 시점에서 캡처된 이미지 간의 키포인트를 식별하고 매칭하여 3D 구조를 구축하는 기술인 SfM(Structure from Motion)과 밀접하게 관련되어 있습니다.

매칭이 정확하지 않으면 결과적인 3D 모델이 왜곡되거나 불완전하게 나타날 수 있습니다. 이러한 이유로 연구자들은 3D 재구성을 위한 이미지 매칭의 신뢰성을 개선하기 위해 노력해 왔으며, 최근의 발전은 유망한 결과를 보여주고 있습니다.

흥미로운 예로, 더 빠르고 강력한 이미지 매칭 알고리즘인 HashMatch가 있습니다. HashMatch는 이미지 세부 정보를 해시 코드라는 압축된 패턴으로 변환하여, 조명이나 시점이 다르더라도 올바른 매칭을 식별하고 이상치를 제거하기 쉽게 만듭니다.

대규모 데이터셋에서 테스트했을 때 HashMatch는 더 깨끗하고 사실적인 3D 재구성 모델을 생성했으며 정렬 오류도 적었습니다. 이로 인해 정밀도가 중요한 드론 매핑, AR 시스템 및 문화 유산 보존과 같은 응용 분야에 특히 유용합니다.

Link to this section증강 현실에서 이미지 매칭의 역할#

증강 현실(AR)에 관해서는 가상 객체를 현실 세계와 정렬된 상태로 유지하는 것이 종종 과제입니다. 실외 환경은 햇빛과 날씨와 같은 환경 조건에 따라 끊임없이 변화할 수 있습니다. 현실 세계의 미묘한 차이는 가상 요소를 불안정하게 보이게 하거나 약간 어긋나 보이게 만들 수 있습니다.

이 문제를 해결하기 위해 AR 시스템은 이미지 매칭을 사용하여 주변 환경을 해석합니다. 라이브 카메라 프레임을 저장된 참조 이미지와 비교함으로써 사용자가 어디에 있는지, 그리고 장면이 어떻게 변했는지 이해할 수 있습니다.

그림 6. 두 이미지 사이에서 매칭된 특징점. (출처: theijes.com)

예를 들어, XR(확장 현실) 안경을 사용한 군사 스타일의 실외 AR 훈련 관련 연구에서 연구자들은 실제 이미지와 참조 이미지 간의 시각적 세부 사항을 매칭하기 위해 SIFT 및 기타 특징 기반 방법을 사용했습니다. 정확한 매칭 덕분에 사용자가 빠르게 움직이거나 조명이 변하더라도 가상 요소가 실제 세계와 올바르게 정렬되었습니다.

Link to this section핵심 요약#

이미지 매칭은 컴퓨터 비전의 핵심 구성 요소로서 시스템이 서로 다른 이미지가 어떻게 연관되어 있는지 또는 시간이 지남에 따라 장면이 어떻게 변하는지 이해할 수 있게 해줍니다. 정밀도와 안정성이 필수적인 로봇 공학, 증강 현실, 3D 재구성, 자율 내비게이션 및 기타 여러 실제 응용 분야에서 중요한 역할을 합니다.

SuperPoint 및 LoFTR과 같은 고급 AI 모델을 통해 오늘날의 시스템은 초기 방법보다 훨씬 더 강력해졌습니다. 머신 러닝 기술, 특수 비전 모듈, 신경망 및 데이터셋이 계속 발전함에 따라 이미지 매칭은 더욱 빠르고 정확하며 적응력이 높아질 것입니다.

성장하는 커뮤니티에 참여하고 핸즈온 AI 리소스를 위해 GitHub 저장소를 살펴보세요. 지금 바로 비전 AI로 개발을 시작하려면 라이선스 옵션을 확인하세요. 당사의 솔루션 페이지를 방문하여 농업 분야의 AI가 어떻게 농업을 변화시키고 있는지, 그리고 헬스케어의 비전 AI가 어떻게 미래를 만들어 가고 있는지 알아보세요.