비전 AI에서 이미지 매칭이란 무엇인가요? 빠른 소개

자동차의 그림과 사진처럼 같은 물체를 담은 두 이미지를 보면, 사람은 두 이미지의 공통점을 쉽게 알아차릴 수 있습니다. 그러나 기계에게는 그리 간단한 일이 아닙니다.

이러한 비교를 위해 기계는 컴퓨터 비전에 의존합니다. 컴퓨터 비전은 시각 정보를 해석하고 이해하도록 돕는 인공지능 (AI)의 한 분야입니다. 컴퓨터 비전을 사용하면 시스템이 객체를 감지하고, 장면을 이해하며, 이미지나 동영상에서 패턴을 추출할 수 있습니다.

특히 일부 시각 작업은 단일 이미지를 분석하는 것에서 그치지 않습니다. 이미지 간 유사성을 찾고, 차이점을 식별하거나, 시간에 따른 변화를 추적해야 합니다.

비전 AI는 다양한 기술을 아우르며, 그중 이미지 매칭이라고 하는 핵심 기능은 조명, 각도 또는 배경이 달라져도 이미지 간 유사성을 식별하는 데 중점을 둡니다. 이 기술은 로보틱스, 증강 현실, 지오매핑을 비롯한 다양한 애플리케이션에서 활용할 수 있습니다.

이 글에서는 이미지 매칭의 개념과 핵심 기술, 실제 애플리케이션을 살펴봅니다. 시작해 보겠습니다!

이미지 매칭이란 무엇인가요?#

이미지 매칭을 사용하면 컴퓨터 시스템이 두 이미지에 유사한 콘텐츠가 포함되어 있는지 이해할 수 있습니다. 사람은 형태, 색상, 패턴을 알아차려 직관적으로 이를 수행할 수 있습니다.

반면 컴퓨터는 수치 데이터에 의존합니다. 컴퓨터는 디지털 이미지의 가장 작은 단위인 각 픽셀을 분석하여 이미지를 처리합니다.

모든 이미지는 픽셀 그리드로 저장되며, 각 픽셀에는 일반적으로 빨간색, 녹색, 파란색 (RGB)에 대한 값이 포함됩니다. 이미지를 회전하거나 크기를 조정하거나 다른 각도에서 보거나 서로 다른 조명 조건에서 촬영하면 이러한 값이 달라질 수 있습니다. 이러한 변동 때문에 이미지를 픽셀 단위로 비교하는 방식은 신뢰성이 떨어지는 경우가 많습니다.

비교의 일관성을 높이기 위해 이미지 매칭은 이미지가 약간 변해도 안정적으로 유지되는 국소 특징, 즉 모서리, 에지, 텍스처 영역에 초점을 맞춥니다. 여러 이미지에서 이러한 특징 또는 키포인트를 감지하면 시스템은 이를 훨씬 높은 정확도로 비교할 수 있습니다.

이 프로세스는 내비게이션, 위치 추정, 증강 현실, 매핑, 3D 재구성, 비주얼 검색과 같은 다양한 사용 사례에 폭넓게 활용됩니다. 시스템이 서로 다른 이미지나 여러 프레임에서 동일한 지점을 식별하면 움직임을 추적하고, 장면 구조를 이해하며, 동적인 환경에서 신뢰할 수 있는 결정을 내릴 수 있습니다.

그림 1. 유사한 키포인트가 식별된 자동차 이미지 매칭의 예시입니다. (출처)

이미지 매칭의 작동 방식 이해하기#

이미지 매칭에는 이미지 내 유사한 영역을 식별하고 비교하는 데 도움이 되는 몇 가지 핵심 단계가 포함됩니다. 각 단계는 다양한 조건에서 정확성, 일관성, 강건성을 향상합니다.

이미지 매칭의 작동 방식을 단계별로 살펴보겠습니다.

• 특징 검출: 시스템은 먼저 조명, 크기 또는 시점이 변해도 고정된 상태로 유지되는 이미지 내의 독특한 키포인트를 식별합니다. 시각적으로 두드러지는 모서리, 에지 또는 텍스처 영역과 같은 부분을 강조합니다.
• 특징 기술: 그런 다음 각 키포인트를 디스크립터로 변환합니다. 디스크립터는 해당 지점 주변의 시각적 패턴을 포착하는 간결한 수치 벡터입니다. 이러한 디스크립터는 서로 다른 이미지의 특징을 비교할 수 있는 신뢰할 만한 방법을 제공합니다.
• 특징 매칭: 두 이미지의 디스크립터를 매칭 알고리즘으로 비교하여 서로 얼마나 유사한지 계산합니다. 이 단계에서는 서로 대응하는 것으로 보이는 키포인트를 연결하고, 약하거나 신뢰하기 어려운 매칭을 제거합니다.
• 기하학적 검증: 마지막으로 시스템은 매칭된 키포인트가 현실적인 기하학적 관계를 형성하는지 확인합니다. RANSAC (무작위 샘플 합의)이라는 방법을 사용하여 잘못된 매칭(이상치)을 제거하고 신뢰할 수 있는 점 쌍만 유지합니다. 올바른 매칭이 식별되면 시스템은 두 이미지의 관계를 가장 잘 나타내는 변환을 추정합니다. 이는 크기 조정, 회전, 이동과 같은 변화를 보정하는 아핀 변환인 경우가 많으며, 원근 변화까지 처리할 수 있는 호모그래피일 수도 있습니다. 이러한 변환을 사용하면 서로 약간 다른 시점에서 촬영된 경우에도 시스템이 이미지를 정확하게 정렬할 수 있습니다.

그림 2. (a) 특징점 추출 및 (b) 특징 매칭입니다. (출처)

이미지 매칭에 사용되는 핵심 기술#

이미지 매칭의 실제 애플리케이션을 살펴보기 전에, 컴퓨터 비전 시스템에서 사용되는 이미지 매칭 기술을 먼저 자세히 알아보겠습니다.

템플릿 매칭 기반 이미지 매칭#

템플릿 매칭은 가장 간단한 이미지 매칭 방법 중 하나입니다. 직접적인 픽셀 비교에 의존하고 더 심층적인 시각적 특징을 추출하지 않기 때문에 일반적으로 현대적인 컴퓨터 비전 방법보다는 이미지 처리 기술로 간주됩니다.

템플릿 매칭은 더 큰 장면 안에서 더 작은 참조 이미지 또는 템플릿의 위치를 찾는 데 사용됩니다. 알고리즘이 메인 이미지 위로 템플릿을 이동시키면서 각 위치에서 유사도 점수를 계산하여 두 영역이 얼마나 유사한지 측정하는 방식으로 작동합니다. 가장 높은 점수를 받은 영역이 최적의 매칭으로 간주되며, 이는 장면에서 객체가 나타날 가능성이 가장 높은 위치를 나타냅니다.

그림 3. 템플릿 매칭 사용 예시입니다. (출처)

이 기술은 객체의 크기, 회전, 조명이 일관되게 유지될 때 잘 작동하므로 제어된 환경이나 기준선 비교에 적합합니다. 그러나 객체의 크기가 변하거나 회전하거나 일부가 가려지거나 복잡하고 노이즈가 많은 배경에 나타나는 등 템플릿과 다르게 보이면 성능이 저하됩니다.

이미지 매칭을 위한 전통적 특징 기반 기술#

딥러닝이 널리 도입되기 전에는 이미지 매칭이 주로 이미지에서 독특한 키포인트를 감지하는 전통적인 컴퓨터 비전 알고리즘에 의존했습니다. 이러한 방법은 모든 픽셀을 비교하는 대신 이미지 그래디언트, 즉 강도의 변화를 분석하여 두드러지는 모서리, 에지, 텍스처 영역을 강조합니다.

그런 다음 감지된 각 키포인트를 디스크립터라는 간결한 수치 요약으로 표현합니다. 두 이미지를 비교할 때 매처는 이러한 디스크립터를 평가하여 가장 유사한 쌍을 찾습니다.

일반적으로 높은 유사도 점수는 동일한 물리적 지점이 두 이미지에 모두 나타난다는 것을 의미합니다. 또한 매처는 특정 거리 메트릭이나 점수 규칙을 사용하여 특징이 얼마나 잘 정렬되는지 판단하고 전반적인 신뢰성을 높입니다.

다음은 이미지 매칭에 사용되는 주요 전통적 컴퓨터 비전 알고리즘입니다.

• SIFT (크기 불변 특징 변환): 이미지 강도 그래디언트를 분석하여 키포인트를 식별하므로, 이미지의 크기를 확대하거나 축소하거나 회전해도 해당 키포인트를 인식할 수 있습니다.

• SURF (고속 강건 특징): 이 알고리즘은 SIFT와 유사하지만 속도에 최적화되어 있습니다. 그래디언트 기반 연산을 빠르게 근사하여 신속한 응답 시간이 필요한 애플리케이션에 적합합니다.

• ORB (방향 지정 FAST 및 회전 BRIEF): FAST와 BRIEF라는 두 알고리즘을 결합합니다. FAST는 이미지에서 모서리와 유사한 지점을 빠르게 찾고, BRIEF는 각 지점에 대한 간결한 기술을 생성하여 이미지 간 매칭이 가능하도록 합니다. ORB는 회전 처리를 추가하여 두 단계를 모두 개선하므로 빠르고 신뢰성이 높습니다.

그림 4. 두 이미지에서 추출하고 매칭한 SURF 특징점입니다. (출처)

딥러닝 기반 이미지 매칭 기술#

특정 규칙에 의존하는 전통적인 방법과 달리, 딥러닝은 AI 모델이 패턴을 학습하는 시각 데이터 모음인 대규모 데이터셋에서 특징을 자동으로 학습합니다. 이러한 모델은 일반적으로 GPU (그래픽 처리 장치)에서 실행되며, GPU는 대규모 이미지 배치를 처리하고 복잡한 신경망을 효율적으로 학습하는 데 필요한 높은 연산 성능을 제공합니다.

이를 통해 AI 모델은 조명, 카메라 각도, 가림과 같은 실제 환경의 변화를 처리할 수 있습니다. 일부 모델은 모든 단계를 단일 워크플로로 결합하여 까다로운 조건에서도 강건한 성능을 지원합니다.

다음은 이미지 특징 추출 및 매칭을 위한 몇 가지 딥러닝 기반 접근 방식입니다.

• CNN 기반 특징 추출: 이러한 모델은 대규모 데이터셋에서 핵심적인 시각 패턴을 자동으로 학습합니다. 쉽게 변하지 않는 특징을 인식하므로 서로 다른 장면에서 객체를 매칭하는 데 신뢰성이 높습니다.

• 임베딩 기반 매칭: 이 방법은 픽셀을 직접 비교하는 대신 이미지를 임베딩이라고 하는 간결한 수치 표현으로 변환합니다. 그런 다음 매처가 이러한 임베딩을 비교하여 유사한 시각적 대상을 찾습니다. 얼굴을 인식하고 비교하기 위한 임베딩을 생성하는 FaceNet, 이미지와 텍스트를 공통 공간에 매핑하여 이미지 검색 및 의미론적 매칭과 같은 작업을 수행하는 CLIP과 같은 모델이 이 접근 방식을 따릅니다.

• 엔드투엔드 매칭 파이프라인: 최첨단 딥러닝 시스템은 키포인트 검출, 기술, 매칭을 통합 워크플로로 결합하는 경우가 많습니다. SuperPoint와 D2-Net 같은 모델은 CNN 특징 맵에서 키포인트와 디스크립터를 직접 학습하며, SuperGlue는 이러한 디스크립터를 기존 방법보다 안정적으로 연결하는 학습 기반 매처로 작동합니다. 이러한 구성 요소를 함께 사용하면 전통적인 특징 기반 접근 방식보다 까다로운 조건에서 더 높은 정확도와 강건성을 제공하는 엔드투엔드 파이프라인을 구축할 수 있습니다.

• Transformer 기반 매칭: 이 방법은 어텐션 메커니즘을 사용하여 두 이미지에서 대응하는 영역을 연결하므로, 시점, 조명 또는 텍스처가 크게 변해도 패치를 정렬할 수 있습니다. LoFTR (로컬 특징 Transformer)과 같은 모델은 Transformer의 전역 수용 영역 덕분에 기존 검출기가 실패하는 저텍스처, 흐릿하거나 반복적인 영역에서도 안정적으로 매칭할 수 있어 훨씬 높은 정확도를 달성합니다. LoFTR은 반밀집 방식의 고신뢰도 매칭을 생성하며, 실내외 벤치마크 모두에서 기존 최신 기술보다 큰 폭으로 뛰어난 성능을 보입니다.

• 효율성 중심 모델: 최신 이미지 매칭 모델은 더 빠르게 실행되면서도 높은 정확도를 제공하는 것을 목표로 합니다. LightGlue와 같은 모델은 제한된 연산 성능을 가진 장치에서 효율적으로 실행되도록 설계되었으며, 동시에 우수한 매칭 품질을 유지합니다.

이미지 매칭의 실제 애플리케이션#

이제 이미지 매칭의 작동 방식을 더 잘 이해했으므로, 이미지 매칭이 중요한 역할을 하는 실제 애플리케이션을 살펴보겠습니다.

이미지 매칭으로 구현하는 더 스마트한 로보틱스#

로봇은 현재 존재하는 객체와 객체의 배치를 이해해야 하는 복잡하고 변화하는 환경에서 작동하는 경우가 많습니다. 이미지 매칭은 로봇이 관찰한 객체를 저장된 이미지 또는 참조 이미지와 비교하여 이해하도록 도울 수 있습니다. 이를 통해 로봇은 객체를 더 쉽게 인식하고 움직임을 추적하며 조명이나 카메라 각도가 바뀌어도 적응할 수 있습니다.

예를 들어 창고에서 로봇 픽 앤 플레이스 시스템은 이미지 매칭을 사용하여 다양한 물품을 식별하고 처리할 수 있습니다. 로봇은 먼저 객체를 집은 다음 그 이미지를 참조 샘플과 비교하여 객체를 식별합니다.

그림 5. 로봇이 참조 이미지와 매칭하여 객체를 인식하고 집어 올립니다. (출처)

매칭이 완료되면 로봇은 해당 객체를 올바르게 분류하거나 배치하는 방법을 알 수 있습니다. 이 접근 방식을 사용하면 전체 시스템을 재학습하지 않고도 익숙한 객체와 새로운 객체를 모두 인식할 수 있습니다. 또한 선반 정리, 부품 조립, 물품 재배치와 같은 실시간 의사 결정을 더 효과적으로 내릴 수 있습니다.

향상된 이미지 매칭으로 3D 재구성 개선하기#

드론 매핑, 가상 현실, 건물 검사와 같은 분야에서는 여러 2D 이미지로부터 3D 모델을 재구성해야 하는 경우가 많습니다. 이를 위해 여러 이미지에 걸쳐 나타나는 모서리나 텍스처 영역과 같은 공통 키포인트를 식별하는 이미지 매칭에 의존합니다.

이러한 공유 지점을 통해 시스템은 이미지들이 3D 공간에서 서로 어떻게 연관되는지 이해할 수 있습니다. 이 개념은 서로 다른 시점에서 촬영한 이미지 간 키포인트를 식별하고 매칭하여 3D 구조를 구축하는 기술인 Structure from Motion (SfM)과 밀접하게 관련되어 있습니다.

매칭이 정확하지 않으면 결과 3D 모델이 왜곡되거나 불완전하게 보일 수 있습니다. 이러한 이유로 연구자들은 3D 재구성을 위한 이미지 매칭의 신뢰성을 높이기 위해 노력해 왔으며, 최근의 발전에서 유망한 결과가 나타났습니다.

흥미로운 예로 더 빠르고 강건한 이미지 매칭 알고리즘인 HashMatch가 있습니다. HashMatch는 이미지 세부 정보를 해시 코드라는 간결한 패턴으로 변환하므로, 조명이나 시점이 달라져도 올바른 매칭을 쉽게 식별하고 이상치를 제거할 수 있습니다.

대규모 데이터셋에서 테스트했을 때 HashMatch는 정렬 오류가 더 적고 더 깨끗하며 현실적인 3D 재구성 모델을 생성했습니다. 따라서 정밀도가 중요한 드론 매핑, AR 시스템, 문화유산 보존과 같은 애플리케이션에 특히 유용합니다.

증강 현실에서 이미지 매칭의 역할#

증강 현실 (AR)에서는 가상 객체를 현실 세계에 정렬된 상태로 유지하는 일이 어려운 경우가 많습니다. 실외 환경은 햇빛과 날씨 같은 환경 조건에 따라 끊임없이 변할 수 있습니다. 현실 세계의 미세한 차이로 인해 가상 요소가 불안정해 보이거나 약간 어긋나 보일 수 있습니다.

이 문제를 해결하기 위해 AR 시스템은 이미지 매칭을 사용하여 주변 환경을 해석합니다. 실시간 카메라 프레임을 저장된 참조 이미지와 비교하면 사용자의 위치와 장면의 변화 양상을 이해할 수 있습니다.

그림 6. 두 이미지 간에 매칭된 특징점입니다. (출처: theijes.com)

예를 들어 XR (확장 현실) 글래스를 사용한 군사 스타일의 실외 AR 훈련을 다룬 연구에서, 연구자들은 SIFT와 기타 특징 기반 방법을 사용하여 실제 이미지와 참조 이미지 간의 시각적 세부 정보를 매칭했습니다. 정확한 매칭을 통해 사용자가 빠르게 움직이거나 조명이 변하는 경우에도 가상 요소가 현실 세계에 올바르게 정렬된 상태를 유지할 수 있었습니다.

핵심 요점#

이미지 매칭은 컴퓨터 비전의 핵심 구성 요소로, 시스템이 서로 다른 이미지 간의 관계 또는 시간에 따른 장면의 변화를 이해할 수 있도록 합니다. 정밀도와 안정성이 필수적인 로보틱스, 증강 현실, 3D 재구성, 자율 내비게이션 및 기타 여러 실제 애플리케이션에서 중요한 역할을 합니다.

SuperPoint와 LoFTR 같은 고급 AI 모델을 통해 오늘날의 시스템은 이전 방법보다 훨씬 강건해지고 있습니다. 머신러닝 기술, 특화된 비전 모듈, 신경망, 데이터셋이 계속 발전함에 따라 이미지 매칭은 더욱 빠르고 정확하며 적응력 높은 기술이 될 가능성이 큽니다.

성장하는 커뮤니티에 참여하고 GitHub 리포지토리를 살펴보며 실습 중심의 AI 리소스를 확인해 보세요. 지금 비전 AI를 구축하려면 라이선스 옵션을 살펴보세요. 솔루션 페이지를 방문하여 농업 분야의 AI가 농업을 어떻게 혁신하고 있는지, 그리고 헬스케어 분야의 비전 AI가 미래를 어떻게 만들어 가고 있는지 알아보세요.