비전 AI의 이미지 매칭이란 무엇인가요? 간단한 소개

자동차 그림과 사진처럼 같은 사물을 담은 두 이미지를 보면 공통점을 쉽게 알아차릴 수 있습니다. 그러나 기계에게는 이 과정이 그리 간단하지 않습니다.

이러한 비교를 위해 기계는 시각 정보를 해석하고 이해하도록 돕는 인공지능(AI)의 한 분야인 컴퓨터 비전에 의존합니다. 컴퓨터 비전을 통해 시스템은 객체를 감지하고 장면을 이해하며 이미지나 동영상에서 패턴을 추출할 수 있습니다.

특히 일부 시각 작업은 단일 이미지 분석을 넘어섭니다. 이러한 작업에서는 유사점을 찾고 차이점을 발견하거나 시간에 따른 변화를 추적하기 위해 이미지를 서로 비교합니다.

Vision AI는 폭넓은 기법을 아우르며, 이미지 매칭이라고 하는 핵심 기능은 조명, 각도, 배경이 달라도 이미지 간 유사성을 식별하는 데 중점을 둡니다. 이 기법은 로보틱스, 증강 현실, 지리 매핑 등 다양한 분야에서 활용될 수 있습니다.

이 글에서는 이미지 매칭이 무엇인지, 핵심 기법은 무엇인지, 실제 애플리케이션에는 어떤 사례가 있는지 살펴보겠습니다.

이미지 매칭이란 무엇인가요?#

이미지 매칭을 사용하면 컴퓨터 시스템이 두 이미지에 유사한 콘텐츠가 포함되어 있는지 파악할 수 있습니다. 사람은 모양, 색상, 패턴을 알아차리는 방식으로 직관적으로 이를 수행할 수 있습니다.

반면 컴퓨터는 수치 데이터에 의존합니다. 컴퓨터는 디지털 이미지의 가장 작은 단위인 각 픽셀을 살펴보며 이미지를 분석합니다.

모든 이미지는 픽셀 그리드로 저장되며, 각 픽셀에는 일반적으로 빨강, 초록, 파랑(RGB) 값이 포함됩니다. 이미지를 회전하거나 크기를 조정하거나 다른 각도에서 보거나 조명이 다른 환경에서 촬영하면 이러한 값이 달라질 수 있습니다. 이런 변동 때문에 픽셀 단위로 이미지를 비교하는 방식은 신뢰하기 어려운 경우가 많습니다.

비교의 일관성을 높이기 위해 이미지 매칭은 이미지가 조금 바뀌어도 안정적으로 유지되는 모서리, 가장자리, 질감이 있는 영역과 같은 로컬 특징에 중점을 둡니다. 여러 이미지에서 이러한 특징, 즉 키포인트를 감지하면 시스템이 훨씬 높은 정확도로 비교할 수 있습니다.

이 과정은 내비게이션, 위치 추정, 증강 현실, 매핑, 3D 재구성, 시각 검색과 같은 활용 사례에서 널리 사용됩니다. 시스템이 서로 다른 이미지나 여러 프레임에서 동일한 지점을 식별하면 움직임을 추적하고 장면 구조를 파악하며 동적인 환경에서 신뢰할 수 있는 결정을 내릴 수 있습니다.

그림 1. 유사한 키포인트를 식별한 자동차 이미지 매칭의 예. (출처)

이미지 매칭 작동 방식 이해하기#

이미지 매칭은 시스템이 이미지 내의 유사한 영역을 식별하고 비교하도록 돕는 몇 가지 핵심 단계를 거칩니다. 각 단계는 다양한 조건에서 정확도, 일관성, 견고성을 높입니다.

이미지 매칭의 작동 방식을 단계별로 살펴보겠습니다.

• 특징 감지: 시스템은 먼저 조명, 크기, 시야각이 달라져도 식별할 수 있는 이미지의 독특한 키포인트를 찾습니다. 이러한 키포인트는 시각적으로 두드러지는 모서리, 가장자리, 질감이 있는 영역과 같은 위치를 나타냅니다.
• 특징 기술: 그런 다음 각 키포인트를 디스크립터로 변환합니다. 디스크립터는 해당 지점 주변의 시각적 패턴을 담은 간결한 수치 벡터입니다. 이러한 디스크립터는 서로 다른 이미지에서 특징을 신뢰성 있게 비교하는 방법을 제공합니다.
• 특징 매칭: 두 이미지의 디스크립터를 유사도를 계산하는 매칭 알고리즘으로 비교합니다. 이 단계에서는 서로 대응하는 것으로 보이는 키포인트를 짝짓고 품질이 낮거나 신뢰할 수 없는 매칭을 걸러냅니다.
• 기하학적 검증: 마지막으로 시스템은 매칭된 키포인트가 현실적인 기하학적 관계를 이루는지 확인합니다. RANSAC(무작위 표본 합의)이라는 방법을 사용해 잘못된 매칭(이상치)을 제거하고 신뢰할 수 있는 점 쌍만 남깁니다. 올바른 매칭을 식별하면 시스템은 두 이미지의 관계를 가장 잘 나타내는 변환을 추정합니다. 이 변환은 크기 조정, 회전, 이동과 같은 변화를 보정하는 아핀 변환인 경우가 많으며, 원근 변화까지 처리할 수 있는 호모그래피일 수도 있습니다. 이러한 변환을 사용하면 시점이 약간 다른 곳에서 촬영된 이미지도 정확하게 정렬할 수 있습니다.

그림 2. (a) 특징점 추출 및 (b) 특징점 매칭. (출처)

이미지 매칭에 사용되는 핵심 기법#

이미지 매칭의 실제 응용 사례를 살펴보기 전에, 컴퓨터 비전 시스템에서 사용하는 이미지 매칭 기법을 먼저 자세히 알아보겠습니다.

템플릿 매칭 기반 이미지 매칭#

템플릿 매칭은 가장 간단한 이미지 매칭 방법 중 하나입니다. 픽셀을 직접 비교하고 더 깊은 시각적 특징을 추출하지 않기 때문에, 일반적으로 현대 컴퓨터 비전 방법이라기보다 이미지 처리 기법으로 간주됩니다.

이 방법은 더 큰 장면 안에서 작은 참조 이미지, 즉 템플릿의 위치를 찾는 데 사용됩니다. 템플릿을 기본 이미지 위에서 이동시키면서 각 위치의 유사도 점수를 계산해 두 영역이 얼마나 비슷한지 측정하는 알고리즘으로 작동합니다. 점수가 가장 높은 영역을 최적의 매칭으로 간주하며, 이는 해당 장면에서 객체가 나타날 가능성이 가장 높은 위치를 알려줍니다.

그림 3. 템플릿 매칭 활용 살펴보기. (출처)

객체의 크기, 회전, 조명 상태가 일관되게 유지될 때 효과적으로 작동하므로 통제된 환경이나 기준선 비교에 적합합니다. 그러나 객체의 크기가 바뀌거나, 회전하거나, 부분적으로 가려지거나, 노이즈가 많거나 복잡한 배경에 나타나는 등 템플릿과 다르게 보이면 성능이 저하됩니다.

이미지 매칭을 위한 고전적인 특징 기반 기법#

딥러닝이 널리 도입되기 전에는 이미지 매칭에 주로 이미지에서 두드러진 키포인트를 검출하는 고전적인 컴퓨터 비전 알고리즘을 사용했습니다. 모든 픽셀을 비교하는 대신, 이러한 방법은 이미지의 그래디언트, 즉 명암 변화를 분석해 눈에 띄는 모서리, 경계, 질감 영역을 강조합니다.

검출된 각 키포인트는 디스크립터라고 하는 간결한 수치 요약으로 표현됩니다. 두 이미지를 비교할 때 매처는 디스크립터를 평가해 가장 유사한 쌍을 찾습니다.

유사도 점수가 높으면 일반적으로 두 이미지에 동일한 실제 지점이 나타난다는 뜻입니다. 매처는 특정 거리 지표나 점수 산정 규칙을 사용해 특징이 얼마나 잘 정렬되는지 판단하고, 전반적인 신뢰도를 높입니다.

다음은 이미지 매칭에 사용되는 주요 고전 컴퓨터 비전 알고리즘입니다.

• SIFT (크기 불변 특징 변환): 이미지의 명암 그래디언트를 분석해 키포인트를 식별하므로 이미지를 확대하거나 축소하거나 회전해도 키포인트를 알아볼 수 있습니다.
• SURF (속도 향상 강인 특징): SIFT와 유사하지만 속도에 최적화된 알고리즘입니다. 그래디언트 기반 연산을 빠르게 근사해 응답 시간이 짧아야 하는 애플리케이션에 적합합니다.
• ORB (방향 FAST 및 회전 BRIEF): FAST와 BRIEF라는 두 알고리즘을 결합합니다. FAST는 이미지에서 모서리와 유사한 지점을 빠르게 찾고, BRIEF는 이미지 간에 매칭할 수 있도록 각 지점을 간결하게 표현합니다. ORB는 회전 처리를 추가해 두 단계를 개선하므로 빠르고 안정적입니다.

그림 4. 두 이미지에서 추출하고 매칭한 SURF 특징점. (출처)

딥러닝 기반 이미지 매칭 기법#

특정 규칙에 의존하는 고전적인 방법과 달리 딥러닝은 AI 모델이 패턴을 학습하는 시각 데이터 모음인 대규모 데이터셋에서 특징을 자동으로 학습합니다. 이러한 모델은 일반적으로 GPU(그래픽 처리 장치)에서 실행되며, GPU는 대량의 이미지를 처리하고 복잡한 신경망을 효율적으로 학습하는 데 필요한 높은 연산 성능을 제공합니다.

이를 통해 AI 모델은 조명, 카메라 각도, 가림 현상 등 실제 환경의 변화를 처리할 수 있습니다. 일부 모델은 모든 단계를 단일 워크플로에 결합해 까다로운 조건에서도 안정적인 성능을 지원합니다.

이미지 특징 추출과 매칭을 위한 딥러닝 기반 접근 방식은 다음과 같습니다.

• CNN 기반 특징 추출: 이 모델은 대규모 데이터셋에서 주요 시각 패턴을 자동으로 학습합니다. 변할 가능성이 낮은 특징을 인식하므로 서로 다른 장면에 있는 객체를 안정적으로 매칭할 수 있습니다.
• 임베딩 기반 매칭: 이 방법은 픽셀을 직접 비교하는 대신 이미지를 임베딩이라고 하는 간결한 수치 표현으로 변환합니다. 그런 다음 매처가 이러한 임베딩을 비교해 유사한 시각 요소를 찾습니다. 얼굴을 인식하고 비교하기 위해 임베딩을 생성하는 FaceNet과 이미지 검색 및 의미 기반 매칭과 같은 작업을 위해 이미지와 텍스트를 공통 공간에 매핑하는 CLIP과 같은 모델이 이 방식을 따릅니다.
• 엔드투엔드 매칭 파이프라인: 최신 딥러닝 시스템은 키포인트 감지, 기술, 매칭을 통합된 워크플로로 결합하는 경우가 많습니다. SuperPoint와 D2-Net과 같은 모델은 CNN 특징 맵에서 키포인트와 디스크립터를 모두 직접 학습하며, SuperGlue는 학습된 매처로서 기존 방법보다 더 안정적으로 디스크립터를 짝지어 줍니다. 이 구성 요소들을 결합하면 기존 특징 기반 접근 방식보다 까다로운 조건에서 더 높은 정확도와 강건성을 제공하는 엔드투엔드 파이프라인이 만들어집니다.
• Transformer 기반 매칭: 이 방법은 어텐션 메커니즘을 사용해 두 이미지의 대응 영역을 연결하므로 시점, 조명, 질감이 크게 달라져도 패치를 정렬할 수 있습니다. LoFTR(Local Feature Transformer)과 같은 모델은 Transformer의 전역 수용 영역 덕분에 기존 검출기가 실패하는 낮은 질감, 흐릿함, 반복 패턴이 있는 영역에서도 안정적으로 매칭하므로 훨씬 높은 정확도를 달성합니다. LoFTR은 높은 신뢰도의 준밀집 매칭을 생성하며 실내외 벤치마크 모두에서 기존 최고 성능 방법을 큰 폭으로 능가합니다.
• 효율성에 중점을 둔 모델: 최신 이미지 매칭 모델은 더 빠르게 실행하면서도 높은 정확도를 제공하는 것을 목표로 합니다. LightGlue와 같은 모델은 매칭 품질을 유지하면서 연산 성능이 제한된 기기에서도 효율적으로 실행되도록 설계되었습니다.

이미지 매칭의 실제 응용 사례#

이미지 매칭의 작동 방식을 살펴보았으니, 이미지 매칭이 중요한 역할을 하는 실제 응용 사례를 알아보겠습니다.

이미지 매칭으로 더 똑똑해지는 로봇#

로봇은 어떤 객체가 있고 어떻게 배치되어 있는지 파악해야 하는 복잡하고 변화가 많은 환경에서 작동하는 경우가 많습니다. 이미지 매칭은 로봇이 인식한 객체를 저장된 이미지나 참조 이미지와 비교해 객체를 파악하도록 도울 수 있습니다. 이를 통해 로봇은 객체를 더 쉽게 인식하고 움직임을 추적하며 조명이나 카메라 각도가 바뀌어도 대응할 수 있습니다.

예를 들어 창고에서는 로봇 픽앤플레이스 시스템이 이미지 매칭을 사용해 다양한 물품을 식별하고 처리할 수 있습니다. 로봇은 먼저 물체를 집은 다음, 물체의 이미지를 참조 샘플과 비교해 식별합니다.

그림 5. 참조 이미지와 매칭해 객체를 인식하고 집어 드는 로봇. (출처)

매칭이 완료되면 로봇은 해당 물체를 올바르게 분류하거나 배치하는 방법을 알 수 있습니다. 이 접근 방식을 사용하면 전체 시스템을 다시 학습하지 않고도 로봇이 익숙한 객체와 새로운 객체를 모두 인식할 수 있습니다. 또한 선반 정리, 부품 조립, 물품 재배치와 같은 실시간 의사 결정을 개선하는 데도 도움이 됩니다.

더 나은 이미지 매칭으로 3D 재구성 개선#

드론 매핑, 가상 현실, 건물 검사와 같은 분야에서는 여러 2D 이미지로부터 3D 모델을 재구성해야 하는 경우가 많습니다. 이를 위해 여러 이미지에 나타나는 모서리나 질감 영역과 같은 공통 키포인트를 이미지 매칭으로 식별합니다.

이러한 공통 지점은 시스템이 3D 공간에서 이미지 간의 관계를 파악하는 데 도움이 됩니다. 이는 서로 다른 시점에서 촬영한 이미지에서 키포인트를 식별하고 매칭해 3D 구조를 만드는 기법인 Structure from Motion(SfM)과 밀접한 관련이 있습니다.

매칭이 정확하지 않으면 결과 3D 모델이 왜곡되거나 불완전해질 수 있습니다. 이에 연구자들은 3D 재구성을 위한 이미지 매칭의 신뢰성을 높이는 데 힘쓰고 있으며, 최근의 발전은 유망한 결과를 보여주고 있습니다.

흥미로운 사례로 더 빠르고 강건한 이미지 매칭 알고리즘인 HashMatch가 있습니다. HashMatch는 이미지 세부 정보를 해시 코드라는 간결한 패턴으로 변환하므로 조명이나 시점이 달라져도 올바른 매칭을 쉽게 식별하고 이상치를 제거할 수 있습니다.

대규모 데이터셋에서 테스트한 결과, HashMatch는 정렬 오류가 적고 더 깔끔하고 사실적인 3D 재구성 모델을 생성했습니다. 따라서 정밀도가 중요한 드론 매핑, AR 시스템, 문화유산 보존과 같은 애플리케이션에 특히 유용합니다.

증강 현실에서 이미지 매칭의 역할#

증강 현실(AR)에서는 가상 객체를 현실 세계에 정렬된 상태로 유지하는 일이 어려운 경우가 많습니다. 야외 환경은 햇빛이나 날씨와 같은 환경 조건에 따라 계속 달라질 수 있습니다. 현실 세계의 미세한 차이만으로도 가상 요소가 불안정하거나 약간 어긋나 보일 수 있습니다.

이 문제를 해결하기 위해 AR 시스템은 이미지 매칭으로 주변 환경을 해석합니다. 실시간 카메라 프레임을 저장된 참조 이미지와 비교해 사용자의 위치와 장면의 변화 여부를 파악할 수 있습니다.

그림 6. 두 이미지 간에 매칭된 특징점. (출처: theijes.com)

예를 들어 군사 훈련 방식의 야외 AR 훈련과 XR(확장 현실) 안경을 다룬 연구에서 연구자들은 SIFT와 다른 특징 기반 방법을 사용해 실제 이미지와 참조 이미지 간의 시각적 세부 정보를 매칭했습니다. 정확한 매칭 덕분에 사용자가 빠르게 움직이거나 조명이 바뀌어도 가상 요소를 현실 세계에 올바르게 정렬할 수 있었습니다.

핵심 요점#

이미지 매칭은 컴퓨터 비전의 핵심 구성 요소로, 시스템이 서로 다른 이미지 간의 관계나 시간에 따른 장면의 변화를 이해하도록 합니다. 정밀도와 안정성이 필수적인 로봇 공학, 증강 현실, 3D 재구성, 자율 항법을 비롯한 다양한 실제 응용 분야에서 중요한 역할을 합니다.

SuperPoint와 LoFTR 같은 고급 AI 모델을 통해 오늘날의 시스템은 이전 방법보다 훨씬 강건해지고 있습니다. 머신러닝 기법, 특수 비전 모듈, 신경망, 데이터셋이 계속 발전함에 따라 이미지 매칭은 더 빠르고 정확하며 적응력 높은 기술로 발전할 가능성이 큽니다.

성장하는 커뮤니티에 참여하고 실습용 AI 리소스를 확인하려면 GitHub 저장소를 살펴보세요. 지금 비전 AI를 활용해 개발하려면 라이선스 옵션을 확인하세요. 솔루션 페이지에서 농업 분야의 AI가 농업을 어떻게 변화시키고 있으며 헬스케어 분야의 Vision AI가 미래를 어떻게 바꾸고 있는지 알아보세요.