Vision AI의 이미지 매칭이란 무엇인가요? 간단한 소개

그림과 자동차 사진처럼 같은 물체를 찍은 두 장의 사진을 보면 공통점이 무엇인지 쉽게 알아챌 수 있습니다. 하지만 기계의 경우에는 그렇게 간단하지 않습니다.

이러한 비교를 위해 기계는 시각 정보를 해석하고 이해하는 데 도움을 주는 인공 지능(AI)의 한 분야인 컴퓨터 비전에 의존합니다. 컴퓨터 비전을 통해 시스템은 물체를 detect , 장면을 이해하고, 이미지나 동영상에서 패턴을 추출할 수 있습니다. 

특히 일부 시각적 작업은 단일 이미지를 분석하는 것 이상의 의미를 갖습니다. 이러한 작업에는 이미지를 비교하여 유사점을 찾고, 차이점을 발견하거나, 시간에 따른 변화를 track 작업이 포함됩니다.

비전 AI는 다양한 기술을 포괄하며, 이미지 매칭이라는 한 가지 필수 기능은 조명, 각도 또는 배경이 다른 경우에도 이미지 간의 유사성을 식별하는 데 중점을 둡니다. 이 기술은 로봇 공학, 증강 현실, 지리적 매핑 등 다양한 애플리케이션에서 사용할 수 있습니다. 

이 글에서는 이미지 매칭의 정의와 핵심 기술, 그리고 실제 적용 사례에 대해 살펴봅니다. 시작해 보겠습니다! 

이미지 매칭이란 무엇인가요?

이미지 매칭을 통해 컴퓨터 시스템은 두 이미지에 유사한 콘텐츠가 포함되어 있는지 파악할 수 있습니다. 인간은 모양, 색상, 패턴을 알아차림으로써 직관적으로 이를 수행할 수 있습니다.

반면 컴퓨터는 숫자 데이터에 의존합니다. 컴퓨터는 디지털 이미지의 최소 단위인 각 픽셀을 조사하여 이미지를 분석합니다.

모든 이미지는 픽셀 그리드로 저장되며, 각 픽셀에는 일반적으로 빨강, 녹색, 파랑(RGB) 값이 들어 있습니다. 이러한 값은 이미지를 회전하거나, 크기를 조정하거나, 다른 각도에서 보거나, 다른 조명 조건에서 캡처할 때 변경될 수 있습니다. 이러한 변화로 인해 이미지를 픽셀 단위로 비교하는 것은 신뢰할 수 없는 경우가 많습니다.

이미지 매칭은 이미지가 약간 변경되더라도 안정적으로 유지되는 경향이 있는 국부적인 특징이나 모서리, 가장자리, 질감 영역에 초점을 맞춰 비교를 보다 일관성 있게 만듭니다. 여러 이미지에서 이러한 특징 또는 키포인트를 감지함으로써 시스템은 훨씬 더 정확하게 비교할 수 있습니다.

이 프로세스는 내비게이션, 로컬라이제이션, 증강 현실, 매핑, 3D 재구성, 시각적 검색과 같은 사용 사례에서 널리 사용됩니다. 시스템이 여러 이미지 또는 여러 프레임에서 동일한 지점을 식별하면 움직임을 track 장면 구조를 이해하며 동적인 환경에서 신뢰할 수 있는 의사 결정을 내릴 수 있습니다.

‍

이미지 매칭 작동 방식 이해

이미지 매칭에는 시스템이 이미지 내에서 유사한 영역을 식별하고 비교하는 데 도움이 되는 몇 가지 주요 단계가 포함됩니다. 각 단계는 다양한 조건에서 정확성, 일관성, 견고성을 향상시킵니다.

이미지 매칭이 어떻게 작동하는지 단계별로 살펴보세요:

• 특징 감지: 조명, 배율 또는 시야각이 변경되더라도 이미지에서 고정된 상태를 유지하는 특징적인 키포인트를 먼저 식별합니다. 모서리, 가장자리, 질감이 있는 영역 등 시각적으로 눈에 띄는 부분을 강조 표시합니다.
  
  
• 특징 설명: 각 키포인트는 해당 포인트 주변의 시각적 패턴을 포착하는 간결한 숫자 벡터인 디스크립터로 변환됩니다. 이러한 설명자는 서로 다른 이미지 간의 특징을 비교할 수 있는 신뢰할 수 있는 방법을 제공합니다.
  
  
• 특징 일치: 두 이미지의 설명자가 얼마나 유사한지 계산하는 일치 알고리즘을 사용하여 비교합니다. 이 단계에서는 일치하는 것으로 보이는 키포인트를 쌍으로 묶고 약하거나 신뢰할 수 없는 일치 항목을 필터링합니다.
  
  
• 기하학적 검증: 마지막으로, 시스템은 일치하는 키포인트가 실제 기하학적 관계를 형성하는지 확인합니다. RANSAC(무작위 표본 합의)라는 방법을 사용하여 잘못된 일치(이상값이라고 함)를 제거하여 신뢰할 수 있는 포인트 쌍만 유지되도록 합니다. 일치하는 이미지가 식별되면 시스템은 두 이미지를 가장 잘 연관시키는 변환을 추정합니다. 이 변환은 크기 조정, 회전, 이동과 같은 변화를 조정하는 아핀 변환 또는 원근 변화를 처리할 수 있는 호모그래피인 경우가 많습니다. 이러한 변환을 사용하면 약간 다른 시점에서 캡처한 이미지라도 시스템에서 이미지를 정확하게 정렬할 수 있습니다.

‍

이미지 매칭에 관련된 핵심 기술

이미지 매칭의 실제 적용 사례를 살펴보기 전에 먼저 컴퓨터 비전 시스템에서 사용되는 이미지 매칭 기술에 대해 자세히 살펴보겠습니다.

템플릿 매칭 기반 이미지 매칭

템플릿 매칭은 가장 간단한 이미지 매칭 방법 중 하나입니다. 직접 픽셀 비교에 의존하고 더 깊은 시각적 특징을 추출하지 않기 때문에 일반적으로 최신 컴퓨터 비전 방법이라기보다는 이미지 처리 기술로 간주됩니다.

큰 장면 내에서 작은 참조 이미지 또는 템플릿을 찾는 데 사용됩니다. 기본 이미지에서 템플릿을 슬라이드하고 각 위치에서 유사도 점수를 계산하여 두 영역이 얼마나 일치하는지 측정하는 알고리즘을 사용하여 작동합니다. 가장 높은 점수를 받은 영역이 가장 잘 일치하는 것으로 간주되어 장면에서 개체가 나타날 가능성이 가장 높은 위치를 나타냅니다.

‍

이 기법은 개체의 크기, 회전 및 조명이 일정하게 유지될 때 잘 작동하므로 통제된 환경이나 기준선 비교에 적합합니다. 그러나 개체의 크기가 변경되거나 회전되거나 부분적으로 가려지거나 노이즈가 많거나 복잡한 배경에 나타나는 등 개체가 템플릿과 다르게 보이는 경우 성능이 저하됩니다.

이미지 매칭을 위한 기존의 특징 기반 기법

딥러닝이 널리 채택되기 전에는 이미지 매칭은 대부분 이미지에서 특징적인 키포인트를 감지하는 고전적인 컴퓨터 비전 알고리즘에 의존했습니다. 이러한 방법은 모든 픽셀을 비교하는 대신 이미지 그라데이션 또는 강도의 변화를 분석하여 눈에 띄는 모서리, 가장자리, 질감이 있는 영역을 강조 표시합니다. 

그런 다음 감지된 각 키포인트는 설명자라고 하는 간결한 숫자 요약을 사용하여 표현됩니다. 두 이미지를 비교할 때 매처는 이러한 디스크립터를 평가하여 가장 유사한 쌍을 찾습니다. 

유사성 점수가 높다는 것은 일반적으로 두 이미지에 동일한 물리적 지점이 나타난다는 것을 의미합니다. 또한 매처는 특정 거리 메트릭 또는 점수 규칙을 사용하여 특징이 얼마나 가깝게 정렬되는지 판단하여 전반적인 신뢰도를 향상시킵니다.

다음은 이미지 매칭에 사용되는 주요 고전적인 컴퓨터 비전 알고리즘입니다:

• SIFT(스케일 불변 특징 변환): 이미지 강도의 기울기를 분석하여 키포인트를 식별하여 이미지가 확대, 축소 또는 회전해도 인식 가능한 상태를 유지할 수 있도록 합니다.
  
  
• SURF(속도 향상 강력 기능): 이 알고리즘은 SIFT와 유사하지만 속도에 최적화되어 있습니다. 그래디언트 기반 연산의 빠른 근사치를 사용하므로 빠른 응답 시간이 필요한 애플리케이션에 적합합니다.

• ORB(오리엔티드 패스트 및 로테이션 브리프): FAST와 BRIEF라는 두 가지 알고리즘을 결합한 것입니다. FAST는 이미지에서 모서리와 같은 점을 빠르게 찾고, BRI는 각 점에 대한 간략한 설명을 생성하여 이미지 전체에서 일치시킬 수 있도록 합니다. ORB는 또한 회전 처리를 추가하여 두 단계를 모두 향상시켜 빠르고 안정적으로 만듭니다.

‍

이미지 매칭을 위한 딥러닝 기반 기술

특정 규칙에 의존하는 기존 방법과 달리 딥러닝은 AI 모델이 패턴을 학습하는 시각 데이터 모음인 대규모 데이터 세트에서 자동으로 특징을 학습합니다. 이러한 모델은 일반적으로 대량의 이미지를 처리하고 복잡한 신경망을 효율적으로 훈련하는 데 필요한 높은 연산 능력을 제공하는 GPU(그래픽 처리 장치)에서 실행됩니다.

이를 통해 AI 모델은 조명, 카메라 각도, 오클루전 등 실제 환경의 변화를 처리할 수 있습니다. 또한 일부 모델은 모든 단계를 단일 워크플로로 결합하여 까다로운 조건에서도 강력한 성능을 지원합니다.

다음은 이미지 특징 추출 및 매칭을 위한 몇 가지 딥러닝 기반 접근 방식입니다:

• CNN 기반 특징 추출: 이 모델은 대규모 데이터 세트에서 주요 시각적 패턴을 자동으로 학습합니다. 변경될 가능성이 거의 없는 특징을 인식하므로 여러 장면에서 객체를 일치시키는 데 안정적입니다.
  ‍
• 임베딩 기반 매칭: 이 방법은 픽셀을 직접 비교하는 대신 이미지를 임베딩이라고 하는 간결한 수치 표현으로 변환합니다. 그런 다음 매처는 이러한 임베딩을 비교하여 유사한 비주얼을 찾습니다. 얼굴을 인식하고 비교하기 위해 임베딩을 생성하는 FaceNet과 이미지 검색 및 시맨틱 매칭과 같은 작업을 위해 이미지와 텍스트를 공유 공간에 매핑하는 CLIP과 같은 모델이 이 접근 방식을 따릅니다.

• 엔드투엔드 매칭 파이프라인: 최첨단 딥러닝 시스템은 키포인트 감지, 설명, 매칭을 통합된 워크플로우로 결합하는 경우가 많습니다. SuperPoint 및 D2-Net과 같은 모델은 CNN 피처 맵에서 직접 키포인트와 설명자를 모두 학습하며, SuperGlue는 이러한 설명자를 기존 방식보다 더 안정적으로 페어링하는 학습된 일치자 역할을 합니다. 이러한 구성 요소를 함께 사용하면 기존의 특징 기반 접근 방식보다 까다로운 조건에서 더 높은 정확도와 견고성을 제공하는 엔드투엔드 파이프라인을 만들 수 있습니다.
  ‍
• 트랜스포머 기반 매칭: 이 방법은 주의 메커니즘을 사용하여 두 이미지의 해당 영역을 연결하므로 시점, 조명 또는 텍스처가 크게 변하는 상황에서도 패치를 정렬할 수 있습니다. LoFTR(로컬 피처 트랜스포머)과 같은 모델은 트랜스포머의 글로벌 수신 필드가 기존 감지기가 실패하는 저질감, 흐릿함 또는 반복적인 영역에서 안정적인 매칭을 가능하게 하기 때문에 훨씬 더 높은 정확도를 달성합니다. LoFTR은 실내 및 실외 벤치마크 모두에서 반밀도, 고신뢰 매칭을 생성하며 이전의 최첨단 방법보다 큰 차이로 뛰어난 성능을 발휘합니다.
  ‍
• 효율성 중심 모델: 최신 이미지 매칭 모델은 더 빠르게 실행하면서 높은 정확도를 제공하는 것을 목표로 합니다. LightGlue와 같은 모델은 컴퓨팅 성능이 제한된 디바이스에서 효율적으로 실행하면서도 우수한 매칭 품질을 유지하도록 설계되었습니다.

이미지 매칭의 실제 적용 사례

이제 이미지 매칭이 어떻게 작동하는지 더 잘 이해했으니, 이미지 매칭이 중요한 역할을 하는 실제 애플리케이션을 살펴보겠습니다.

이미지 매칭으로 더욱 스마트해진 로봇 공학

로봇은 종종 바쁘고 변화무쌍한 환경에서 작동하기 때문에 어떤 물체가 있고 어떻게 배치되어 있는지 이해해야 합니다. 이미지 매칭은 로봇이 보이는 물체를 저장된 이미지 또는 참조 이미지와 비교하여 이해하는 데 도움이 될 수 있습니다. 이를 통해 로봇은 사물을 더 쉽게 인식하고, 움직임을 track , 조명이나 카메라 각도가 바뀌어도 적응할 수 있습니다.

예를 들어 창고에서 로봇 픽 앤 플레이스 시스템은 이미지 매칭을 사용하여 다양한 물품을 식별하고 처리할 수 있습니다. 로봇은 먼저 물체를 잡은 다음 이미지를 참조 샘플과 비교하여 물체를 식별합니다. 

‍

일치하는 항목을 찾으면 로봇은 이를 올바르게 분류하거나 배치하는 방법을 알게 됩니다. 이러한 접근 방식을 통해 로봇은 전체 시스템을 재학습하지 않고도 익숙한 물체와 새로운 물체를 모두 인식할 수 있습니다. 또한 선반 정리, 부품 조립, 물품 재배치 등 더 나은 실시간 의사 결정을 내리는 데 도움이 됩니다. 

더 나은 이미지 매칭으로 3D 재구성 개선

드론 매핑, 가상 현실, 건물 검사와 같은 분야에서는 여러 2D 이미지에서 3D 모델을 재구성해야 하는 경우가 많습니다. 이를 위해 여러 이미지에 걸쳐 나타나는 모서리나 질감이 있는 영역과 같은 공통 키포인트를 식별하기 위해 이미지 매칭에 의존합니다. 

이러한 공유 포인트는 시스템이 3D 공간에서 이미지가 서로 어떻게 연관되어 있는지 이해하는 데 도움이 됩니다. 이 아이디어는 서로 다른 시점에서 캡처한 이미지에서 키포인트를 식별하고 일치시켜 3D 구조를 구축하는 기술인 SfM(Structure from Motion)과 밀접한 관련이 있습니다.

매칭이 정확하지 않으면 결과물인 3D 모델이 왜곡되거나 불완전하게 보일 수 있습니다. 이러한 이유로 연구자들은 3D 재구성을 위한 이미지 매칭의 신뢰성을 개선하기 위해 노력해 왔으며, 최근의 발전은 유망한 결과를 보여주고 있습니다.

한 가지 흥미로운 예는 더 빠르고 강력한 이미지 매칭 알고리즘인 해시매치입니다. 해시매치는 이미지 세부 정보를 해시코드라는 간결한 패턴으로 변환하여 조명이나 시점이 달라져도 정확한 일치 항목을 쉽게 식별하고 이상값을 제거할 수 있습니다.

대규모 데이터 세트에 대한 테스트 결과, 해시매치는 정렬 오류가 적고 더 깨끗하고 사실적인 3D 재구성 모델을 생성했습니다. 따라서 정밀도가 중요한 드론 매핑, AR 시스템, 문화유산 보존과 같은 분야에 특히 유용합니다.

증강 현실에서 이미지 매칭의 역할

증강 현실(AR)의 경우 가상 객체를 현실 세계와 일치시키는 것이 어려운 경우가 많습니다. 실외 환경은 햇빛이나 날씨와 같은 환경 조건에 따라 수시로 변할 수 있습니다. 현실 세계의 미묘한 차이로 인해 가상 요소가 불안정하거나 약간 어긋나게 보일 수 있습니다.

이 문제를 해결하기 위해 AR 시스템은 이미지 매칭을 사용하여 주변 환경을 해석합니다. 실시간 카메라 프레임을 저장된 참조 이미지와 비교하여 사용자가 어디에 있는지, 장면이 어떻게 변했는지 파악할 수 있습니다.

‍

예를 들어, XR(확장 현실) 글래스를 사용한 군사 스타일의 야외 AR 훈련과 관련된 연구에서 연구원들은 SIFT 및 기타 특징 기반 방법을 사용하여 실제 이미지와 참조 이미지 간의 시각적 디테일을 일치시켰습니다. 정확한 매칭을 통해 사용자가 빠르게 움직이거나 조명이 바뀌어도 가상 요소가 현실 세계와 정확하게 정렬되었습니다.

주요 내용

이미지 매칭은 컴퓨터 비전의 핵심 구성 요소로, 시스템이 서로 다른 이미지가 서로 어떻게 관련되어 있는지 또는 시간이 지남에 따라 장면이 어떻게 변화하는지 이해할 수 있게 해줍니다. 이는 로봇 공학, 증강 현실, 3D 재구성, 자율 주행 및 정밀도와 안정성이 필수적인 기타 많은 실제 애플리케이션에서 중요한 역할을 합니다.

SuperPoint 및 LoFTR과 같은 고급 AI 모델을 통해 오늘날의 시스템은 이전 방식보다 훨씬 더 강력해지고 있습니다. 머신 러닝 기술, 특수 비전 모듈, 신경망, 데이터 세트가 계속 발전함에 따라 이미지 매칭은 더욱 빠르고 정확하며 적응력이 높아질 것입니다.

성장하는 커뮤니티에 가입하고 GitHub 리포지토리에서 실습용 AI 리소스를 살펴보세요. 지금 바로 Vision AI로 구축하려면 라이선스 옵션을 살펴보세요. 솔루션 페이지를 방문하여 농업 분야의 AI가 농업을 어떻게 변화시키고 있는지, 의료 분야의 Vision AI가 미래를 어떻게 만들어가고 있는지 알아보세요.