R-CNN이란 무엇인가? 빠른 개요

객체 탐지(Object detection)는 자율 주행(autonomous driving), 감시(surveillance), 의료 영상(medical imaging)과 같은 분야에서 이미지나 비디오 내 객체를 인식하고 위치를 파악하는 컴퓨터 비전 작업입니다. Viola-Jones 탐지기나 Histogram of Oriented Gradients(HOG)와 Support Vector Machines(SVM)을 결합한 방식과 같은 초기 객체 탐지 방법들은 수작업으로 추출한 특징과 슬라이딩 윈도우에 의존했습니다. 이러한 방법들은 다양한 모양과 크기의 여러 객체가 포함된 복잡한 장면에서 객체를 정확하게 탐지하는 데 어려움을 겪는 경우가 많았습니다.

Region-based Convolutional Neural Networks(R-CNN)는 객체 탐지에 접근하는 방식을 변화시켰습니다. 이는 컴퓨터 비전 역사에서 중요한 이정표입니다. YOLOv8과 같은 모델이 어떻게 등장하게 되었는지 이해하려면, 먼저 R-CNN과 같은 모델을 이해해야 합니다.

Ross Girshick과 그의 팀이 개발한 R-CNN 모델 아키텍처는 영역 제안(region proposal)을 생성하고, 사전 학습된 Convolutional Neural Network(CNN)로 특징을 추출하며, 객체를 분류하고, BBox를 세밀하게 조정합니다. 다소 어렵게 들릴 수 있지만, 이 글을 끝까지 읽으시면 R-CNN의 작동 방식과 그 영향력을 명확하게 이해하실 수 있을 것입니다. 함께 살펴보겠습니다!

Link to this sectionR-CNN은 어떻게 작동하나요?#

R-CNN 모델의 객체 탐지 과정은 영역 제안 생성, 특징 추출, 그리고 객체 분류 및 BBox 세밀 조정이라는 세 가지 주요 단계로 구성됩니다. 각 단계를 차례대로 살펴보겠습니다.

그림 1. R-CNN 작동 방식.

Link to this section영역 제안: R-CNN의 중추#

첫 번째 단계에서 R-CNN 모델은 이미지를 스캔하여 수많은 영역 제안을 생성합니다. 영역 제안은 객체가 포함되어 있을 가능성이 있는 잠재적인 영역입니다. Selective Search와 같은 방법은 색상, 질감, 모양 등 이미지의 다양한 측면을 살펴보고 이를 여러 부분으로 나누는 데 사용됩니다. Selective Search는 이미지를 더 작은 부분으로 나누는 것부터 시작하여 유사한 부분을 병합하여 더 큰 관심 영역을 형성합니다. 이 과정은 약 2,000개의 영역 제안이 생성될 때까지 계속됩니다.

그림 2. Selective Search 작동 방식.

이러한 영역 제안은 객체가 존재할 수 있는 모든 가능한 지점을 식별하는 데 도움이 됩니다. 이어지는 단계에서 모델은 전체 이미지가 아닌 이러한 특정 영역에 집중함으로써 가장 관련성이 높은 영역을 효율적으로 처리할 수 있습니다. 영역 제안을 사용하면 철저함과 계산 효율성 사이의 균형을 맞출 수 있습니다.

Link to this section이미지 특징 추출: 세부 정보 캡처#

R-CNN 모델의 객체 탐지 과정 중 다음 단계는 영역 제안에서 특징을 추출하는 것입니다. 각 영역 제안은 CNN이 예상하는 일관된 크기(예: 224x224 픽셀)로 조정됩니다. 크기 조정은 CNN이 각 제안을 효율적으로 처리하는 데 도움이 됩니다. 워핑(warping) 전에 각 영역 제안의 크기를 약간 확장하여 영역 주변에 16픽셀의 추가 컨텍스트를 포함시킴으로써 더 나은 특징 추출을 위해 주변 정보를 더 많이 제공합니다.

크기가 조정되면 이 영역 제안들은 보통 ImageNet과 같은 대규모 데이터셋에서 사전 학습된 AlexNet과 같은 CNN에 입력됩니다. CNN은 각 영역을 처리하여 가장자리, 질감, 패턴과 같은 중요한 세부 정보를 캡처하는 고차원 특징 벡터를 추출합니다. 이러한 특징 벡터는 영역의 핵심 정보를 압축합니다. 특징 벡터는 원시 이미지 데이터를 모델이 추가 분석에 사용할 수 있는 형식으로 변환합니다. 다음 단계에서 객체를 정확하게 분류하고 위치를 찾는 것은 시각적 정보를 의미 있는 데이터로 변환하는 이 중요한 과정에 달려 있습니다.

그림 3. AlexNet을 사용하여 영역 제안에서 특징 추출.

Link to this section객체 분류: 탐지된 객체 식별#

세 번째 단계는 이러한 영역 내의 객체를 분류하는 것입니다. 이는 제안 내에서 발견된 각 객체의 범주나 클래스를 결정하는 것을 의미합니다. 추출된 특징 벡터는 기계 학습 분류기로 전달됩니다.

R-CNN의 경우, 이를 위해 Support Vector Machines(SVM)가 주로 사용됩니다. 각 SVM은 특징 벡터를 분석하여 특정 영역이 해당 클래스의 인스턴스를 포함하는지 여부를 결정함으로써 특정 객체 클래스를 인식하도록 학습됩니다. 본질적으로, 모든 객체 범주에 대해 해당 특정 객체에 대해 각 영역 제안을 확인하는 전용 분류기가 있습니다.

학습 중에 분류기는 긍정적 샘플과 부정적 샘플이 포함된 라벨링된 데이터를 제공받습니다:

• 긍정적 샘플: 대상 객체를 포함하는 영역.
• 부정적 샘플: 객체가 없는 영역.

분류기는 이러한 샘플을 구별하는 방법을 학습합니다. BBox 회귀는 처음에 제안된 BBox를 실제 객체 경계와 더 잘 일치하도록 조정함으로써 탐지된 객체의 위치와 크기를 추가로 정밀화합니다. R-CNN 모델은 분류와 BBox 회귀를 결합하여 객체를 식별하고 정확하게 위치를 파악할 수 있습니다.

그림 4. BBox 회귀의 예시. (출처: towardsdatascience.com)

Link to this section모두 합치기: NMS를 통한 탐지 정밀화#

분류 및 BBox 회귀 단계 후에 모델은 종종 동일한 객체에 대해 여러 개의 겹치는 BBox를 생성합니다. Non-Maximum Suppression(NMS)이 이러한 탐지 결과를 정밀화하여 가장 정확한 상자를 유지하는 데 적용됩니다. 모델은 NMS를 적용하여 중복되고 겹치는 상자를 제거하고 가장 신뢰도가 높은 탐지 결과만 유지합니다.

NMS는 모든 BBox의 신뢰도 점수(탐지된 객체가 실제로 존재할 가능성을 나타냄)를 평가하고 점수가 더 높은 상자와 상당히 겹치는 상자를 억제하는 방식으로 작동합니다.

그림 5. Non-Maximum Suppression의 예시. (출처: towardsdatascience.com)

다음은 NMS의 단계별 분석입니다:

• 정렬: BBox를 신뢰도 점수에 따라 내림차순으로 정렬합니다.
• 선택: 가장 높은 점수를 가진 상자를 선택하고, (Intersection over Union, IoU 기반으로) 상당히 겹치는 모든 상자를 제거합니다.
• 반복: 이 과정은 다음으로 높은 점수를 가진 상자에 대해 반복되며 모든 상자가 처리될 때까지 계속됩니다.

종합하자면, R-CNN 모델은 영역 제안 생성, CNN을 통한 특징 추출, 객체 분류 및 BBox 회귀를 통한 위치 정밀화, 그리고 가장 정확한 탐지 결과만 유지하는 Non-Maximum Suppression(NMS) 사용을 통해 객체를 탐지합니다.

Link to this sectionR-CNN은 객체 탐지의 이정표입니다#

R-CNN은 정확도와 성능을 크게 향상시킨 새로운 접근 방식을 도입했기 때문에 객체 탐지 역사에서 기념비적인 모델입니다. R-CNN 이전에는 객체 탐지 모델들이 속도와 정밀도 사이의 균형을 맞추는 데 어려움을 겪었습니다. 영역 제안을 생성하고 특징 추출을 위해 CNN을 사용하는 R-CNN의 방법은 이미지 내 객체의 정밀한 위치 파악 및 식별을 가능하게 합니다.

R-CNN은 효율성과 정확도를 더욱 향상시킨 Fast R-CNN, Faster R-CNN, Mask R-CNN과 같은 모델의 기반을 마련했습니다. 딥러닝과 영역 기반 분석을 결합함으로써 R-CNN은 해당 분야의 새로운 표준을 세웠고 다양한 실제 애플리케이션을 위한 가능성을 열었습니다.

Link to this sectionR-CNN으로 의료 영상 혁신하기#

R-CNN의 흥미로운 사용 사례 중 하나는 의료 영상(medical imaging) 분야입니다. R-CNN 모델은 MRI 및 CT 스캔과 같은 의료 스캔에서 뇌종양(brain tumors)과 같은 다양한 유형의 종양을 탐지하고 분류하는 데 사용되었습니다. 의료 영상에 R-CNN 모델을 사용하면 진단 정확도가 향상되고 영상의학과 전문의(radiologists)가 악성 종양을 초기 단계에 식별하는 데 도움이 됩니다. 작고 초기 단계의 종양까지 탐지하는 R-CNN의 능력은 암과 같은 질병의 치료 및 예후에 큰 차이를 만들 수 있습니다.

그림 6. R-CNN을 사용한 뇌종양 탐지.

R-CNN 모델은 종양 탐지 외에도 다른 의료 영상 작업에 적용될 수 있습니다. 예를 들어 골절 식별, 안과 검사에서 망막 질환 탐지, 폐렴 및 COVID-19와 같은 상태에 대한 폐 영상 분석 등을 수행할 수 있습니다. 의료 문제와 관계없이 조기 탐지는 더 나은 환자 결과(better patient outcomes)로 이어질 수 있습니다. 이상 징후를 식별하고 위치를 파악하는 R-CNN의 정밀도를 적용함으로써 의료(healthcare) 제공자는 의료 진단의 신뢰성과 속도를 향상시킬 수 있습니다. 객체 탐지가 진단 과정을 간소화함에 따라 환자들은 적시에 정확한 치료 계획의 혜택을 누릴 수 있습니다.

Link to this sectionR-CNN의 한계와 후속 모델#

인상적이기는 하지만 R-CNN에는 높은 계산 복잡성과 느린 추론 속도와 같은 몇 가지 단점이 있습니다. 이러한 단점으로 인해 R-CNN 모델은 실시간 애플리케이션에 부적합합니다. 영역 제안과 분류를 별도의 단계로 분리하면 효율적인 성능을 내기가 어렵습니다.

수년간 이러한 우려 사항을 해결한 다양한 객체 탐지 모델이 등장했습니다. Fast R-CNN은 영역 제안과 CNN 특징 추출을 단일 단계로 결합하여 프로세스 속도를 높입니다. Faster R-CNN은 제안 생성을 간소화하기 위해 Region Proposal Network(RPN)를 도입했고, Mask R-CNN은 더 세밀한 탐지를 위해 픽셀 수준의 세그멘테이션을 추가했습니다.

그림 7. R-CNN, Fast R-CNN, Faster R-CNN, 그리고 Mask R-CNN 비교.

Faster R-CNN과 거의 동시에 YOLO(You Only Look Once) 시리즈가 실시간 객체 탐지를 발전시키기 시작했습니다. YOLO 모델은 네트워크를 한 번 통과하는 것만으로 BBox와 클래스 확률을 예측합니다. 예를 들어 Ultralytics YOLOv8은 많은 컴퓨터 비전 작업을 위해 향상된 정확도와 속도, 그리고 고급 기능을 제공합니다.

Link to this section핵심 요약#

R-CNN은 컴퓨터 비전 분야의 판도를 바꾸어 놓았으며, 딥러닝이 어떻게 객체 탐지를 변화시킬 수 있는지 보여주었습니다. 그 성공은 이 분야에서 많은 새로운 아이디어에 영감을 주었습니다. Faster R-CNN이나 YOLO와 같은 최신 모델들이 R-CNN의 결함을 수정하기 위해 등장했지만, R-CNN의 기여는 기억해야 할 거대한 이정표입니다.

연구가 계속됨에 따라 더 나은, 그리고 더 빠른 객체 탐지 모델을 보게 될 것입니다. 이러한 발전은 기계가 세상을 이해하는 방식을 개선할 뿐만 아니라 많은 산업 분야에서 발전을 이끌 것입니다. 객체 탐지의 미래는 매우 흥미로워 보입니다!

AI에 대해 더 탐구하고 싶으신가요? Ultralytics 커뮤니티의 일원이 되어보세요! 최신 인공지능 혁신을 확인하려면 GitHub 저장소를 살펴보세요. 농업 및 제조와 같은 다양한 분야에 걸친 당사의 AI 솔루션을 확인해보세요. 함께 배우고 발전해 나갑시다!