R-CNN이란 무엇인가요? 간단한 개요

객체 감지는 자율 주행, 감시, 의료 영상과 같은 애플리케이션을 위해 이미지나 비디오에서 객체를 인식하고 위치를 파악하는 컴퓨터 비전 작업입니다. Viola-Jones 감지기와 방향성 기울기 히스토그램(HOG) 및 서포트 벡터 머신(SVM)과 같은 초기 객체 감지 방법은 수작업으로 설계한 특징과 슬라이딩 윈도에 의존했습니다. 이러한 방법은 모양과 크기가 다양한 여러 객체가 있는 복잡한 장면에서 객체를 정확하게 감지하는 데 어려움을 겪는 경우가 많았습니다.

영역 기반 합성곱 신경망(R-CNN)은 객체 감지 접근 방식을 바꿨습니다. 이는 컴퓨터 비전 역사에서 중요한 이정표입니다. Ultralytics YOLOv8과 같은 모델이 어떻게 등장했는지 이해하려면 먼저 R-CNN과 같은 모델을 알아야 합니다.

Ross Girshick과 그의 팀이 개발한 R-CNN 모델 아키텍처는 영역 제안을 생성하고, 사전 학습된 합성곱 신경망(CNN)으로 특징을 추출하며, 객체를 분류하고, 바운딩 박스를 정교화합니다. 복잡해 보일 수 있지만, 이 글을 읽고 나면 R-CNN의 작동 방식과 영향력이 큰 이유를 명확하게 이해할 수 있습니다.

R-CNN은 어떻게 작동하나요?#

R-CNN 모델의 객체 탐지 과정은 영역 제안 영역 생성, 특징 추출, 바운딩 박스 보정과 함께 객체 분류라는 세 가지 주요 단계로 이루어집니다. 각 단계를 살펴보겠습니다.

그림 1. R-CNN 작동 방식.

영역 제안: R-CNN의 핵심#

첫 번째 단계에서 R-CNN 모델은 이미지를 스캔하여 다수의 영역 제안 영역을 생성합니다. 영역 제안 영역은 객체가 있을 수 있는 후보 영역입니다. 선택적 탐색과 같은 방법은 색상, 텍스처, 형태 등 이미지의 다양한 측면을 살펴보고 이미지를 여러 부분으로 나눕니다. 선택적 탐색은 이미지를 작은 부분으로 나눈 다음 유사한 부분을 병합해 더 큰 관심 영역을 만드는 방식으로 시작합니다. 이 과정은 약 2,000개의 영역 제안 영역이 생성될 때까지 이어집니다.

그림 2. 선택적 탐색 작동 방식.

이러한 영역 제안 영역은 객체가 있을 수 있는 모든 위치를 식별하는 데 도움이 됩니다. 다음 단계에서 모델은 이미지 전체가 아니라 이러한 특정 영역에 집중하여 가장 관련성이 높은 영역을 효율적으로 처리할 수 있습니다. 영역 제안 영역을 사용하면 탐지의 포괄성과 계산 효율성 사이에서 균형을 맞출 수 있습니다.

이미지 특징 추출: 세부 정보 포착#

R-CNN 모델의 객체 탐지 과정에서 다음 단계는 영역 제안 영역에서 특징을 추출하는 것입니다. 각 영역 제안 영역은 CNN이 기대하는 일정한 크기(예: 224x224픽셀)로 조정됩니다. 크기를 조정하면 CNN이 각 제안 영역을 효율적으로 처리할 수 있습니다. 워핑 전에 각 영역 제안 영역의 크기를 약간 늘려 주변 정보를 더 확보할 수 있도록 해당 영역 주위에 16픽셀의 추가 문맥을 포함합니다. 이렇게 하면 특징을 더 효과적으로 추출할 수 있습니다.

크기를 조정한 영역 제안 영역은 일반적으로 ImageNet과 같은 대규모 데이터셋으로 사전 학습된 AlexNet 같은 CNN에 입력됩니다. CNN은 각 영역을 처리하여 가장자리, 텍스처, 패턴과 같은 중요한 세부 정보를 포착하는 고차원 특징 벡터를 추출합니다. 이 특징 벡터는 해당 영역의 핵심 정보를 압축합니다. 원시 이미지 데이터를 모델이 추가 분석에 사용할 수 있는 형식으로 변환합니다. 다음 단계에서 객체를 정확하게 분류하고 위치를 찾으려면 시각 정보를 의미 있는 데이터로 변환하는 이 과정이 중요합니다.

그림 3. 영역 제안 영역에서 AlexNet을 사용해 특징을 추출합니다.

객체 분류: 탐지된 객체 식별#

세 번째 단계는 이러한 영역 내의 객체를 분류하는 것입니다. 즉, 제안 영역 내에서 발견된 각 객체의 범주 또는 클래스를 판별합니다. 그런 다음 추출한 특징 벡터를 머신러닝 분류기에 전달합니다.

R-CNN에서는 이 작업에 서포트 벡터 머신(SVM)을 흔히 사용합니다. 각 SVM은 특징 벡터를 분석하고 특정 영역에 해당 클래스의 객체가 있는지를 판별하여 특정 객체 클래스를 인식하도록 학습됩니다. 기본적으로 객체 범주마다 전용 분류기가 하나씩 있으며, 이 분류기는 각 영역 제안 영역에 해당 객체가 있는지 확인합니다.

학습 중에 분류기에는 양성 및 음성 샘플로 구성된 레이블 데이터가 제공됩니다.

• 양성 샘플: 대상 객체가 포함된 영역입니다.
• 음성 샘플: 객체가 포함되지 않은 영역입니다.

분류기는 이러한 샘플을 구별하는 방법을 학습합니다. 바운딩 박스 회귀는 처음 제안된 바운딩 박스를 조정하여 실제 객체 경계에 더 잘 맞도록 탐지된 객체의 위치와 크기를 추가로 보정합니다. R-CNN 모델은 분류와 바운딩 박스 회귀를 결합하여 객체를 식별하고 정확한 위치를 찾을 수 있습니다.

그림 4. 바운딩 박스 회귀 예시. (출처: towardsdatascience.com)

전체 과정 정리: NMS를 통한 탐지 결과 보정#

분류 및 바운딩 박스 회귀 단계 이후 모델은 동일한 객체에 대해 서로 겹치는 바운딩 박스를 여러 개 생성하는 경우가 많습니다. 이러한 감지 결과를 정교화하고 가장 정확한 박스만 유지하기 위해 비최대 억제(NMS)를 적용합니다. NMS를 적용하면 중복되거나 겹치는 박스를 제거하고 신뢰도가 가장 높은 감지 결과만 유지합니다.

NMS는 모든 바운딩 박스의 신뢰도 점수(탐지된 객체가 실제로 존재할 가능성을 나타냄)를 평가하고, 점수가 더 높은 박스와 크게 겹치는 박스를 억제하는 방식으로 작동합니다.

그림 5. 비최대 억제 예시. (출처: towardsdatascience.com)

NMS의 단계는 다음과 같습니다.

• 정렬: 신뢰도 점수를 기준으로 바운딩 박스를 내림차순 정렬합니다.
• 선택: 점수가 가장 높은 박스를 선택하고, 이 박스와 크게 겹치는 모든 박스를 제거합니다. 겹침 정도는 교집합 대비 합집합(IoU)을 기준으로 판단합니다.
• 반복: 다음으로 점수가 높은 박스를 대상으로 이 과정을 반복하고 모든 박스를 처리할 때까지 계속합니다.

요약하면 R-CNN 모델은 영역 제안을 생성하고, CNN으로 특징을 추출하며, 객체를 분류하고 바운딩 박스 회귀로 위치를 정교화한 다음, NMS를 사용해 가장 정확한 감지 결과만 남겨 객체를 감지합니다.

객체 탐지의 이정표인 R-CNN#

R-CNN은 정확도와 성능을 크게 향상한 새로운 접근 방식을 도입했기 때문에 객체 감지 역사에서 획기적인 모델입니다. R-CNN이 등장하기 전에는 객체 감지 모델이 속도와 정밀도 사이의 균형을 맞추는 데 어려움을 겪었습니다. 영역 제안을 생성하고 CNN으로 특징을 추출하는 R-CNN의 방식은 이미지 내 객체를 정확하게 위치 지정하고 식별할 수 있도록 합니다.

R-CNN은 효율성과 정확도를 더욱 높인 Fast R-CNN, Faster R-CNN, Mask R-CNN과 같은 모델의 토대를 마련했습니다. 딥러닝과 영역 기반 분석을 결합한 R-CNN은 해당 분야의 새로운 표준을 세우고 다양한 실제 애플리케이션의 가능성을 열었습니다.

R-CNN으로 의료 영상 혁신하기#

R-CNN의 흥미로운 활용 사례 중 하나는 의료 영상입니다. R-CNN 모델은 MRI 및 CT 영상과 같은 의료 스캔에서 뇌종양 등의 다양한 종양 유형을 감지하고 분류하는 데 사용되어 왔습니다. 의료 영상에 R-CNN 모델을 사용하면 진단 정확도가 향상되고 영상의학과 전문의가 악성 종양을 조기에 식별하는 데 도움이 됩니다. 작고 초기 단계인 종양까지 감지하는 R-CNN의 능력은 암과 같은 질병의 치료와 예후에 큰 차이를 만들 수 있습니다.

그림 6. R-CNN을 사용한 뇌종양 감지.

R-CNN 모델은 종양 탐지 외에도 다른 의료 영상 작업에 적용할 수 있습니다. 예를 들어 골절을 식별하고, 안구 스캔에서 망막 질환을 탐지하며, 폐 이미지를 분석해 폐렴 및 COVID-19와 같은 질환을 확인할 수 있습니다. 어떤 의료 문제든 조기 탐지는 더 나은 환자 예후로 이어질 수 있습니다. 이상 징후를 식별하고 위치를 찾는 R-CNN의 정밀도를 활용하면 의료 제공자는 의료 진단의 신뢰성과 속도를 높일 수 있습니다. 객체 탐지로 진단 과정을 간소화하면 환자는 시기적절하고 정확한 치료 계획의 혜택을 누릴 수 있습니다.

R-CNN의 한계와 후속 모델#

R-CNN은 뛰어난 모델이지만 높은 계산 복잡도와 느린 추론 시간 등의 단점이 있습니다. 이러한 단점으로 인해 R-CNN 모델은 실시간 애플리케이션에 적합하지 않습니다. 영역 제안과 분류를 서로 다른 단계로 분리하면 효율성이 저하될 수 있습니다.

수년에 걸쳐 이러한 문제를 해결하는 다양한 객체 감지 모델이 등장했습니다. Fast R-CNN은 전체 이미지에 CNN을 한 번 적용하고 공유 특징 맵에서 각 영역 제안의 특징을 풀링해 처리 속도를 높입니다. Faster R-CNN은 제안 생성을 간소화하기 위해 영역 제안 네트워크(RPN)를 도입하고, Mask R-CNN은 더 세밀한 감지를 위해 픽셀 수준 분할을 추가합니다.

그림 7. R-CNN, Fast R-CNN, Faster R-CNN, Mask R-CNN 비교.

Faster R-CNN이 등장한 시기와 비슷한 때에 YOLO(한 번만 보면 되는 방식) 시리즈가 실시간 객체 감지를 발전시키기 시작했습니다. YOLO 모델은 네트워크를 한 번만 통과해 바운딩 박스와 클래스 확률을 예측합니다. 예를 들어 Ultralytics YOLOv8은 다양한 컴퓨터 비전 작업을 위한 고급 기능을 통해 정확도와 속도를 개선하며, Ultralytics YOLO26과 같은 최신 모델은 NMS를 완전히 제거해 한 단계 더 발전했습니다.

핵심 요점#

R-CNN은 딥러닝이 객체 감지를 혁신할 수 있음을 보여 주며 컴퓨터 비전의 전환점이 되었습니다. R-CNN의 성공은 해당 분야의 여러 새로운 아이디어에 영감을 주었습니다. 이후 Faster R-CNN 및 YOLO와 같은 최신 모델이 R-CNN의 단점을 해결했지만, R-CNN의 기여는 기억할 가치가 있는 중요한 이정표입니다.

연구가 계속 진행됨에 따라 더 우수하고 빠른 객체 감지 모델이 등장할 것입니다. 이러한 발전은 기계가 세상을 이해하는 방식을 개선할 뿐만 아니라 여러 산업 분야의 발전으로 이어질 것입니다.

AI에 대해 더 알아보고 싶으신가요? Ultralytics 커뮤니티에 참여하세요! 최신 인공지능 혁신을 확인하려면 GitHub 저장소를 살펴보세요. 농업 및 제조와 같은 여러 분야에 걸친 AI 솔루션도 확인해 보세요. 함께 배우고 발전해 나가세요!