EfficientNet이란 무엇인가요? 간략한 개요

2019년 Google AI 연구진은 이미지 속 객체와 패턴을 인식하도록 설계된 최첨단 컴퓨터 비전 모델인 EfficientNet을 발표했습니다. EfficientNet은 주로 이미지를 사전 정의된 여러 카테고리 중 하나로 분류하는 이미지 분류를 위해 설계되었습니다. 하지만 오늘날 EfficientNet은 객체 탐지, 분할, 전이 학습과 같은 더 복잡한 작업을 위한 백본으로도 사용됩니다.

EfficientNet이 등장하기 전에는 이러한 머신러닝 및 비전 AI 모델이 레이어를 추가하거나 레이어 크기를 키워 정확도를 높이려 했습니다. 레이어는 데이터 패턴을 학습하고 정확도를 개선하기 위해 정보를 처리하는 신경망 모델(인간의 뇌에서 영감을 얻은 딥러닝 모델의 한 종류)의 단계입니다.

이러한 변경은 상충 관계를 초래했습니다. 기존 AI 모델은 더 크고 느려졌지만, 상당한 연산 능력이 추가로 필요한 데 비해 정확도 향상은 대개 미미했습니다.

EfficientNet은 다른 접근 방식을 취했습니다. 깊이(레이어 수), 너비(각 레이어의 유닛 수), 이미지 해상도(입력 이미지의 세부 수준)를 균형 있게 함께 늘렸습니다. 이 방법을 복합 스케일링이라고 합니다. 그 결과 ResNet이나 DenseNet 같은 이전 모델보다 성능이 뛰어나면서도 더 작고 빠른 모델을 구현했습니다.

오늘날 Ultralytics YOLO11과 그 후속 모델인 Ultralytics YOLO26 같은 최신 컴퓨터 비전 모델은 더 높은 정확도와 속도, 효율성을 제공합니다. 그럼에도 EfficientNet은 여러 고급 아키텍처의 설계에 영향을 준 중요한 이정표로 남아 있습니다.

이 글에서는 EfficientNet의 작동 방식과 고유한 특징, 그리고 컴퓨터 비전에서 여전히 중요한 이유를 5분 안에 살펴보겠습니다.

EfficientNet이란 무엇인가요?#

EfficientNet이 설계되기 전에는 대부분의 이미지 인식 모델이 레이어를 조정하거나 입력 이미지 크기를 키워 더 많은 세부 정보를 포착함으로써 정확도를 높였습니다. 이러한 전략은 결과를 개선했지만, 모델을 더 무겁고 많은 리소스를 요구하는 형태로 만들기도 했습니다. 즉, 더 많은 메모리와 더 나은 하드웨어가 필요했습니다.

개별 레이어를 변경하는 대신 EfficientNet은 컴파운드 스케일링이라는 방법으로 깊이, 너비, 이미지 해상도를 함께 조정합니다. 이 접근 방식은 특정 요소 하나에 과부하를 주지 않으면서 모델을 효율적으로 확장할 수 있게 합니다.

EfficientNet 아키텍처는 여러 블록으로 구성된 일련의 과정을 통해 이미지를 처리하며, 각 블록은 더 작은 모듈로 이루어집니다. 각 블록에 포함되는 모듈 수는 모델 크기에 따라 달라집니다.

그림 1. EfficientNet의 기본 구성 블록. (출처)

작은 버전은 모듈 수가 더 적고, 큰 버전은 모듈을 더 많이 반복합니다. 이러한 유연한 설계 덕분에 EfficientNet은 모바일 기기부터 대규모 시스템까지 폭넓은 애플리케이션에서 높은 정확도와 효율성을 제공할 수 있습니다.

컴파운드 스케일링의 작동 방식#

컴파운드 스케일링 방법은 모델의 깊이, 너비, 이미지 해상도를 확장하면서도 균형을 유지합니다. 이를 통해 연산 능력을 효율적으로 사용할 수 있습니다. 시리즈는 EfficientNet-B0이라는 작은 기준 모델에서 시작하며, 이 모델은 다른 모든 버전의 기반이 됩니다.

B0에서 시작해 모델은 EfficientNet-B1부터 EfficientNet-B7까지 더 큰 변형으로 확장됩니다. 각 단계에서 네트워크에 레이어가 추가되고 채널(처리에 사용되는 유닛) 수가 증가하며, 더 높은 해상도의 입력 이미지를 처리합니다. 각 단계의 확장 규모는 컴파운드 계수라는 매개변수로 결정되며, 이 계수는 깊이, 너비, 해상도가 서로 독립적으로 증가하는 대신 정해진 비율로 증가하도록 합니다.

그림 2. 컴파운드 스케일링은 모델의 너비, 깊이, 이미지 해상도를 높입니다. (출처)

EfficientNet 아키텍처#

이어서 EfficientNet의 아키텍처를 살펴보겠습니다.

EfficientNet은 모바일 및 임베디드 기기에 최적화된 경량 컴퓨터 비전 모델인 MobileNetV2를 기반으로 합니다. 핵심 구성 요소는 Mobile Inverted Bottleneck Convolution(MBConv) 블록으로, 표준 컨볼루션과 유사하게 이미지 데이터를 처리하면서도 연산량이 적은 특수 레이어입니다. 이 블록 덕분에 모델은 빠르고 메모리 효율성도 높습니다.

각 MBConv 블록에는 압축 및 여기(SE) 모듈이 포함되어 있습니다. 이 모듈은 네트워크에서 각 채널의 영향력을 조정합니다. 중요한 채널의 영향력을 높이고 나머지 채널의 영향력은 줄입니다. 이를 통해 네트워크는 이미지에서 가장 중요한 특징에 집중하고 나머지는 무시할 수 있습니다. EfficientNet 모델은 Swish 활성화 함수(네트워크가 패턴을 학습하도록 돕는 수학 함수)도 사용하며, 이 함수는 기존 방식보다 이미지의 패턴을 더 잘 파악하도록 지원합니다.

또한 DropConnect를 사용하여 학습 중 네트워크 내부의 일부 연결을 무작위로 끕니다. 이 확률적 정규화 방법(모델이 일반화하는 대신 학습 데이터를 암기하는 것을 방지하기 위한 무작위화 기법)은 네트워크가 더 강력한 특징 표현(데이터의 더 견고하고 일반적인 패턴)을 학습하도록 하여 과적합을 줄이고, 학습 중에 보지 못한 데이터에도 더 잘 적용되도록 합니다.

그림 3. EfficientNet-B0의 아키텍처 (출처)

EfficientNet 모델 변형 간단히 살펴보기#

EfficientNet 모델의 작동 방식을 더 잘 이해했으니, 이제 다양한 모델 변형을 살펴보겠습니다.

EfficientNet 모델은 B0부터 B7까지 확장되며, B0은 속도와 정확도의 균형을 맞춘 기준 모델입니다. 각 버전은 깊이, 너비, 이미지 해상도를 늘려 정확도를 개선합니다. 하지만 B1과 B2부터 성능이 뛰어난 B6과 B7까지, 더 높은 연산 능력도 요구합니다.

EfficientNet-B3 및 EfficientNet-B4 모델은 큰 이미지에서 균형 잡힌 성능을 제공하며, 정밀도가 필요한 복잡한 데이터셋에는 B5를 자주 선택합니다. 이 모델들의 후속 모델인 EfficientNetV2는 학습 속도가 더 빠르고 파라미터 효율성이 높습니다.

EfficientNet의 활용 분야#

EfficientNet은 여러 다른 모델보다 적은 메모리와 연산 능력을 사용하면서도 정확한 결과를 낼 수 있습니다. 따라서 과학 연구부터 사람들이 매일 사용하는 제품까지 다양한 분야에서 유용합니다.

의료 영상 분석#

폐 CT 스캔과 같은 의료 영상에는 정확한 진단에 중요한 미세한 세부 정보가 포함되는 경우가 많습니다. AI 모델은 이러한 영상을 분석하여 사람이 탐지하기 어려운 패턴을 찾아내는 데 도움을 줄 수 있습니다. 이 용도에 맞게 EfficientNet을 변형한 모델 중 하나가 의료 영상 분석을 위해 특별히 설계된 MONAI(Medical Open Network for AI) EfficientNet입니다.

EfficientNet 아키텍처를 기반으로 연구진은 폐 CT 스캔에서 종양을 탐지하기 위해 스캔을 분류하는 모델인 Lung-EffNet도 개발했습니다. 이 모델은 스캔을 양성, 악성 또는 정상으로 분류할 수 있으며, 실험 환경에서 99%를 넘는 정확도를 기록했습니다.

그림 4. Lung-EffNet을 사용한 종양 이미지 분류. (출처)

실시간 객체 탐지#

객체 탐지는 이미지에서 객체를 찾아 위치를 파악하는 과정입니다. 보안 시스템, 자율주행 자동차, 드론과 같은 애플리케이션의 핵심 요소입니다.

EfficientNet은 이미지에서 특징을 매우 효율적으로 추출하는 방법을 제공했기 때문에 이 분야에서 중요한 모델이 되었습니다. 깊이, 너비, 해상도를 조정하는 방식은 모델을 지나치게 무겁거나 느리게 만들지 않고도 정확도를 높일 수 있음을 보여주었습니다. 따라서 EfficientDet과 같은 여러 탐지 시스템은 EfficientNet을 백본으로 사용합니다.

Ultralytics YOLO11과 같은 최신 모델도 속도와 정확도를 결합한다는 동일한 목표를 추구합니다. 효율적인 모델을 향한 이러한 흐름은 EfficientNet과 같은 아키텍처의 아이디어에서 큰 영향을 받았습니다.

EfficientNet의 장단점#

컴퓨터 비전 프로젝트에서 EfficientNet을 사용할 때 얻을 수 있는 몇 가지 이점은 다음과 같습니다.

• 적은 파라미터로 높은 정확도: EfficientNet은 ResNet이나 DenseNet과 같은 이전 모델과 비슷하거나 더 높은 정확도를 제공할 수 있습니다. 또한 파라미터 수가 적어 학습이 빠르고 배포하기 쉽습니다.
• 확장 가능한 모델 제품군: B0부터 B7까지 제공되므로 기준 네트워크를 변경하지 않고도 하드웨어와 정밀도 요구 사항에 맞는 버전을 선택할 수 있습니다.
• 전이 학습에 적합: EfficientNet은 사용자 지정 작업에 맞춰 사전 학습된 모델을 다시 학습하는 과정인 전이 학습에서 안정적인 모델 성능을 제공할 수 있습니다. 다양한 컴퓨터 비전 작업의 백본으로 사용할 수 있으며, 미세 조정에서도 우수한 결과를 보였습니다. 예를 들어 널리 사용되는 이미지 분류 데이터셋인 CIFAR-100에서 이전 모델보다 훨씬 적은 파라미터로 최첨단 정확도를 달성했습니다.

EfficientNet을 사용하면 여러 이점이 있지만, 다음과 같은 한계도 고려해야 합니다.

• 더 많은 메모리 필요: EfficientNet-B6 및 EfficientNet-B7과 같은 버전은 많은 GPU 메모리를 필요로 합니다.
• ImageNet에 맞춰 조정된 스케일링: 스케일링 설정은 ImageNet 데이터셋에 맞춰 설계되었으므로, 미세 조정 없이 특성이 크게 다른 데이터셋을 사용하면 성능이 저하될 수 있습니다. 특히 소규모 데이터셋에서 이러한 현상이 두드러지는데, EfficientNet의 아키텍처와 스케일링은 깊이와 너비를 정당화할 만큼 충분한 데이터를 제공하는 ImageNet과 같은 대규모의 다양한 데이터셋에 맞춰 설계되었기 때문입니다.
• 일부 하드웨어에서 더 느림: EfficientNet은 최신 하드웨어에서 효율적으로 작동하도록 설계된 MBConv라는 레이어를 사용합니다. 구형 GPU나 CPU에서는 이러한 레이어가 더 느리게 작동할 수 있습니다.

핵심 요점#

EfficientNet은 깊이, 너비, 이미지 해상도의 균형을 맞춰 컴퓨터 비전 모델을 확장하는 방식을 바꾸었습니다. 여전히 중요한 모델로 남아 있으며 최신 아키텍처에도 영향을 미쳤습니다. 특히 컴퓨터 비전의 역사에서 의미 있는 위치를 차지하고 있습니다.

커뮤니티와 GitHub 저장소에 참여해 AI에 대해 더 알아보세요. 솔루션 페이지에서 의료 분야의 AI와 자동차 분야의 컴퓨터 비전에 대해 확인해 보세요. 라이선스 옵션을 살펴보고 지금 컴퓨터 비전 개발을 시작하세요!