EfficientNet이란 무엇인가? 간략한 개요

2019년, Google AI의 연구원들은 이미지 내 객체와 패턴을 인식하도록 설계된 최첨단 computer vision 모델인 EfficientNet을 발표했습니다. 이 모델은 주로 이미지 분류(이미지를 미리 정의된 여러 범주 중 하나로 할당하는 작업)를 위해 설계되었습니다. 하지만 오늘날 EfficientNet은 객체 탐지, 세그멘테이션, 전이 학습과 같은 더 복잡한 작업을 위한 백본(backbone) 역할도 수행합니다.

EfficientNet 이전에는 이러한 머신러닝 및 비전 AI 모델들이 계층(layer)을 추가하거나 해당 계층의 크기를 늘려 정확도를 향상시키려 했습니다. 계층은 인간의 뇌에서 영감을 받은 딥러닝 모델의 일종인 신경망 모델에서 데이터를 처리하여 패턴을 학습하고 정확도를 높이는 단계입니다.

이러한 변화는 상충 관계(trade-off)를 만들어 기존 AI 모델을 더 크고 느리게 만들었으며, 추가되는 정확도는 필요한 컴퓨팅 파워의 대폭적인 증가에 비해 미미한 경우가 많았습니다.

EfficientNet은 다른 접근 방식을 취했습니다. 이 모델은 깊이(계층 수), 너비(각 계층의 유닛 수), 이미지 해상도(입력 이미지의 세부 수준)를 균형 있게 함께 증가시켰습니다. 합성 스케일링(compound scaling)이라 불리는 이 방법은 가용한 처리 능력을 안정적으로 모두 활용합니다. 그 결과 ResNet이나 DenseNet과 같은 이전 모델보다 더 작고 더 빠른 모델이 탄생했습니다.

오늘날 Ultralytics YOLO11과 같은 최신 컴퓨터 비전 모델은 더 뛰어난 정확도, 속도 및 효율성을 제공합니다. 그럼에도 불구하고 EfficientNet은 여전히 많은 고급 아키텍처 설계에 영향을 준 중요한 이정표로 남아 있습니다.

이 글에서는 EfficientNet이 어떻게 작동하는지, 무엇이 독특한지, 그리고 왜 컴퓨터 비전 분야에서 여전히 중요한지 5분 만에 알아보겠습니다. 시작해 볼까요!

Link to this sectionEfficientNet이란 무엇인가요?#

EfficientNet이 설계되기 전, 대부분의 이미지 인식 모델은 계층을 조정하거나 더 많은 세부 정보를 포착하기 위해 입력 이미지 크기를 늘려 정확도를 향상했습니다. 이러한 전략은 결과물을 개선했지만, 동시에 모델을 더 무겁고 까다롭게 만들었습니다. 즉, 더 많은 메모리와 더 나은 하드웨어가 필요했습니다.

EfficientNet은 개별 계층을 변경하는 대신, 합성 스케일링이라는 방법을 사용하여 깊이, 너비 및 이미지 해상도를 함께 스케일링합니다. 이 접근 방식은 특정 측면에 과부하를 주지 않으면서 모델이 효율적으로 확장될 수 있도록 합니다.

EfficientNet 아키텍처는 일련의 블록을 통해 이미지를 처리하며, 각 블록은 더 작은 모듈들로 구성됩니다. 각 블록 내의 모듈 수는 모델 크기에 따라 다릅니다.

그림 1. EfficientNet의 빌딩 블록. (출처)

더 작은 버전은 더 적은 수의 모듈을 사용하고, 더 큰 버전은 모듈을 더 자주 반복합니다. 이러한 유연한 설계를 통해 EfficientNet은 모바일 기기부터 대규모 시스템에 이르기까지 다양한 애플리케이션에서 높은 정확도와 효율성을 제공합니다.

Link to this section합성 스케일링의 작동 원리#

합성 스케일링 방식은 모델의 깊이, 너비, 이미지 해상도를 확장하되 균형을 유지합니다. 이를 통해 컴퓨팅 파워를 효율적으로 사용할 수 있습니다. 이 시리즈는 다른 모든 버전의 기초가 되는 EfficientNet-B0라는 더 작은 베이스라인 모델로 시작합니다.

B0에서부터 모델은 EfficientNet-B1부터 B7까지의 더 큰 변형 모델로 확장됩니다. 각 단계마다 네트워크는 추가적인 계층을 확보하고 채널(처리용 유닛) 수를 늘리며 더 높은 해상도의 입력 이미지를 처리합니다. 각 단계에서의 성장 정도는 합성 계수(compound coefficient)라는 매개변수에 의해 결정되며, 이는 깊이, 너비 및 해상도가 독립적이 아닌 고정된 비율로 증가하도록 보장합니다.

그림 2. 합성 스케일링은 모델의 너비, 깊이 및 이미지 해상도를 증가시킵니다. (출처)

Link to this sectionEfficientNet 아키텍처#

다음으로, EfficientNet의 아키텍처를 살펴보겠습니다.

이 모델은 모바일 및 임베디드 기기에 최적화된 경량 컴퓨터 비전 모델인 MobileNetV2를 기반으로 합니다. 핵심에는 표준 컨볼루션과 유사하게 작동하지만 계산량이 적은 특수 계층인 MBConv(Mobile Inverted Bottleneck Convolution) 블록이 있습니다. 이 블록은 모델을 빠르고 메모리 효율적으로 만듭니다.

각 MBConv 블록 내부에는 SE(squeeze-and-excitation) 모듈이 있습니다. 이 모듈은 네트워크 내 다양한 채널의 강도를 조정합니다. 필수 채널의 강도는 높이고 다른 채널의 강도는 줄입니다. 이 모듈은 네트워크가 이미지 내에서 가장 중요한 특징에 집중하도록 돕고 나머지는 무시하게 합니다. EfficientNet 모델은 또한 네트워크가 패턴을 학습하도록 돕는 수학적 함수인 Swish 활성화 함수를 사용하여 이전 방식보다 이미지 내 패턴을 더 잘 찾아냅니다.

그 외에도 학습 중에 네트워크 내부의 일부 연결을 무작위로 차단하는 DropConnect를 사용합니다. 이 확률적 정규화 방법(모델이 데이터 일반화 대신 학습 데이터를 암기하는 것을 방지하기 위한 무작위화 기술)은 네트워크가 미지의 데이터에 더 잘 전이되는 강력하고 일반적인 패턴을 학습하도록 강제하여 과적합을 줄입니다.

그림 3. EfficientNet-B0의 아키텍처 (출처)

Link to this sectionEfficientNet 모델 변형에 대한 간단한 개요#

이제 EfficientNet 모델이 어떻게 작동하는지 잘 이해했으니, 다양한 모델 변형에 대해 논의해 보겠습니다.

EfficientNet 모델은 B0부터 B7까지 확장되며, 속도와 정확도의 균형을 맞춘 베이스라인인 B0에서 시작합니다. 각 버전은 깊이, 너비, 이미지 해상도를 증가시켜 정확도를 향상시킵니다. 하지만 그만큼 더 많은 컴퓨팅 파워를 요구하며, B1과 B2부터 고성능 B6 및 B7 모델까지 확장됩니다.

EfficientNet-B3 및 EfficientNet-B4 모델은 더 큰 이미지에 대한 균형을 맞추는 반면, B5는 정밀도가 필요한 복잡한 데이터셋에 자주 선택됩니다. 이러한 모델을 넘어 최신 모델인 EfficientNet V2는 학습 속도를 개선하고 작은 데이터셋을 더 잘 처리하며 최신 하드웨어에 최적화되어 있습니다.

Link to this sectionEfficientNet의 응용 분야#

EfficientNet은 다른 많은 모델보다 메모리와 처리 능력을 적게 사용하면서 정확한 결과를 도출할 수 있습니다. 덕분에 과학 연구부터 일상적으로 사용하는 제품에 이르기까지 다양한 분야에서 유용합니다.

Link to this section의료 이미지 분석#

폐 CT 스캔과 같은 의료 이미지는 정확한 진단에 필수적인 미묘한 세부 정보를 포함하는 경우가 많습니다. AI 모델은 사람이 감지하기 어려운 패턴을 찾아내도록 이러한 이미지를 분석하는 데 도움을 줄 수 있습니다. 이를 위해 EfficientNet을 적용한 사례로 의료 이미지 분석을 위해 특별히 설계된 MONAI(Medical Open Network for AI) EfficientNet이 있습니다.

EfficientNet 아키텍처를 기반으로 연구원들은 폐 CT 스캔을 분류하여 종양을 감지하는 모델인 Lung-EffNet을 개발했습니다. 이 모델은 종양을 양성, 악성 또는 정상으로 분류할 수 있으며, 실험 환경에서 99% 이상의 보고된 정확도를 달성했습니다.

그림 4. Lung-EffNet을 사용한 종양 이미지 분류. (출처)

Link to this section실시간 객체 탐지#

Object detection은 이미지에서 객체를 찾고 그 위치를 결정하는 과정입니다. 이는 보안 시스템, 자율 주행 자동차, 드론과 같은 애플리케이션의 핵심 부분입니다.

EfficientNet은 이미지에서 특징을 추출하는 매우 효율적인 방법을 제공했기 때문에 이 분야에서 중요해졌습니다. 깊이, 너비, 해상도를 스케일링하는 이 방식은 모델이 무겁거나 느리지 않으면서도 정확할 수 있음을 보여주었습니다. 이것이 바로 EfficientDet과 같은 많은 탐지 시스템이 EfficientNet을 백본으로 사용하는 이유입니다.

Ultralytics YOLO11과 같은 최신 모델도 속도와 정확도를 결합한다는 동일한 목표를 공유합니다. 이러한 효율적인 모델을 향한 추세는 EfficientNet과 같은 아키텍처의 아이디어에 강한 영향을 받았습니다.

Link to this sectionEfficientNet의 장점과 단점#

컴퓨터 비전 프로젝트에 EfficientNet을 사용할 때의 이점은 다음과 같습니다:

• 더 적은 매개변수로 높은 정확도 달성: EfficientNet은 ResNet이나 DenseNet과 같은 이전 모델과 유사하거나 더 나은 정확도를 제공할 수 있습니다. 하지만 더 적은 매개변수를 사용하므로 학습이 빠르고 배포하기가 더 쉽습니다.
• 확장 가능한 모델 제품군: B0부터 B7까지 제공되므로 베이스라인 네트워크를 변경하지 않고도 하드웨어 및 정밀도 요구 사항에 맞는 버전을 선택할 수 있습니다.
• 전이 학습에 적합: EfficientNet은 사전 학습된 모델을 사용자 정의 작업에 맞게 재학습하는 과정인 전이 학습에서 신뢰할 수 있는 모델 성능을 제공할 수 있습니다. 다양한 컴퓨터 비전 작업의 백본으로 작동할 수 있습니다. 또한 미세 조정(fine-tuning) 시에도 강력한 결과를 보여주었습니다. 예를 들어, 널리 사용되는 image classification 데이터셋인 CIFAR-100에서 이전 모델보다 훨씬 적은 매개변수로 최첨단 정확도를 달성했습니다.

EfficientNet 사용과 관련된 많은 이점이 있지만, 염두에 두어야 할 몇 가지 제한 사항은 다음과 같습니다:

• 더 많은 메모리 필요: EfficientNet-B6 및 EfficientNet-B7과 같은 버전은 많은 GPU 메모리를 필요로 합니다.
• ImageNet에 맞춰 조정된 스케일링: 스케일링 설정은 ImageNet 데이터셋을 위해 설계되었으므로, 미세 조정 없이 다른 데이터셋에서는 성능이 저하될 수 있습니다. 특히 작은 데이터셋의 경우 그렇습니다. EfficientNet의 아키텍처와 스케일링은 그 깊이와 너비를 정당화할 만큼 충분한 데이터를 제공하는 ImageNet과 같은 크고 다양한 데이터셋을 위해 설계되었기 때문입니다.
• 일부 하드웨어에서 느린 속도: EfficientNet은 최신 하드웨어에서 효율성을 위해 설계된 MBConv라는 계층을 사용합니다. 이전 GPU나 CPU에서는 이러한 계층이 더 느리게 실행될 수 있습니다.

Link to this section핵심 요약#

EfficientNet은 깊이, 너비, 이미지 해상도의 균형을 유지함으로써 컴퓨터 비전 모델이 성장하는 방식을 바꾸어 놓았습니다. 여전히 중요한 모델이며 최신 아키텍처에도 영향을 미쳤습니다. 특히 컴퓨터 비전 역사에서 의미 있는 위치를 차지하고 있습니다.

저희 community와 GitHub repository에 참여하여 AI에 대해 더 자세히 알아보세요. 저희 솔루션 페이지를 확인하여 AI in healthcare 및 computer vision in automotive에 대해 읽어보세요. our licensing 옵션을 알아보고 지금 바로 컴퓨터 비전으로 구축을 시작하세요!