Neural Architecture Search (NAS)

신경망 아키텍처 탐색 (NAS)은 인공 신경망 설계를 자동화하는 자동화된 머신러닝 (AutoML) 분야의 정교한 기법입니다. 기존에는 고성능 딥러닝 (DL) 아키텍처를 설계하려면 상당한 인간의 전문 지식과 직관, 그리고 시간이 많이 소요되는 시행착오가 필요했습니다. NAS는 이 수동 프로세스를 알고리즘 전략으로 대체하여 광범위한 네트워크 토폴로지를 체계적으로 탐색하고 특정 작업에 최적인 구조를 찾아냅니다. 다양한 레이어와 연산 조합을 테스트함으로써 NAS는 정확도, 계산 효율성 또는 추론 속도 측면에서 사람이 설계한 모델을 크게 능가하는 아키텍처를 식별할 수 있습니다.

NAS의 핵심 메커니즘#

우수한 아키텍처를 탐색하는 과정에는 일반적으로 상호작용하여 최적의 신경망 (NN)을 찾는 세 가지 기본 차원이 포함됩니다.

1. 탐색 공간: 알고리즘이 탐색할 수 있는 모든 가능한 아키텍처의 집합을 정의합니다. 컨볼루션 필터, 풀링 레이어, 다양한 활성화 함수와 같은 빌딩 블록 라이브러리 역할을 합니다. 잘 정의된 탐색 공간은 탐색이 계산적으로 실행 가능하도록 복잡성을 제한하면서도 혁신을 위한 충분한 유연성을 제공합니다.

2. 탐색 전략: NAS는 모든 가능성을 테스트하는 대신(브루트 포스), 지능형 알고리즘을 사용하여 탐색 공간을 효율적으로 탐색합니다. 일반적인 접근 방식으로는 에이전트가 시간이 지남에 따라 더 나은 아키텍처를 생성하는 방법을 학습하는 강화학습과, 성능이 우수한 모델을 변이하고 결합하여 더 뛰어난 후보를 생성하는 진화 알고리즘이 있습니다.

3. 성능 추정 전략: 모든 후보 네트워크를 처음부터 학습하는 것은 지나치게 느립니다. 이를 가속하기 위해 NAS는 더 적은 에포크로 학습하거나, 더 낮은 해상도의 프록시 데이터셋을 사용하거나, 가중치 공유를 활용하는 등의 추정 기법을 사용하여 후보 아키텍처의 잠재력을 신속하게 순위화합니다.

실제 적용 사례#

NAS는 하드웨어 제약이나 성능 요구 사항이 엄격한 산업에서 핵심 기술로 자리 잡았으며, 컴퓨터 비전 (CV) 및 기타 AI 분야의 한계를 확장하고 있습니다.

• 효율적인 엣지 컴퓨팅: 모바일 디바이스에 AI를 배포하려면 가볍고 빠른 모델이 필요합니다. NAS는 높은 정밀도를 유지하면서 추론 지연 시간을 최소화하는 MobileNetV3 및 EfficientNet과 같은 아키텍처를 탐색하는 데 광범위하게 사용됩니다. 이는 스마트 카메라의 실시간 비디오 분석이나 자율 드론과 같은 엣지 AI 애플리케이션에 매우 중요합니다.
• 의료 영상: 의료 이미지 분석에서는 정확도가 가장 중요합니다. NAS는 X선 또는 MRI 스캔에서 미세한 이상을 감지하도록 네트워크를 맞춤 설계할 수 있으며, 인간 엔지니어가 간과할 수 있는 새로운 특징 추출 경로를 찾아내기도 합니다. 이를 통해 뇌종양이나 골절과 같은 질환을 더 높은 민감도로 식별할 수 있는 더욱 신뢰성 높은 도구를 개발할 수 있습니다.

NAS와 관련 개념 비교#

NAS의 구체적인 역할을 이해하려면 유사한 최적화 기법과 구분해 보는 것이 도움이 됩니다.

• NAS와 하이퍼파라미터 튜닝 비교: 둘 다 최적화를 수행하지만, 하이퍼파라미터 튜닝은 고정된 아키텍처의 구성 설정(예: 학습률 또는 배치 크기)을 조정하는 데 중점을 둡니다. 반면 NAS는 레이어 수나 뉴런 연결 방식과 같은 모델 자체의 기본 구조를 변경합니다.
• NAS와 전이 학습 비교: 전이 학습은 기존의 사전 학습된 모델을 가져와 새로운 작업에 맞게 가중치를 조정합니다. NAS는 학습을 시작하기 전에 모델 아키텍처를 처음부터 생성하거나 더 나은 백본을 탐색합니다.

NAS로 생성된 모델 활용#

전체 NAS 탐색을 실행하려면 상당한 GPU 컴퓨팅 리소스가 필요하지만, 개발자는 NAS를 통해 생성된 모델을 쉽게 사용할 수 있습니다. 예를 들어 YOLO-NAS 아키텍처는 이러한 탐색 원리를 사용하여 객체 검출 작업에 최적화되도록 발견되었습니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 미리 탐색된 NAS 모델을 로드하고 사용하는 방법을 보여줍니다.

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

NAS의 복잡성 없이 최첨단 모델을 학습하려는 경우, Ultralytics YOLO26은 최신 연구 발전을 반영한 고도로 최적화된 아키텍처를 기본으로 제공합니다. Ultralytics Platform을 사용하면 이러한 모델의 데이터셋, 학습 및 배포를 쉽게 관리할 수 있으며, 전체 MLOps 수명 주기를 간소화할 수 있습니다.