Neural Architecture Search (NAS)

신경 아키텍처 검색(NAS)은 인공 신경망의 설계를 자동화하는 Automated Machine Learning (AutoML) 영역 내의 정교한 기법입니다. 전통적으로 고성능 deep learning (DL) 아키텍처를 엔지니어링하려면 광범위한 인간의 전문성, 직관, 그리고 시간이 오래 걸리는 시행착오가 필요했습니다. NAS는 이 수동 프로세스를 방대한 범위의 네트워크 토폴로지를 체계적으로 탐색하여 특정 태스크에 최적의 구조를 발견하는 알고리즘 전략으로 대체합니다. 다양한 레이어와 연산의 조합을 테스트함으로써, NAS는 accuracy, 연산 효율성 또는 추론 속도 측면에서 인간이 설계한 모델보다 훨씬 뛰어난 성능을 발휘하는 아키텍처를 식별할 수 있습니다.

NAS의 핵심 메커니즘#

우수한 아키텍처를 발견하는 프로세스는 일반적으로 최적의 neural network (NN)을 찾기 위해 상호 작용하는 세 가지 근본적인 차원을 포함합니다:

1. 검색 공간(Search Space): 이는 알고리즘이 탐색할 수 있는 모든 가능한 아키텍처의 집합을 정의합니다. convolution 필터, 풀링 레이어, 그리고 다양한 activation functions과 같은 빌딩 블록 라이브러리처럼 작동합니다. 잘 정의된 검색 공간은 검색이 연산 관점에서 실현 가능하도록 유지하는 동시에 혁신을 위한 충분한 유연성을 허용하도록 복잡성을 제한합니다.

2. 검색 전략(Search Strategy): 모든 가능성을 테스트(무차별 대입)하는 대신, NAS는 지능형 알고리즘을 사용하여 검색 공간을 효율적으로 탐색합니다. 일반적인 접근 방식으로는 에이전트가 시간이 지남에 따라 더 나은 아키텍처를 생성하는 법을 배우는 reinforcement learning과, 우수한 후보를 번식시키기 위해 성능이 가장 좋은 모델을 변이시키고 결합하는 evolutionary algorithms이 있습니다.

3. 성능 추정 전략(Performance Estimation Strategy): 모든 후보 네트워크를 처음부터 훈련하는 것은 지나치게 느립니다. 이를 가속화하기 위해 NAS는 더 적은 epochs으로 훈련, 저해상도 프록시 데이터셋 사용, 또는 weight sharing 고용과 같은 추정 기법을 사용하여 후보 아키텍처의 잠재력을 빠르게 순위 매깁니다.

실제 애플리케이션 사례#

NAS는 하드웨어 제약이나 성능 요구 사항이 엄격한 산업에서 computer vision (CV) 및 기타 AI 도메인의 한계를 넓히며 핵심적인 요소가 되었습니다.

• 효율적인 엣지 컴퓨팅(Efficient Edge Computing): 모바일 기기에 AI를 배포하려면 가볍고 빠른 모델이 모두 필요합니다. NAS는 높은 정밀도를 유지하면서 inference latency를 최소화하는 MobileNetV3 및 EfficientNet과 같은 아키텍처를 찾는 데 광범위하게 사용됩니다. 이는 스마트 카메라나 자율주행 드론에서의 실시간 비디오 분석과 같은 edge AI 애플리케이션에 매우 중요합니다.
• 의료 영상(Medical Imaging): medical image analysis에서는 정확도가 가장 중요합니다. NAS는 X선이나 MRI 스캔에서 미묘한 이상을 감지하도록 네트워크를 맞춤화할 수 있으며, 흔히 엔지니어들이 간과할 수 있는 새로운 특징 추출 경로를 찾아냅니다. 이는 brain tumors 또는 골절과 같은 상태를 더 높은 민감도로 식별하기 위한 보다 신뢰할 수 있는 도구로 이어집니다.

NAS와 관련 개념 비교#

NAS의 구체적인 역할을 이해하려면 유사한 최적화 기법과 구분하는 것이 도움이 됩니다:

• NAS 대 하이퍼파라미터 튜닝(NAS vs. Hyperparameter Tuning): 둘 다 최적화를 포함하지만, hyperparameter tuning은 고정된 아키텍처에 대한 구성 설정(예: learning rate 또는 batch size)을 조정하는 데 중점을 둡니다. 대조적으로, NAS는 레이어 수나 뉴런이 연결되는 방식과 같이 모델 자체의 근본적인 구조를 변경합니다.
• NAS 대 전이 학습(NAS vs. Transfer Learning): Transfer learning은 기존의 사전 훈련된 모델을 가져와 새로운 태스크에 그 가중치를 적응시킵니다. NAS는 훈련이 시작되기 전에 처음부터 모델 아키텍처를 생성하거나(또는 더 나은 backbone을 검색) 합니다.

NAS 파생 모델 활용#

전체 NAS 검색을 실행하려면 상당한 GPU computing resources이 필요하지만, 개발자는 NAS를 통해 생성된 모델을 쉽게 사용할 수 있습니다. 예를 들어, YOLO-NAS 아키텍처는 object detection 태스크에 최적화하기 위해 이러한 검색 원리를 사용하여 발견되었습니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 사전 검색된 NAS 모델을 로드하고 사용하는 방법을 보여줍니다:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

NAS의 복잡성 없이 최첨단 모델을 훈련하고자 하는 사람들을 위해, Ultralytics YOLO26은 최신 연구 발전 사항을 통합하여 즉시 사용할 수 있는 고도로 최적화된 아키텍처를 제공합니다. 전체 MLOps 라이프사이클을 단순화하는 Ultralytics Platform을 사용하여 이러한 모델에 대한 데이터셋, 훈련 및 배포를 쉽게 관리할 수 있습니다.