Neural Architecture Search (NAS)

신경 아키텍처 탐색(NAS)은 인공 신경망 설계를 자동화하는 Automated Machine Learning (AutoML) 영역 내의 정교한 기술입니다. 전통적으로 고성능 deep learning (DL) 아키텍처를 엔지니어링하려면 방대한 인간의 전문 지식과 직관, 그리고 시간이 많이 소요되는 시행착오가 필요했습니다. NAS는 이러한 수동 프로세스를 체계적으로 광범위한 네트워크 토폴로지를 탐색하여 특정 작업에 최적인 구조를 찾아내는 알고리즘 전략으로 대체합니다. NAS는 다양한 레이어와 연산 조합을 테스트함으로써 accuracy, 연산 효율성 또는 추론 속도 면에서 인간이 설계한 모델보다 훨씬 뛰어난 아키텍처를 식별할 수 있습니다.

Link to this sectionNAS의 핵심 메커니즘#

최상의 neural network (NN)을 찾기 위해 상호 작용하는 세 가지 기본 차원은 일반적으로 다음과 같습니다:

1. 탐색 공간(Search Space): 이는 알고리즘이 탐색할 수 있는 모든 가능한 아키텍처의 집합을 정의합니다. 이는 convolution 필터, 풀링 레이어, 다양한 activation functions과 같은 빌딩 블록의 라이브러리 역할을 합니다. 잘 정의된 탐색 공간은 복잡성을 제한하여 탐색이 연산 가능하도록 보장하는 동시에 혁신을 위한 충분한 유연성을 제공합니다.

2. 탐색 전략(Search Strategy): 모든 가능성을 테스트하는 대신(무차별 대입 방식), NAS는 지능형 알고리즘을 사용하여 탐색 공간을 효율적으로 탐색합니다. 일반적인 접근 방식으로는 에이전트가 시간이 지남에 따라 더 나은 아키텍처를 생성하는 방법을 학습하는 reinforcement learning과, 성능이 우수한 모델을 변이하고 결합하여 더 나은 후보를 생성하는 evolutionary algorithms이 있습니다.

3. 성능 추정 전략(Performance Estimation Strategy): 모든 후보 네트워크를 처음부터 학습시키는 것은 지나치게 느립니다. 이를 가속화하기 위해 NAS는 더 적은 epochs 학습, 저해상도 프록시 데이터셋 사용, 또는 weight sharing 채택과 같은 추정 기법을 사용하여 후보 아키텍처의 잠재력을 신속하게 순위화합니다.

Link to this section실제 애플리케이션 사례#

NAS는 하드웨어 제약 조건이나 성능 요구 사항이 엄격한 산업 분야에서 핵심적인 역할을 하게 되었으며, computer vision (CV) 및 기타 AI 도메인의 한계를 뛰어넘고 있습니다.

• Efficient Edge Computing: Deploying AI on mobile devices requires models that are both lightweight and fast. NAS is extensively used to discover architectures like MobileNetV3 and EfficientNet that minimize inference latency while maintaining high precision. This is vital for edge AI applications, such as real-time video analytics on smart cameras or autonomous drones.
• 의료 영상: medical image analysis에서 정확도는 무엇보다 중요합니다. NAS는 X-레이나 MRI 스캔에서 미세한 이상 징후를 감지하도록 네트워크를 최적화할 수 있으며, 종종 인간 엔지니어가 간과할 수 있는 새로운 특징 추출 경로를 찾아냅니다. 이는 brain tumors나 골절과 같은 질환을 더 높은 민감도로 식별할 수 있는 더욱 신뢰할 수 있는 도구로 이어집니다.

Link to this sectionNAS와 관련 개념 비교#

NAS의 구체적인 역할을 이해하려면 유사한 최적화 기법과 구분하는 것이 도움이 됩니다:

• NAS vs. 하이퍼파라미터 튜닝: 두 가지 모두 최적화를 포함하지만, hyperparameter tuning은 고정된 아키텍처에 대한 구성 설정(예: learning rate 또는 batch size)을 조정하는 데 중점을 둡니다. 반면 NAS는 레이어 수나 뉴런이 연결되는 방식과 같이 모델 자체의 기본 구조를 변경합니다.
• NAS vs. 전이 학습: Transfer learning은 기존의 사전 학습된 모델을 가져와 새로운 작업에 맞게 가중치를 조정합니다. NAS는 학습이 시작되기 전에 모델 아키텍처를 처음부터 생성하거나 더 나은 backbone을 탐색합니다.

Link to this sectionNAS 파생 모델 활용#

전체 NAS 탐색을 실행하려면 상당한 GPU computing resources가 필요하지만, 개발자는 NAS를 통해 생성된 모델을 쉽게 사용할 수 있습니다. 예를 들어, YOLO-NAS 아키텍처는 object detection 작업을 최적화하기 위해 이러한 탐색 원리를 사용하여 발견되었습니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 사전 탐색된 NAS 모델을 로드하고 사용하는 방법을 보여줍니다:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

NAS의 복잡함 없이 최첨단 모델을 학습하고자 하는 분들을 위해 Ultralytics YOLO26은 최신 연구 성과를 통합하여 즉시 사용 가능한 고도로 최적화된 아키텍처를 제공합니다. Ultralytics Platform을 사용하여 이러한 모델에 대한 데이터셋, 학습 및 배포를 쉽게 관리할 수 있으며, 이 플랫폼은 전체 MLOps 수명 주기를 간소화합니다.