신경망 아키텍처 검색(NAS)

신경망 아키텍처 검색(NAS)은 인공 신경망(NN)의 설계를 자동화하는 기술입니다. 기존에는 고성능 모델 아키텍처를 설계하려면 상당한 전문 지식과 광범위한 시행착오가 필요했습니다. NAS는 알고리즘을 사용하여 가능한 광범위한 네트워크 설계를 탐색하고 주어진 작업과 데이터 세트에 가장 적합한 아키텍처를 식별함으로써 이 복잡한 프로세스를 자동화합니다. 이러한 자동화는 효율적이고 강력한 딥 러닝 모델의 개발을 가속화하여 고급 AI에 더 쉽게 접근할 수 있도록 합니다.

신경망 아키텍처 검색의 작동 방식

NAS 프로세스는 세 가지 주요 구성 요소로 나눌 수 있습니다:

1. 공간 검색: 설계할 수 있는 모든 가능한 아키텍처의 집합을 정의합니다. 검색 공간은 레이어 유형(예: 컨볼루션, 풀링)과 그 연결에 대한 선택 사항을 지정하는 단순할 수도 있고, 새로운 아키텍처 모티프를 허용하는 매우 복잡할 수도 있습니다. 잘 정의된 검색 공간은 유연성과 계산 실행 가능성의 균형을 맞추는 데 매우 중요합니다.
2. 검색 전략: 검색 공간을 탐색하는 데 사용되는 알고리즘입니다. 초기에는 무작위 검색을 사용했지만 이후 보다 정교한 전략이 등장했습니다. 일반적인 접근 방식에는 에이전트가 최적의 아키텍처를 선택하는 방법을 학습하는 강화 학습과 자연 선택을 모방하여 여러 세대에 걸쳐 더 나은 아키텍처를 "진화"시키는 진화 알고리즘이 포함됩니다. 차별적 아키텍처 검색(DARTS)과 같은 그라데이션 기반 방법도 효율성으로 인해 인기를 얻고 있습니다.
3. 성능 추정 전략: 이 구성 요소는 제안된 각 아키텍처의 품질을 평가합니다. 가장 간단한 방법은 데이터 세트에 대해 모델을 완전히 훈련하고 성능을 측정하는 것이지만 시간이 많이 걸립니다. 프로세스 속도를 높이기 위해 연구자들은 더 작은 데이터 세트를 사용하거나, 더 적은 기간 동안 훈련하거나, 가중치 공유를 사용하여 각 아키텍처를 처음부터 훈련하지 않는 등 보다 효율적인 기술을 개발했습니다.

애플리케이션 및 예시

NAS는 다양한 작업을 위한 최첨단 모델을 만드는 데 매우 효과적이며, 종종 성능과 효율성 면에서 사람이 설계한 아키텍처를 능가하는 것으로 입증되었습니다.

• 컴퓨터 비전: NAS는 물체 감지 및 이미지 분류를 위한 효율적인 아키텍처를 설계하는 데 널리 사용됩니다. 예를 들어, 네트워크 깊이, 폭, 해상도의 체계적인 균형을 맞추기 위해 NAS를 사용하여 EfficientNet 모델 제품군이 개발되었습니다. 마찬가지로 DAMO-YOLO와 같은 모델은 NAS에서 생성된 백본을 활용하여 물체 감지를 위한 속도와 정확도 간의 강력한 균형을 달성합니다.
• 의료 영상 분석: 의료 분야에서 NAS는 스캔에서 종양 감지 또는 세포 구조 분할과 같은 작업을 위한 특수 모델을 생성할 수 있습니다. NAS는 의료 기기의 특수 하드웨어에서 효율적으로 실행되도록 아키텍처를 최적화하여 더 빠르고 정확한 진단을 내릴 수 있습니다. 이는 의료 분야에서 AI를 개선할 수 있는 상당한 잠재력을 가지고 있습니다.

NAS 및 관련 개념

NAS는 광범위한 자동화된 머신 러닝(AutoML) 분야 내의 특정 구성 요소입니다. NAS는 최적의 신경망 아키텍처를 찾는 데에만 초점을 맞추는 반면, AutoML은 데이터 전처리, 기능 엔지니어링, 모델 선택, 하이퍼파라미터 튜닝 등의 단계를 포함한 전체 ML 파이프라인을 자동화하는 것을 목표로 합니다.

하이퍼파라미터 튜닝은 주어진 고정 모델 아키텍처에 대한 구성 설정(예: 학습 속도 또는 배치 크기)을 최적화하는 반면, NAS는 아키텍처 자체를 검색합니다. 최적의 모델 성능을 달성하기 위해 두 가지 기술을 함께 사용하는 경우가 많습니다. 하이퍼파라미터 최적화를 위해 Optuna 또는 Ultralytics YOLO 모델과 통합되는 Ray Tune과 같은 도구가 널리 사용됩니다. 이러한 차이점을 이해하면 효율적인 AI 시스템을 구축하기 위한 올바른 자동화 기술을 적용하는 데 도움이 됩니다. 하이퍼파라미터 튜닝에 대한 자세한 내용은 Ultralytics 설명서에서 확인할 수 있습니다.