신경망 아키텍처 검색(NAS)

신경망 아키텍처 탐색(NAS)은 인공 신경망(NN) 설계를 자동화하는 기술입니다. 전통적으로 고성능 모델 아키텍처를 설계하려면 상당한 전문 지식과 광범위한 시행착오가 필요했습니다. NAS는 알고리즘을 사용하여 가능한 네트워크 설계를 광범위하게 탐색하고 주어진 작업 및 데이터 세트에 가장 적합한 아키텍처를 식별함으로써 이 복잡한 프로세스를 자동화합니다. 이러한 자동화는 효율적이고 강력한 딥 러닝 모델 개발을 가속화하여 고급 AI에 대한 접근성을 높입니다.

신경망 아키텍처 탐색은 어떻게 작동하나요?

NAS 프로세스는 세 가지 주요 구성 요소로 나눌 수 있습니다.

1. 검색 공간: 이는 설계할 수 있는 모든 가능한 아키텍처 집합을 정의합니다. 검색 공간은 레이어 유형(컨볼루션, 풀링 등)과 해당 연결에 대한 선택을 지정하는 단순한 것일 수도 있고, 새로운 아키텍처 모티프를 허용하는 매우 복잡한 것일 수도 있습니다. 잘 정의된 검색 공간은 유연성과 계산 가능성의 균형을 맞추는 데 중요합니다.
2. 검색 전략: 이는 검색 공간을 탐색하는 데 사용되는 알고리즘입니다. 초기 방법은 임의 검색을 사용했지만 이후 더 정교한 전략이 등장했습니다. 일반적인 접근 방식으로는 에이전트가 최적의 아키텍처를 선택하는 방법을 학습하는 강화 학습와 자연 선택을 모방하여 세대를 거듭하면서 더 나은 아키텍처를 "진화"시키는 진화 알고리즘이 있습니다. Differentiable Architecture Search (DARTS)의 방법과 같이 기울기 기반 방법도 효율성으로 인해 인기를 얻고 있습니다.
3. 성능 추정 전략: 이 구성 요소는 제안된 각 아키텍처의 품질을 평가합니다. 가장 간단한 방법은 데이터 세트에서 모델을 완전히 훈련하고 성능을 측정하는 것이지만 시간이 매우 오래 걸립니다. 프로세스 속도를 높이기 위해 연구자들은 더 작은 데이터 세트를 사용하거나, 더 적은 에포크 동안 훈련하거나, 가중치 공유를 사용하여 각 아키텍처를 처음부터 훈련하지 않는 것과 같은 더 효율적인 기술을 개발했습니다.

응용 분야 및 예시

NAS는 다양한 작업에 대한 최첨단 모델을 만드는 데 매우 효과적인 것으로 입증되었으며, 성능 및 효율성 측면에서 인간이 설계한 아키텍처를 능가하는 경우가 많습니다.

• 컴퓨터 비전: NAS는 객체 탐지 및 이미지 분류를 위한 효율적인 아키텍처를 설계하는 데 널리 사용됩니다. 예를 들어 EfficientNet 모델 제품군은 네트워크 깊이, 너비 및 해상도의 균형을 체계적으로 조정하기 위해 NAS를 사용하여 개발되었습니다. 마찬가지로 DAMO-YOLO와 같은 모델은 객체 탐지에서 속도와 정확도 간의 강력한 균형을 달성하기 위해 NAS에서 생성된 백본을 활용합니다.
• 의료 영상 분석: 의료 분야에서 NAS는 스캔에서 종양 탐지 또는 세포 구조 분할과 같은 작업을 위한 특수 모델을 만들 수 있습니다. NAS는 의료 기기에서 볼 수 있는 특수 하드웨어에서 효율적으로 실행되도록 아키텍처를 최적화하여 더 빠르고 정확한 진단을 내릴 수 있습니다. 이는 의료 AI 개선에 상당한 잠재력이 있습니다.

NAS 및 관련 개념

NAS는 더 넓은 자동화된 머신 러닝(AutoML) 분야 내의 특정 구성 요소입니다. NAS는 최상의 신경망 아키텍처를 찾는 데만 집중하는 반면, AutoML은 데이터 전처리, 특성 엔지니어링, 모델 선택 및 하이퍼파라미터 튜닝과 같은 단계를 포함하여 전체 ML 파이프라인을 자동화하는 것을 목표로 합니다.

NAS를 하이퍼파라미터 튜닝과 구별하는 것이 중요합니다. 하이퍼파라미터 튜닝은 주어진 고정 모델 아키텍처에 대한 구성 설정(예: 학습률 또는 배치 크기)을 최적화하는 반면, NAS는 아키텍처 자체를 검색합니다. 두 기술 모두 최적의 모델 성능을 달성하기 위해 함께 사용되는 경우가 많습니다. Ultralytics YOLO 모델과 통합되는 Optuna 또는 Ray Tune과 같은 도구는 하이퍼파라미터 최적화에 널리 사용됩니다. 이러한 차이점을 이해하면 효율적인 AI 시스템 구축을 위한 올바른 자동화 기술을 적용하는 데 도움이 됩니다. Ultralytics 문서에서 하이퍼파라미터 튜닝에 대해 자세히 알아볼 수 있습니다.