Neural Architecture Search (NAS)

Neural Architecture Search (NAS) — это сложная методика в рамках Automated Machine Learning (AutoML), которая автоматизирует проектирование искусственных нейронных сетей. Традиционно разработка высокопроизводительных архитектур deep learning (DL) требовала от инженеров глубоких знаний, интуиции и трудоемкого метода проб и ошибок. NAS заменяет этот ручной процесс алгоритмическими стратегиями, которые систематически исследуют широкий спектр топологий сетей для поиска оптимальной структуры под конкретную задачу. Тестируя различные комбинации слоев и операций, NAS позволяет находить архитектуры, которые значительно превосходят модели, спроектированные человеком, по точности, вычислительной эффективности или скорости вывода.

Link to this sectionОсновные механизмы NAS#

Процесс обнаружения превосходной архитектуры обычно включает три фундаментальных измерения, взаимодействие которых позволяет найти лучшую нейронную сеть (NN):

1. Поиск в пространстве (Search Space): Это определяет набор всех возможных архитектур, которые алгоритм может исследовать. Он работает как библиотека строительных блоков, таких как фильтры свертки, слои пулинга и различные функции активации. Четко определенное пространство поиска ограничивает сложность, чтобы поиск оставался вычислительно выполнимым, сохраняя при этом достаточную гибкость для инноваций.

2. Стратегия поиска (Search Strategy): Вместо тестирования каждой возможности (метод грубой силы), NAS использует интеллектуальные алгоритмы для эффективной навигации по пространству поиска. Распространенные подходы включают обучение с подкреплением, где агент учится создавать лучшие архитектуры с течением времени, и эволюционные алгоритмы, которые мутируют и комбинируют наиболее эффективные модели для создания еще более совершенных кандидатов.

3. Стратегия оценки производительности: Обучение каждого кандидата с нуля требует слишком много времени. Чтобы ускорить процесс, NAS использует методы оценки — например, обучение на меньшем количестве эпох, использование прокси-наборов данных с низким разрешением или применение совместного использования весов — для быстрой оценки потенциала архитектуры-кандидата.

Link to this sectionРеальные приложения#

NAS стала критически важной в отраслях, где существуют строгие аппаратные ограничения или требования к производительности, расширяя границы компьютерного зрения (CV) и других областей AI.

• Эффективные периферийные вычисления: Развертывание AI на мобильных устройствах требует легких и быстрых моделей. NAS широко используется для создания таких архитектур, как MobileNetV3 и EfficientNet, которые минимизируют задержку вывода, сохраняя при этом высокую точность. Это жизненно важно для приложений edge AI, таких как аналитика видео в реальном времени на смарт-камерах или автономных дронах.
• Медицинская визуализация: В медицинском анализе изображений точность имеет первостепенное значение. NAS может адаптировать сети для обнаружения тонких аномалий на рентгеновских снимках или МРТ, часто находя новые пути извлечения признаков, которые инженеры могут упустить. Это ведет к созданию более надежных инструментов для идентификации таких состояний, как опухоли головного мозга или переломы, с более высокой чувствительностью.

Link to this sectionNAS и связанные с ней концепции#

Чтобы понять конкретную роль NAS, полезно отличать её от схожих методов оптимизации:

• NAS и настройка гиперпараметров: Хотя оба метода включают оптимизацию, настройка гиперпараметров фокусируется на корректировке конфигураций (таких как learning rate или batch size) для фиксированной архитектуры. В противоположность этому, NAS изменяет фундаментальную структуру самой модели, например количество слоев или способ соединения нейронов.
• NAS и трансферное обучение: Трансферное обучение берет существующую предобученную модель и адаптирует её веса к новой задаче. NAS создает архитектуру модели с нуля (или ищет лучший backbone) до того, как начнется обучение.

Link to this sectionИспользование моделей, полученных с помощью NAS#

Хотя выполнение полноценного поиска NAS требует значительных GPU computing resources, разработчики могут легко использовать модели, созданные с помощью NAS. Например, архитектура YOLO-NAS была обнаружена с использованием этих принципов поиска для оптимизации задач обнаружения объектов.

Следующий пример на Python демонстрирует, как загрузить и использовать модель NAS с предварительно выполненным поиском с помощью пакета ultralytics:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Для тех, кто хочет обучать современные модели без сложности NAS, Ultralytics YOLO26 предлагает высокооптимизированную архитектуру «из коробки», включающую последние достижения исследований. Ты можешь легко управлять наборами данных, обучением и развертыванием этих моделей, используя Ultralytics Platform, которая упрощает весь жизненный цикл MLOps.