Neural Architecture Search (NAS)

Neural Architecture Search (NAS) là một kỹ thuật tinh vi trong lĩnh vực Automated Machine Learning (AutoML) nhằm tự động hóa việc thiết kế mạng neural nhân tạo. Trước đây, việc thiết kế kiến trúc deep learning (DL) hiệu suất cao đòi hỏi chuyên môn sâu rộng của con người, trực giác và quá trình thử và sai tốn nhiều thời gian. NAS thay thế quy trình thủ công này bằng các chiến lược thuật toán nhằm khám phá có hệ thống một loạt các cấu trúc mạng để tìm ra cấu trúc tối ưu cho một tác vụ cụ thể. Bằng cách thử nghiệm các tổ hợp lớp và phép toán khác nhau, NAS có thể xác định các kiến trúc vượt trội hơn hẳn so do con người thiết kế về mặt accuracy, hiệu suất tính toán hoặc tốc độ suy luận.

Các Cơ chế Cốt lõi của NAS#

Quá trình khám phá một kiến trúc ưu việt thường bao gồm ba chiều kích cơ bản tương tác với nhau để tìm ra neural network (NN) tốt nhất:

1. Search Space: Phần này xác định tập hợp tất cả các kiến trúc có thể mà thuật toán có thể khám phá. Nó hoạt động giống như một thư viện các khối xây dựng, chẳng hạn như các bộ lọc convolution, các lớp gộp (pooling layers) và các activation functions khác nhau. Một không gian tìm kiếm được định nghĩa rõ ràng sẽ giới hạn độ phức tạp để đảm bảo việc tìm kiếm khả thi về mặt tính toán đồng thời vẫn cho phép đủ sự linh hoạt cho sự đổi mới.

2. Search Strategy: Thay vì thử nghiệm mọi khả năng (thuật toán vét cạn - brute force), NAS sử dụng các thuật toán thông minh để điều hướng không gian tìm kiếm một cách hiệu quả. Các phương pháp phổ biến bao gồm reinforcement learning, nơi một tác nhân học cách tạo ra các kiến trúc tốt hơn theo thời gian, và evolutionary algorithms, thực hiện đột biến và kết hợp các mô hình có hiệu suất cao nhất để tạo ra các ứng cử viên ưu việt.

3. Performance Estimation Strategy: Việc huấn luyện từng mạng ứng cử viên từ đầu là quá chậm. Để tăng tốc quá trình này, NAS sử dụng các kỹ thuật ước lượng—chẳng hạn như huấn luyện trên ít epochs hơn, sử dụng tập dữ liệu proxy có độ phân giải thấp hơn, hoặc áp dụng weight sharing—để nhanh chóng xếp hạng tiềm năng của một kiến trúc ứng cử viên.

Các ứng dụng trong thực tế#

NAS đã trở nên quan trọng trong các ngành công nghiệp nơi các ràng buộc về phần cứng hoặc yêu cầu hiệu suất rất khắt khe, đẩy mạnh ranh giới của computer vision (CV) và các lĩnh vực AI khác.

• Efficient Edge Computing: Việc triển khai AI trên thiết bị di động đòi hỏi các mô hình vừa nhẹ vừa nhanh. NAS được sử dụng rộng rãi để khám phá các kiến trúc như MobileNetV3 và EfficientNet nhằm giảm thiểu inference latency đồng thời duy trì độ chính xác cao. Điều này rất quan trọng đối với các ứng dụng edge AI, chẳng hạn như phân tích video thời gian thực trên camera thông minh hoặc máydrone tự động.
• Medical Imaging: Trong medical image analysis, độ chính xác là điều tối quan trọng. NAS có thể tùy chỉnh các mạng để phát hiện các bất thường tinh vi trong ảnh X-quang hoặc quét MRI, thường tìm ra các đường dẫn trích xuất đặc điểm mới lạ mà các kỹ sư có thể bỏ sót. Điều này dẫn đến các công cụ đáng tin cậy hơn để nhận diện các tình trạng như brain tumors hoặc vết nứt xương với độ nhạy cao hơn.

NAS so với các Khái niệm Liên quan#

Để hiểu vai trò cụ thể của NAS, việc phân biệt nó với các kỹ thuật tối ưu hóa tương tự là rất hữu ích:

• NAS vs. Hyperparameter Tuning: Mặc dù cả hai đều liên quan đến tối ưu hóa, hyperparameter tuning tập trung vào việc điều chỉnh các cài đặt cấu hình (như learning rate hoặc batch size) cho một kiến trúc cố định. Ngược lại, NAS thay đổi cấu trúc cơ bản của chính mô hình đó, chẳng hạn như số lượng lớp hoặc cách các neuron được kết nối với nhau.
• NAS vs. Transfer Learning: Transfer learning lấy một mô hình hiện có, đã được huấn luyện trước và điều chỉnh trọng số của nó cho một tác vụ mới. NAS tạo ra kiến trúc mô hình từ đầu (hoặc tìm kiếm một backbone tốt hơn) trước khi quá trình huấn luyện bắt đầu.

Sử dụng các Mô hình được tạo ra từ NAS#

Mặc dù việc chạy một tìm kiếm NAS đầy đủ đòi hỏi GPU computing resources đáng kể, các nhà phát triển vẫn có thể dễ dàng sử dụng các mô hình được tạo ra thông qua NAS. Ví dụ, kiến trúc YOLO-NAS được khám phá bằng cách sử dụng các nguyên tắc tìm kiếm này để tối ưu hóa cho các tác vụ object detection.

Ví dụ về Python sau đây minh họa cách tải và sử dụng một mô hình NAS đã được tìm kiếm trước bằng cách sử dụng gói ultralytics:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Đối với những ai muốn huấn luyện các mô hình tiên tiến mà không cần sự phức tạp của NAS, Ultralytics YOLO26 cung cấp một kiến trúc được tối ưu hóa cao ngay khi sử dụng, tích hợp những tiến bộ mới nhất trong nghiên cứu. Bạn có thể dễ dàng quản lý các tập dữ liệu, quá trình huấn luyện và triển khai cho các mô hình này bằng cách sử dụng Ultralytics Platform, giúp đơn giản hóa toàn bộ vòng đời MLOps.