Neural Architecture Search (NAS)

Tìm kiếm Kiến trúc Mạng thần kinh (NAS) là một kỹ thuật tinh vi trong lĩnh vực Học máy Tự động (AutoML) giúp tự động hóa việc thiết kế các mạng thần kinh nhân tạo. Theo truyền thống, việc thiết kế các kiến trúc deep learning (DL) hiệu suất cao đòi hỏi chuyên môn sâu rộng của con người, sự nhạy bén và quá trình thử sai tốn kém thời gian. NAS thay thế quy trình thủ công này bằng các chiến lược thuật toán để khám phá một cách có hệ thống phạm vi rộng lớn các cấu trúc mạng nhằm tìm ra cấu trúc tối ưu cho một nhiệm vụ cụ thể. Bằng cách kiểm tra các kết hợp khác nhau giữa các lớp và thao tác, NAS có thể xác định được những kiến trúc vượt trội đáng kể so với các mô hình do con người thiết kế về độ chính xác, hiệu quả tính toán hoặc tốc độ suy luận.

Link to this sectionCác Cơ chế Cốt lõi của NAS#

Quy trình khám phá một kiến trúc vượt trội thường bao gồm ba khía cạnh cơ bản tương tác với nhau để tìm ra mạng thần kinh (NN) tốt nhất:

1. Không gian Tìm kiếm: Điều này định nghĩa tập hợp tất cả các kiến trúc khả thi mà thuật toán có thể khám phá. Nó hoạt động như một thư viện các khối xây dựng, chẳng hạn như bộ lọc convolution, các lớp pooling, và các hàm kích hoạt khác nhau. Một không gian tìm kiếm được xác định rõ ràng sẽ hạn chế độ phức tạp để đảm bảo quá trình tìm kiếm duy trì tính khả thi về mặt tính toán, đồng thời cho phép sự linh hoạt cần thiết cho việc đổi mới.

2. Chiến lược Tìm kiếm: Thay vì kiểm tra mọi khả năng (brute force), NAS sử dụng các thuật toán thông minh để điều hướng không gian tìm kiếm một cách hiệu quả. Các phương pháp phổ biến bao gồm học tăng cường, nơi một tác nhân học cách tạo ra các kiến trúc tốt hơn theo thời gian, và thuật toán tiến hóa, trong đó các mô hình hiệu suất cao được đột biến và kết hợp để tạo ra những ứng viên ưu việt hơn.

3. Chiến lược Ước tính Hiệu suất: Việc huấn luyện mọi mạng ứng viên từ đầu là quá chậm. Để tăng tốc điều này, NAS sử dụng các kỹ thuật ước tính—chẳng hạn như huấn luyện trên ít epoch hơn, sử dụng các tập dữ liệu proxy có độ phân giải thấp hơn, hoặc sử dụng chia sẻ trọng số—để xếp hạng nhanh chóng tiềm năng của một kiến trúc ứng viên.

Link to this sectionCác ứng dụng trong thực tế#

NAS đã trở nên quan trọng trong các ngành công nghiệp nơi mà các hạn chế về phần cứng hoặc yêu cầu về hiệu suất là rất nghiêm ngặt, thúc đẩy ranh giới của computer vision (CV) và các lĩnh vực AI khác.

• Điện toán Biên Hiệu quả: Việc triển khai AI trên các thiết bị di động đòi hỏi các mô hình phải vừa nhẹ vừa nhanh. NAS được sử dụng rộng rãi để khám phá các kiến trúc như MobileNetV3 và EfficientNet giúp giảm thiểu độ trễ suy luận trong khi vẫn duy trì độ chính xác cao. Điều này rất quan trọng đối với các ứng dụng edge AI, chẳng hạn như phân tích video thời gian thực trên camera thông minh hoặc máy bay không người lái tự hành.
• Chẩn đoán Hình ảnh Y tế: Trong phân tích hình ảnh y tế, độ chính xác là ưu tiên hàng đầu. NAS có thể tùy chỉnh các mạng để phát hiện những bất thường tinh vi trong ảnh X-quang hoặc kết quả chụp MRI, thường tìm ra các con đường trích xuất đặc trưng mới lạ mà các kỹ sư con người có thể bỏ qua. Điều này dẫn đến các công cụ đáng tin cậy hơn để xác định các tình trạng như u não hoặc gãy xương với độ nhạy cao hơn.

Link to this sectionNAS so với các Khái niệm Liên quan#

Để hiểu vai trò cụ thể của NAS, việc phân biệt nó với các kỹ thuật tối ưu hóa tương tự là rất hữu ích:

• NAS so với Điều chỉnh Siêu tham số: Mặc dù cả hai đều liên quan đến tối ưu hóa, điều chỉnh siêu tham số tập trung vào việc điều chỉnh các thiết lập cấu hình (như tốc độ học hoặc batch size) cho một kiến trúc cố định. Ngược lại, NAS thay đổi cấu trúc cơ bản của chính mô hình đó, ví dụ như số lượng các lớp hoặc cách các neuron được kết nối.
• NAS so với Học chuyển đổi: Học chuyển đổi sử dụng một mô hình đã được huấn luyện sẵn và điều chỉnh các trọng số của nó cho một nhiệm vụ mới. NAS tạo ra kiến trúc mô hình từ đầu (hoặc tìm kiếm một backbone tốt hơn) trước khi quá trình huấn luyện bắt đầu.

Link to this sectionSử dụng các Mô hình được tạo ra từ NAS#

Mặc dù việc thực hiện một quy trình tìm kiếm NAS đầy đủ đòi hỏi tài nguyên tính toán GPU đáng kể, các nhà phát triển có thể dễ dàng sử dụng các mô hình đã được tạo ra thông qua NAS. Ví dụ, kiến trúc YOLO-NAS đã được khám phá bằng cách sử dụng các nguyên tắc tìm kiếm này để tối ưu hóa cho các nhiệm vụ phát hiện đối tượng.

Ví dụ Python sau đây trình bày cách tải và sử dụng một mô hình NAS đã được tìm kiếm sẵn bằng cách sử dụng gói ultralytics:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Đối với những ai đang tìm cách huấn luyện các mô hình tiên tiến nhất mà không cần sự phức tạp của NAS, Ultralytics YOLO26 mang đến một kiến trúc được tối ưu hóa cao ngay khi sử dụng, tích hợp những tiến bộ mới nhất trong nghiên cứu. Bạn có thể dễ dàng quản lý tập dữ liệu, huấn luyện và triển khai các mô hình này bằng Ultralytics Platform, giúp đơn giản hóa toàn bộ vòng đời MLOps.