Tìm kiếm kiến trúc mạng nơ-ron (Neural Architecture Search - NAS)

Tìm kiếm kiến ​​trúc mạng nơ-ron (Neural Architecture Search - NAS) là một kỹ thuật tinh vi trong lĩnh vực Học máy tự động (Automated Machine Learning - AutoML) giúp tự động hóa quá trình thiết kế mạng nơ-ron nhân tạo. Theo truyền thống, việc thiết kế các kiến ​​trúc học sâu (Deep Learning - DL) hiệu năng cao đòi hỏi kiến ​​thức chuyên môn, trực giác và thời gian thử nghiệm tốn kém của con người. NAS thay thế quy trình thủ công này bằng các chiến lược thuật toán, hệ thống hóa việc khám phá một loạt các cấu trúc mạng để tìm ra cấu trúc tối ưu cho một nhiệm vụ cụ thể. Bằng cách thử nghiệm nhiều sự kết hợp khác nhau giữa các lớp và phép toán, NAS có thể xác định các kiến ​​trúc vượt trội hơn đáng kể so với các mô hình do con người thiết kế về độ chính xác , hiệu quả tính toán hoặc tốc độ suy luận.

Các cơ chế cốt lõi của NAS

Quá trình tìm ra một kiến ​​trúc ưu việt thường bao gồm ba khía cạnh cơ bản tương tác với nhau để tìm ra mạng nơ-ron (NN) tốt nhất:

1. Không gian tìm kiếm : Đây là định nghĩa tập hợp tất cả các kiến ​​trúc khả thi mà thuật toán có thể khám phá. Nó hoạt động như một thư viện các khối xây dựng, chẳng hạn như bộ lọc tích chập , lớp gộp và các hàm kích hoạt khác nhau. Một không gian tìm kiếm được định nghĩa rõ ràng sẽ hạn chế độ phức tạp để đảm bảo quá trình tìm kiếm vẫn khả thi về mặt tính toán, đồng thời cho phép đủ sự linh hoạt để đổi mới.
2. Chiến lược tìm kiếm : Thay vì thử mọi khả năng (phương pháp vét cạn), NAS sử dụng các thuật toán thông minh để điều hướng không gian tìm kiếm một cách hiệu quả. Các phương pháp phổ biến bao gồm học tăng cường , trong đó tác nhân học cách tạo ra các kiến ​​trúc tốt hơn theo thời gian, và các thuật toán tiến hóa , giúp đột biến và kết hợp các mô hình hoạt động tốt nhất để tạo ra các ứng viên ưu việt hơn.
3. Chiến lược ước lượng hiệu năng : Việc huấn luyện từng mạng ứng cử viên từ đầu là quá chậm. Để tăng tốc quá trình này, NAS sử dụng các kỹ thuật ước lượng — chẳng hạn như huấn luyện trên ít epoch hơn, sử dụng tập dữ liệu proxy có độ phân giải thấp hơn hoặc sử dụng chia sẻ trọng số — để nhanh chóng xếp hạng tiềm năng của một kiến ​​trúc ứng cử viên.

Các Ứng dụng Thực tế

NAS đã trở nên vô cùng quan trọng trong các ngành công nghiệp có những hạn chế về phần cứng hoặc yêu cầu về hiệu năng nghiêm ngặt, thúc đẩy ranh giới của thị giác máy tính (CV) và các lĩnh vực trí tuệ nhân tạo khác.

• Điện toán biên hiệu quả : Việc triển khai AI trên thiết bị di động đòi hỏi các mô hình vừa nhẹ vừa nhanh. NAS được sử dụng rộng rãi để tìm ra các kiến ​​trúc như MobileNetV3 và EfficientNet giúp giảm thiểu độ trễ suy luận trong khi vẫn duy trì độ chính xác cao. Điều này rất quan trọng đối với các ứng dụng AI biên , chẳng hạn như phân tích video thời gian thực trên camera thông minh hoặc máy bay không người lái tự hành.
• Hình ảnh y tế : Trong phân tích hình ảnh y tế , độ chính xác là tối quan trọng. NAS có thể tùy chỉnh mạng lưới để đáp ứng các yêu cầu này. detect Những bất thường nhỏ trong ảnh chụp X-quang hoặc MRI thường giúp phát hiện các phương pháp trích xuất đặc điểm mới mà các kỹ sư con người có thể bỏ sót. Điều này dẫn đến việc tạo ra các công cụ đáng tin cậy hơn để xác định các bệnh lý như u não hoặc gãy xương với độ nhạy cao hơn.

NAS so với các khái niệm liên quan

Để hiểu rõ vai trò cụ thể của NAS, cần phân biệt nó với các kỹ thuật tối ưu hóa tương tự:

• NAS so với điều chỉnh siêu tham số : Mặc dù cả hai đều liên quan đến tối ưu hóa, nhưng điều chỉnh siêu tham số tập trung vào việc điều chỉnh các thiết lập cấu hình (như tốc độ học hoặc kích thước lô ) cho một kiến trúc cố định . Ngược lại, NAS thay đổi cấu trúc cơ bản của chính mô hình, chẳng hạn như số lớp hoặc cách các nơ-ron được kết nối.
• NAS so với Học chuyển giao : Học chuyển giao sử dụng một mô hình đã được huấn luyện trước đó và điều chỉnh trọng số của nó cho một nhiệm vụ mới. NAS tạo ra kiến trúc mô hình từ đầu (hoặc tìm kiếm một kiến trúc xương sống tốt hơn) trước khi bắt đầu huấn luyện.

Sử dụng các mô hình có nguồn gốc từ NAS

Mặc dù việc chạy tìm kiếm NAS đầy đủ đòi hỏi tài nguyên tính toán GPU đáng kể, các nhà phát triển có thể dễ dàng sử dụng các mô hình được tạo ra thông qua NAS. Ví dụ, kiến trúc YOLO -NAS được phát hiện bằng cách sử dụng các nguyên tắc tìm kiếm này để tối ưu hóa cho các tác vụ phát hiện đối tượng .

Sau đây Python Ví dụ này minh họa cách tải và sử dụng mô hình NAS đã được tìm kiếm trước đó bằng cách sử dụng... ultralytics bưu kiện:

from ultralytics import NAS

# Load a pre-trained YOLO-NAS model (architecture found via NAS)
# 'yolo_nas_s.pt' refers to the small version of the model
model = NAS("yolo_nas_s.pt")

# Run inference on an image to detect objects
# This utilizes the optimized architecture for fast detection
results = model("https://ultralytics.com/images/bus.jpg")

# Print the top detected class
print(f"Detected: {results[0].names[int(results[0].boxes.cls[0])]}")

Đối với những ai muốn huấn luyện các mô hình hiện đại mà không cần sự phức tạp của NAS, Ultralytics YOLO26 cung cấp một kiến ​​trúc được tối ưu hóa cao ngay từ đầu, tích hợp những tiến bộ mới nhất trong nghiên cứu. Bạn có thể dễ dàng quản lý tập dữ liệu, huấn luyện và triển khai các mô hình này bằng Nền tảng Ultralytics , giúp đơn giản hóa toàn bộ vòng đời MLOps.