Tìm kiếm kiến trúc thần kinh (NAS)

Tìm kiếm Kiến trúc Nơ-ron (NAS) là một kỹ thuật tự động hóa thiết kế mạng nơ-ron nhân tạo (NN) . Theo truyền thống, việc thiết kế một kiến trúc mô hình hiệu suất cao đòi hỏi chuyên môn sâu rộng và quá trình thử nghiệm sai sót rộng rãi. NAS tự động hóa quy trình phức tạp này bằng cách sử dụng các thuật toán để khám phá nhiều thiết kế mạng khả thi và xác định kiến trúc tối ưu nhất cho một tác vụ và tập dữ liệu nhất định. Việc tự động hóa này giúp đẩy nhanh quá trình phát triển các mô hình học sâu hiệu quả và mạnh mẽ, giúp AI tiên tiến dễ tiếp cận hơn.

Tìm kiếm kiến trúc thần kinh hoạt động như thế nào

Quá trình NAS có thể được chia thành ba thành phần chính:

1. Không gian tìm kiếm : Định nghĩa tập hợp tất cả các kiến trúc khả thi có thể được thiết kế. Không gian tìm kiếm có thể đơn giản, chỉ định các lựa chọn cho các loại lớp (ví dụ: tích chập , gộp) và kết nối của chúng, hoặc có thể rất phức tạp, cho phép tạo ra các họa tiết kiến trúc mới lạ. Một không gian tìm kiếm được xác định rõ ràng là rất quan trọng để cân bằng giữa tính linh hoạt và tính khả thi về mặt tính toán.
2. Chiến lược Tìm kiếm : Đây là thuật toán được sử dụng để khám phá không gian tìm kiếm. Các phương pháp ban đầu sử dụng tìm kiếm ngẫu nhiên, nhưng các chiến lược tinh vi hơn đã xuất hiện sau đó. Các phương pháp phổ biến bao gồm học tăng cường , trong đó tác nhân học cách chọn kiến trúc tối ưu, và các thuật toán tiến hóa , mô phỏng chọn lọc tự nhiên để "tiến hóa" các kiến trúc tốt hơn qua nhiều thế hệ. Các phương pháp dựa trên gradient, như trong Tìm kiếm Kiến trúc Khả vi (DARTS) , cũng đã trở nên phổ biến nhờ hiệu quả của chúng.
3. Chiến lược Ước tính Hiệu suất : Thành phần này đánh giá chất lượng của từng kiến trúc được đề xuất. Phương pháp đơn giản nhất là huấn luyện mô hình hoàn toàn trên một tập dữ liệu và đo lường hiệu suất của nó, nhưng phương pháp này cực kỳ tốn thời gian. Để tăng tốc quá trình, các nhà nghiên cứu đã phát triển các kỹ thuật hiệu quả hơn như sử dụng tập dữ liệu nhỏ hơn, huấn luyện với ít kỷ nguyên hơn hoặc sử dụng chia sẻ trọng số để tránh phải huấn luyện từng kiến trúc từ đầu.

Ứng dụng và Ví dụ

NAS đã chứng tỏ tính hiệu quả cao trong việc tạo ra các mô hình tiên tiến cho nhiều nhiệm vụ khác nhau, thường vượt trội hơn các kiến trúc do con người thiết kế về hiệu suất và hiệu quả.

• Thị giác Máy tính : NAS được sử dụng rộng rãi để thiết kế các kiến trúc hiệu quả cho việc phát hiện đối tượng và phân loại hình ảnh . Ví dụ, họ mô hình EfficientNet được phát triển bằng NAS để cân bằng một cách có hệ thống độ sâu, độ rộng và độ phân giải của mạng. Tương tự, các mô hình như DAMO-YOLO tận dụng xương sống do NAS tạo ra để đạt được sự cân bằng mạnh mẽ giữa tốc độ và độ chính xác trong việc phát hiện đối tượng.
• Phân tích hình ảnh y tế : Trong chăm sóc sức khỏe, NAS có thể tạo ra các mô hình chuyên biệt cho các tác vụ như phát hiện khối u trong ảnh chụp hoặc phân đoạn cấu trúc tế bào. NAS có thể tối ưu hóa kiến trúc để chạy hiệu quả trên phần cứng chuyên dụng trong các thiết bị y tế, dẫn đến chẩn đoán nhanh hơn và chính xác hơn. Điều này có tiềm năng đáng kể để cải thiện AI trong chăm sóc sức khỏe .

NAS và các khái niệm liên quan

NAS là một thành phần cụ thể trong lĩnh vực rộng hơn của Học máy tự động (AutoML) . Trong khi NAS chỉ tập trung vào việc tìm kiếm kiến trúc mạng nơ-ron tốt nhất, AutoML hướng đến việc tự động hóa toàn bộ quy trình ML, bao gồm các bước như tiền xử lý dữ liệu , thiết kế đặc trưng , lựa chọn mô hình và điều chỉnh siêu tham số .

Điều quan trọng là phải phân biệt NAS với điều chỉnh siêu tham số: điều chỉnh siêu tham số tối ưu hóa các thiết lập cấu hình (như tốc độ học hoặc kích thước lô ) cho một kiến trúc mô hình cố định nhất định , trong khi NAS tìm kiếm chính kiến trúc đó. Cả hai kỹ thuật này thường được sử dụng cùng nhau để đạt được hiệu suất mô hình tối ưu. Các công cụ như Optuna hoặc Ray Tune , tích hợp với các mô hình YOLO của Ultralytics , rất phổ biến để tối ưu hóa siêu tham số. Hiểu được những điểm khác biệt này giúp áp dụng các kỹ thuật tự động hóa phù hợp để xây dựng các hệ thống AI hiệu quả. Bạn có thể tìm hiểu thêm về điều chỉnh siêu tham số trong tài liệu của Ultralytics .