Adam Optimizer

Trình tối ưu hóa Adam, viết tắt của Adaptive Moment Estimation, là một thuật toán tối ưu hóa tinh vi được sử dụng rộng rãi để huấn luyện các mô hình học sâu (deep learning). Nó đã tạo ra bước ngoặt trong lĩnh vực này bằng cách kết hợp những ưu điểm của hai phần mở rộng phổ biến khác của stochastic gradient descent (SGD): Adaptive Gradient Algorithm (AdaGrad) và Root Mean Square Propagation (RMSProp). Bằng cách tính toán tốc độ học thích ứng riêng biệt cho các tham số khác nhau từ ước tính của các mô-men bậc một và bậc hai của gradient, Adam cho phép các mạng thần kinh hội tụ nhanh hơn đáng kể so với các phương pháp truyền thống. Tính mạnh mẽ và yêu cầu điều chỉnh tối thiểu khiến nó trở thành lựa chọn mặc định cho nhiều người thực hành khi bắt đầu một dự án học máy (ML) mới.

Link to this sectionCách thức hoạt động của Adam#

Về cốt lõi, việc huấn luyện một mô hình liên quan đến việc giảm thiểu hàm mất mát, thước đo sự khác biệt giữa các dự đoán của mô hình và dữ liệu thực tế. Các thuật toán tiêu chuẩn thường sử dụng kích thước bước không đổi (tốc độ học) để đi xuống "cảnh quan mất mát" (loss landscape) hướng tới sai số tối thiểu. Tuy nhiên, cảnh quan này thường phức tạp, với các rãnh và cao nguyên có thể khiến các thuật toán đơn giản hơn bị mắc kẹt.

Adam giải quyết vấn đề này bằng cách duy trì hai bộ đệm lịch sử cho mỗi tham số:

1. Mô-men (Bậc một): Tương tự như một quả bóng nặng lăn xuống đồi, nó theo dõi trung bình động của các gradient trong quá khứ để duy trì vận tốc theo hướng có liên quan.

2. Phương sai (Bậc hai): Nó theo dõi trung bình động của các gradient bình phương, giúp điều chỉnh tỷ lệ của tốc độ học.

Sự kết hợp này cho phép trình tối ưu hóa thực hiện các bước lớn hơn ở những vùng phẳng của cảnh quan và các bước nhỏ hơn, thận trọng hơn ở những vùng dốc hoặc nhiều nhiễu. Các cơ chế cụ thể được trình bày chi tiết trong bài báo nghiên cứu về Adam của Kingma và Ba, chứng minh ưu thế thực nghiệm của nó trên nhiều tác vụ học sâu (DL) khác nhau.

Link to this sectionCác ứng dụng trong thực tế#

Tính linh hoạt của trình tối ưu hóa Adam đã dẫn đến việc nó được áp dụng trên hầu hết mọi lĩnh vực của trí tuệ nhân tạo (AI).

• Xử lý ngôn ngữ tự nhiên (NLP): Các mô hình ngôn ngữ lớn, chẳng hạn như Generative Pre-trained Transformers (GPT), phụ thuộc rất nhiều vào Adam (hoặc biến thể AdamW) để huấn luyện. Thuật toán này xử lý hiệu quả các gradient thưa liên quan đến vốn từ vựng phong phú và tập dữ liệu khổng lồ, cho phép tạo ra các chatbot và hệ thống dịch thuật mạnh mẽ.
• Thị giác máy tính trong chăm sóc sức khỏe: Trong phân tích hình ảnh y tế, các mô hình phải phát hiện những điểm bất thường tinh vi như khối u trong ảnh quét MRI. Adam giúp các mạng thần kinh tích chập (CNNs) hội tụ nhanh chóng đến các giải pháp có độ chính xác cao, điều này rất quan trọng khi phát triển các công cụ chẩn đoán cho AI trong chăm sóc sức khỏe.

Link to this sectionAdam so với SGD#

Mặc dù Adam thường hội tụ nhanh hơn, nhưng điều quan trọng là phải phân biệt nó với Stochastic Gradient Descent (SGD). SGD cập nhật trọng số mô hình bằng cách sử dụng tốc độ học cố định và thường được ưu tiên cho các giai đoạn cuối của quá trình huấn luyện các mô hình phát hiện đối tượng hiện đại vì đôi khi nó có thể đạt được khả năng tổng quát hóa (độ chính xác cuối cùng) tốt hơn một chút trên dữ liệu kiểm tra.

Tuy nhiên, Adam có tính "thích ứng", nghĩa là nó tự động xử lý việc điều chỉnh tốc độ học. Điều này làm cho nó thân thiện với người dùng hơn nhiều đối với các thử nghiệm ban đầu và các kiến trúc phức tạp, nơi mà việc điều chỉnh SGD sẽ rất khó khăn. Đối với người dùng quản lý các thử nghiệm trên Ultralytics Platform, việc chuyển đổi giữa các trình tối ưu hóa này để so sánh hiệu suất thường là một bước quan trọng trong điều chỉnh siêu tham số.

Link to this sectionTriển khai với Ultralytics#

Các framework hiện đại như PyTorch và thư viện Ultralytics giúp việc sử dụng Adam trở nên đơn giản. Một biến thể phổ biến được gọi là AdamW (Adam với Weight Decay) thường được khuyến nghị vì nó khắc phục các vấn đề liên quan đến chính quy hóa (regularization) trong thuật toán Adam gốc. Điều này đặc biệt hiệu quả đối với các kiến trúc mới nhất như YOLO26, vốn được hưởng lợi từ sự ổn định mà AdamW mang lại.

Ví dụ sau đây minh họa cách huấn luyện mô hình YOLO26 bằng trình tối ưu hóa AdamW:

from ultralytics import YOLO

# Load the cutting-edge YOLO26n model
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimizer
# The 'optimizer' argument allows easy switching between SGD, Adam, AdamW, etc.
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Đối với các nhà phát triển quan tâm đến các nền tảng lý thuyết sâu hơn, các tài nguyên như Ghi chú về Tối ưu hóa CS231n của Stanford cung cấp hình ảnh minh họa tuyệt vời về cách Adam so sánh với các thuật toán khác như RMSProp và AdaGrad. Ngoài ra, Tài liệu về Trình tối ưu hóa của PyTorch cung cấp các chi tiết kỹ thuật về các đối số và đặc điểm triển khai có sẵn để tùy chỉnh.