Optimization Algorithm

Thuật toán tối ưu hóa đóng vai trò là công cụ tính toán cốt lõi thúc đẩy quá trình huấn luyện của các mô hình machine learning (ML) và deep learning (DL). Trách nhiệm chính của thuật toán là liên tục điều chỉnh các model weights và độ lệch bên trong để giảm thiểu sai số giữa kết quả dự đoán và mục tiêu thực tế. Bạn có thể hình dung quá trình này giống như một người leo núi đang cố gắng di chuyển xuống một ngọn núi có sương mù để đến điểm thấp nhất trong thung lũng. Thuật toán tối ưu hóa đóng vai trò là người hướng dẫn, xác định hướng đi và kích thước bước chân mà người leo núi nên thực hiện để xuống đến đáy, tương ứng với trạng thái mà loss function được giảm thiểu và accuracy dự đoán của mô hình được tối đa hóa.

Cách thức hoạt động của các thuật toán tối ưu hóa#

Quá trình huấn luyện một neural network bao gồm một chu kỳ lặp đi lặp lại gồm dự đoán, tính toán sai số và cập nhật tham số. Thuật toán tối ưu hóa kiểm soát giai đoạn "cập nhật" của vòng lặp này. Sau khi một lô training data được xử lý, hệ thống sẽ tính toán gradient—một véc-tơ chỉ theo hướng gia tăng sai số lớn nhất—bằng cách sử dụng phương pháp gọi là backpropagation.

Bộ tối ưu hóa sau đó cập nhật các tham số mô hình theo hướng ngược lại với gradient để giảm sai số. Độ lớn của bản cập nhật này được chi phối bởi một siêu tham số quan trọng được gọi là learning rate. Nếu bước quá lớn, mô hình có thể vượt qua global minimum; nếu bước quá nhỏ, quá trình huấn luyện có thể trở nên chậm một cách đáng kể hoặc bị kẹt trong một local minimum. Các tài nguyên nâng cao như Stanford CS231n optimization notes cung cấp cái nhìn chi tiết hơn về các động lực này.

Các loại thuật toán tối ưu hóa phổ biến#

Các bài toán khác nhau đòi hỏi các chiến lược khác nhau. Mặc dù có nhiều biến thể, một vài thuật toán chủ chốt đang chiếm ưu thế trong phát triển AI hiện đại:

• Stochastic Gradient Descent (SGD): Một phương pháp cổ điển cập nhật các tham số bằng cách sử dụng một mẫu đơn lẻ hoặc một batch nhỏ thay vì toàn bộ tập dữ liệu. Phương pháp này có hiệu quả tính toán cao và được sử dụng rộng rãi trong các thư viện như Scikit-learn.
• Adam Optimizer: Viết tắt của Adaptive Moment Estimation, Adam điều chỉnh tốc độ học cho từng tham số riêng lẻ. Phương pháp này được trình bày chi tiết trong Adam research paper by Kingma and Ba nền tảng và thường là lựa chọn mặc định cho quá trình huấn luyện đa mục đích nhờ tốc độ và các thuộc tính hội tụ.
• AdamW: Một biến thể của Adam tách rời phần suy giảm trọng số khỏi quá trình cập nhật gradient, dẫn đến khả năng tổng quát hóa tốt hơn. Đây thường là bộ tối ưu hóa được ưu tiên để huấn luyện các kiến trúc tiên tiến như Transformers và các mô hình Ultralytics YOLO26 hiệu suất cao.

Các ứng dụng trong thực tế#

Các thuật toán tối ưu hóa hoạt động âm thầm đằng sau hậu trường của hầu như mọi AI solution thành công, chuyển đổi dữ liệu thành thông tin chi tiết có thể hành động.

1. Autonomous Vehicles: Trong công nghệ tự lái, các hệ thống object detection phải nhận diện ngay lập tức người đi bộ, đèn giao thông và các xe khác. Trong quá trình huấn luyện các hệ thống này cho AI in Automotive, một thuật toán tối ưu hóa xử lý hàng triệu hình ảnh đường phố, tinh chỉnh mạng lưới để giảm thiểu lỗi phát hiện. Điều này đảm bảo xe dừng lại đáng tin cậy khi nhìn thấy con người, ngăn ngừa tai nạn.

2. Medical Image Analysis: Đối với các ứng dụng trong AI in Healthcare, chẳng hạn như xác định khối u trong quét MRI, độ chính xác là điều không thể thương lượng. Các bộ tối ưu hóa hướng dẫn quá trình huấn luyện Convolutional Neural Networks (CNNs) để phân biệt mô ác tính với mô lành tính với độ nhạy cao, làm giảm nguy cơ chẩn đoán âm tính giả trong các ca chẩn đoán quan trọng.

Phân biệt các khái niệm liên quan#

Việc phân biệt thuật toán tối ưu hóa với các thành phần khác trong quá trình học tập là rất quan trọng để hiểu rõ quy trình làm việc một cách hiệu quả.

• Optimization Algorithm vs. Loss Function: Hàm mất mát đóng vai trò là "bảng điểm", tính toán một giá trị số (chẳng hạn như Mean Squared Error) biểu thị mức độ sai sót trong các dự đoán của mô hình. Thuật toán tối ưu hóa là "chiến lược gia" sử dụng điểm số này để điều chỉnh trọng số và cải thiện hiệu suất trong vòng tiếp theo.
• Optimization Algorithm vs. Hyperparameter Tuning: Thuật toán tối ưu hóa học các tham số bên trong (trọng số) trong suốt các vòng lặp huấn luyện. Việc điều chỉnh siêu tham số bao gồm việc chọn các cài đặt bên ngoài tốt nhất—chẳng hạn như lựa chọn bộ tối ưu hóa, kích thước lô, hoặc tốc độ học ban đầu—trước khi quá trình huấn luyện bắt đầu. Các công cụ tự động như Ray Tune thường được sử dụng để tìm ra sự kết hợp tối ưu của các cài đặt bên ngoài này.

Triển khai tối ưu hóa trong Python#

Trong các framework hiện đại, việc chọn một thuật toán tối ưu hóa thường được thực hiện thông qua một đối số duy nhất. Ví dụ sau đây minh họa cách huấn luyện một mô hình YOLO26 sử dụng bộ tối ưu hóa AdamW trong gói ultralytics. Người dùng cũng có thể tận dụng Ultralytics Platform để có cách tiếp cận không cần mã nguồn nhằm quản lý các phiên huấn luyện này.

from ultralytics import YOLO

# Load the latest YOLO26 model (recommended for new projects)
model = YOLO("yolo26n.pt")

# Train the model using the 'AdamW' optimization algorithm
# The optimizer iteratively updates weights to minimize loss on the dataset
results = model.train(data="coco8.yaml", epochs=5, optimizer="AdamW")

Đối với những người quan tâm đến các cơ chế cấp thấp hơn, các framework như PyTorch Optimizers và TensorFlow Keras Optimizers cung cấp tài liệu phong phú về cách triển khai và tùy chỉnh các thuật toán này cho các kiến trúc nghiên cứu tùy chỉnh.