Backpropagation

Lan truyền ngược, viết tắt của "lan truyền ngược sai số", là thuật toán nền tảng cho phép các hệ thống trí tuệ nhân tạo hiện đại học từ dữ liệu. Thuật toán này đóng vai trò như một sứ giả toán học trong quá trình huấn luyện model, tính toán chính xác mức độ đóng góp của từng tham số trong mạng nơ-ron vào một dự đoán sai. Bằng cách xác định gradient của hàm mất mát theo từng trọng số, lan truyền ngược cung cấp phản hồi cần thiết để mạng tự điều chỉnh và cải thiện độ chính xác theo thời gian. Nếu không có phương pháp tính đạo hàm hiệu quả này, việc huấn luyện các model sâu và phức tạp sẽ không khả thi về mặt tính toán.

Cơ chế học#

Để hiểu lan truyền ngược, việc xem nó như một phần của một chu trình sẽ rất hữu ích. Khi một mạng nơ-ron xử lý hình ảnh hoặc văn bản, nó thực hiện một "lượt truyền xuôi" để đưa ra dự đoán. Sau đó, hệ thống so sánh dự đoán này với đáp án đúng bằng hàm mất mát, qua đó định lượng sai số.

Lan truyền ngược bắt đầu từ lớp đầu ra và di chuyển ngược qua các lớp của mạng. Nó sử dụng quy tắc chuỗi của giải tích để tính các gradient. Các gradient này cho hệ thống biết một cách hiệu quả rằng: "Để giảm sai số, hãy tăng nhẹ trọng số này" hoặc "hãy giảm đáng kể độ lệch kia". Thông tin này rất cần thiết đối với các kiến trúc sâu, chẳng hạn như Mạng nơ-ron tích chập (CNNs), nơi hàng triệu tham số phải được tinh chỉnh đồng thời.

Lan truyền ngược và tối ưu hóa#

Người mới bắt đầu thường nhầm lẫn lan truyền ngược với bước tối ưu hóa, nhưng đây là hai quy trình riêng biệt trong vòng lặp huấn luyện.

• Lan truyền ngược là công cụ chẩn đoán. Nó tính toán các gradient, về cơ bản vẽ ra một bản đồ thể hiện độ dốc của địa hình sai số. Nó trả lời câu hỏi: "Chúng ta nên di chuyển theo hướng nào để giảm sai số?"
• Tối ưu hóa là hành động. Các thuật toán như Hạ gradient ngẫu nhiên (SGD) hoặc trình tối ưu hóa Adam sử dụng các gradient do lan truyền ngược cung cấp và cập nhật các trọng số. Nếu lan truyền ngược là bản đồ, thì trình tối ưu hóa là người đi bộ thực hiện các bước di chuyển.

Các Ứng dụng Thực tế trong AI#

Lan truyền ngược là cơ chế nền tảng cho hầu như mọi thành tựu AI hiện đại, cho phép các model khái quát hóa từ dữ liệu huấn luyện sang những đầu vào mới mà model chưa từng thấy.

• Thị giác máy tính: Trong các tác vụ phát hiện đối tượng sử dụng những model như YOLO26, lan truyền ngược giúp mạng học các cấp độ không gian. Nó giúp model hiểu rằng một số cạnh nhất định tạo thành hình dạng, còn các hình dạng đó tạo thành những đối tượng như ô tô hoặc người đi bộ. Trong tương lai, Ultralytics Platform tận dụng các kỹ thuật huấn luyện này để hỗ trợ người dùng tạo các model tùy chỉnh có khả năng xác định chính xác lỗi trong sản xuất hoặc giám sát tình trạng cây trồng trong nông nghiệp.
• Xử lý ngôn ngữ tự nhiên (NLP): Đối với các mô hình ngôn ngữ lớn (LLMs) như những model do OpenAI phát triển, lan truyền ngược cho phép hệ thống học xác suất của từ tiếp theo trong một câu. Bằng cách lan truyền sai số từ các dự đoán văn bản không chính xác, model học được ngữ pháp và ngữ cảnh tinh tế, vốn rất cần thiết cho các ứng dụng như dịch máy.

Thách thức trong các mạng sâu#

Mặc dù mạnh mẽ, thuật toán này vẫn gặp thách thức trong các mạng rất sâu. Vấn đề gradient biến mất xảy ra khi gradient trở nên quá nhỏ trong quá trình di chuyển ngược, khiến các lớp đầu ngừng học. Ngược lại, gradient bùng nổ xảy ra khi gradient tích lũy thành các giá trị lớn và không ổn định. Các kỹ thuật như Chuẩn hóa theo batch và những kiến trúc chuyên biệt như ResNet thường được sử dụng để giảm thiểu các vấn đề này.

Ví dụ mã Python#

Mặc dù các thư viện cấp cao như ultralytics trừu tượng hóa quy trình này trong quá trình huấn luyện, framework PyTorch bên dưới cho phép bạn trực tiếp quan sát cơ chế này. Phương thức .backward() kích hoạt quy trình lan truyền ngược, tính toán đạo hàm cho mọi tensor mà requires_grad=True.

import torch

# Create a tensor that tracks operations for backpropagation
w = torch.tensor([2.0], requires_grad=True)
x = torch.tensor([3.0])

# Forward pass: compute prediction and loss (simple example)
# Let's assume the target value is 10.0
loss = (w * x - 10.0) ** 2

# Backward pass: This command executes backpropagation
loss.backward()

# The gradient is now stored in w.grad, showing how to adjust 'w'
# This tells us the slope of the loss with respect to w
print(f"Gradient (dL/dw): {w.grad.item()}")

Đọc thêm#

Để hiểu lan truyền ngược phù hợp như thế nào trong phạm vi rộng hơn của quá trình phát triển AI, việc tìm hiểu khái niệm tăng cường dữ liệu sẽ rất hữu ích, vì khái niệm này cung cấp các ví dụ đa dạng cần thiết để thuật toán khái quát hóa hiệu quả. Ngoài ra, việc hiểu các metric cụ thể được sử dụng để đánh giá mức độ thành công của quá trình huấn luyện, chẳng hạn như Độ chính xác trung bình (mAP), giúp diễn giải mức độ hiệu quả của quá trình lan truyền ngược trong việc tối ưu hóa model. Để tìm hiểu sâu hơn về lý thuyết, ghi chú khóa học Stanford CS231n cung cấp phần phân tích kỹ thuật xuất sắc về giải tích liên quan.