Truyền ngược

Backpropagation, viết tắt của "backward propagation of errors" (lan truyền ngược lỗi), là thuật toán cơ bản được sử dụng để huấn luyện mạng nơ-ron nhân tạo . Nó hoạt động bằng cách tính toán gradient của hàm mất mát theo từng trọng số trong mạng, cho phép mô hình học hỏi từ những sai lầm của nó. Quá trình này là nền tảng của học sâu hiện đại, cho phép các mô hình giải quyết các tác vụ phức tạp bằng cách điều chỉnh các tham số nội bộ của chúng một cách lặp đi lặp lại để cải thiện hiệu suất. Sự phát triển của backpropagation là một khoảnh khắc then chốt trong lịch sử AI , biến mạng nơ-ron từ một khái niệm lý thuyết thành những công cụ mạnh mẽ và thiết thực.

Cách thức hoạt động của Backpropagation

Quá trình truyền ngược là trọng tâm của vòng lặp đào tạo mô hình và có thể được hiểu là chu kỳ hai giai đoạn lặp lại cho từng lô dữ liệu:

1. Truyền tiếp: Dữ liệu huấn luyện được đưa vào mạng. Mỗi neuron nhận dữ liệu đầu vào, xử lý chúng bằng trọng số mô hình và hàm kích hoạt , rồi truyền đầu ra cho lớp tiếp theo. Quá trình này tiếp tục cho đến khi lớp cuối cùng đưa ra dự đoán. Dự đoán của mô hình sau đó được so sánh với giá trị thực tế (nhãn đúng) bằng hàm mất mát, hàm này tính toán điểm lỗi để định lượng mức độ sai lệch của dự đoán.

2. Truyền ngược: Đây là nơi bắt đầu lan truyền ngược. Nó bắt đầu ở lớp cuối cùng và lan truyền lỗi ngược qua mạng, từng lớp một. Tại mỗi nơ-ron, nó sử dụng phép tính (cụ thể là quy tắc chuỗi) để tính toán mức độ đóng góp của trọng số và độ lệch của nơ-ron đó vào tổng lỗi. Đóng góp này được gọi là gradient. Các gradient này cho mô hình biết cách điều chỉnh từng trọng số để giảm lỗi. Sau đó, một thuật toán tối ưu hóa sử dụng các gradient này để cập nhật các trọng số.

Chu kỳ truyền tiến và truyền lùi này được lặp lại qua nhiều kỷ nguyên , cho phép mô hình giảm thiểu dần lỗi và cải thiện độ chính xác. Các nền tảng như PyTorch và TensorFlow có các công cụ phân biệt tự động được tối ưu hóa cao, xử lý phép tính phức tạp của lan truyền ngược ở chế độ nền.

Truyền ngược so với các khái niệm liên quan

Điều quan trọng là phải phân biệt sự lan truyền ngược với các khái niệm liên quan khác trong học máy :

• Thuật toán tối ưu hóa: Lan truyền ngược là phương pháp tính toán độ dốc của tổn thất theo các tham số của mô hình. Một thuật toán tối ưu hóa, chẳng hạn như Stochastic Gradient Descent (SGD) hoặc bộ tối ưu hóa Adam , là cơ chế sử dụng các độ dốc này để cập nhật trọng số của mô hình. Hãy hình dung lan truyền ngược như việc cung cấp bản đồ, và bộ tối ưu hóa như việc lái xe.
• Hàm mất mát: Hàm mất mát đo lường sai số giữa dự đoán của mô hình và giá trị thực. Truyền ngược sử dụng điểm số lỗi này làm điểm khởi đầu để tính toán độ dốc. Việc lựa chọn hàm mất mát rất quan trọng, nhưng nó là một thành phần riêng biệt với thuật toán truyền ngược.
• Gradient biến mất và bùng nổ: Đây là những vấn đề có thể xảy ra trong quá trình lan truyền ngược trong mạng sâu. Gradient biến mất xảy ra khi gradient trở nên cực kỳ nhỏ, ngăn cản việc học của các lớp ban đầu. Ngược lại, gradient bùng nổ xảy ra khi gradient trở nên quá lớn, dẫn đến huấn luyện không ổn định. Các kỹ thuật như khởi tạo trọng số cẩn thận, chuẩn hóa và sử dụng các hàm kích hoạt như ReLU được sử dụng để giảm thiểu những vấn đề này.

Ứng dụng trong thế giới thực

Truyền ngược được sử dụng ngầm định bất cứ khi nào một mô hình học sâu trải qua quá trình huấn luyện. Dưới đây là hai ví dụ cụ thể:

1. Phát hiện Đối tượng với Ultralytics YOLO : Khi huấn luyện một mô hình Ultralytics YOLO (như YOLO11 ) để phát hiện đối tượng trên một tập dữ liệu như COCO , lan truyền ngược được sử dụng trong mỗi lần lặp huấn luyện. Sau khi mô hình dự đoán các hộp giới hạn và lớp, giá trị mất mát sẽ được tính toán. Lan truyền ngược tính toán các gradient cho tất cả các trọng số trên toàn bộ xương sống và đầu phát hiện của mô hình. Sau đó, một trình tối ưu hóa sẽ sử dụng các gradient này để điều chỉnh các trọng số, cải thiện khả năng định vị và phân loại đối tượng chính xác của mô hình. Người dùng có thể tận dụng các nền tảng như Ultralytics HUB để quản lý quy trình huấn luyện này, hưởng lợi từ việc triển khai lan truyền ngược hiệu quả. Điều này rất quan trọng đối với các ứng dụng từ xe tự hành đến hệ thống an ninh .
2. Mô hình Xử lý Ngôn ngữ Tự nhiên : Các mô hình ngôn ngữ lớn (LLM) như mô hình BERT và GPT được huấn luyện bằng phương pháp lan truyền ngược. Ví dụ, trong một tác vụ phân tích cảm xúc , mô hình dự đoán cảm xúc của một văn bản cho trước. Sự khác biệt giữa cảm xúc được dự đoán và nhãn thực tế dẫn đến một giá trị lỗi. Lan truyền ngược tính toán mức độ đóng góp của từng tham số trong mạng lưới rộng lớn vào lỗi này. Các thuật toán tối ưu hóa sau đó cập nhật các tham số này, cho phép mô hình hiểu rõ hơn các sắc thái ngôn ngữ, ngữ cảnh và cảm xúc trong quá trình huấn luyện. Các nhóm nghiên cứu học thuật như nhóm NLP Stanford liên tục khám phá và tinh chỉnh các kỹ thuật này.