Tổng hợp

Phương pháp tổng hợp là một kỹ thuật mạnh mẽ trong học máy (ML), trong đó nhiều mô hình riêng lẻ được kết hợp để tạo ra một mô hình dự đoán duy nhất, vượt trội. Ý tưởng cốt lõi là bằng cách tổng hợp "trí tuệ" của nhiều mô hình, dự đoán cuối cùng sẽ chính xác, ổn định và mạnh mẽ hơn so với dự đoán từ bất kỳ mô hình thành phần đơn lẻ nào. Cách tiếp cận này tương tự như việc tìm kiếm lời khuyên từ một nhóm chuyên gia đa dạng; quyết định chung thường tốt hơn ý kiến của bất kỳ chuyên gia riêng lẻ nào. Những kỹ thuật này rất hiệu quả trong việc giảm thiểu hiện tượng quá khớp và cải thiện khả năng khái quát hóa của mô hình trên dữ liệu chưa được biết đến.

Các nhóm nhạc hoạt động như thế nào

Học tập tổng hợp bao gồm hai bước chính: huấn luyện một nhóm các mô hình cơ sở đa dạng và sau đó kết hợp các dự đoán của chúng. Tính đa dạng giữa các mô hình cơ sở là rất quan trọng; nếu tất cả các mô hình đều mắc cùng một lỗi, quá trình học tập tổng hợp sẽ không mang lại bất kỳ cải tiến nào. Tính đa dạng này có thể đạt được bằng cách sử dụng các thuật toán khác nhau, huấn luyện trên các tập con khác nhau của dữ liệu huấn luyện hoặc sử dụng các siêu tham số khác nhau.

Sau khi các mô hình được huấn luyện, dự đoán của chúng sẽ được tổng hợp. Đối với các tác vụ phân loại, việc này thường được thực hiện thông qua cơ chế bỏ phiếu (ví dụ: lớp có nhiều phiếu bầu nhất sẽ thắng). Đối với các tác vụ hồi quy, các dự đoán thường được tính trung bình. Mô hình kết hợp thu được thường cho hiệu suất tốt hơn, một khái niệm được khám phá trong Định lý Condorcet Jury .

Kỹ thuật tổng hợp phổ biến

Có một số phương pháp phổ biến để tạo ra các nhóm nhạc hiệu quả:

• Bagging (Tổng hợp Bootstrap): Kỹ thuật này liên quan đến việc huấn luyện nhiều mô hình (ví dụ: cây quyết định ) trên các tập con ngẫu nhiên khác nhau của dữ liệu huấn luyện. Thuật toán Rừng Ngẫu nhiên là một triển khai nổi tiếng của kỹ thuật Bagging.
• Boosting: Các mô hình được huấn luyện tuần tự, với mỗi mô hình mới tập trung vào việc sửa lỗi do các mô hình trước đó gây ra. Các thuật toán boosting nổi bật bao gồm AdaBoost, Gradient Boosting , XGBoost và LightGBM .
• Xếp chồng (Tổng quát hóa xếp chồng): Phương pháp này bao gồm việc đào tạo một số mô hình khác nhau (người học cơ sở) và sử dụng một mô hình học máy khác (người học siêu cấp) để tìm hiểu cách kết hợp tốt nhất các dự đoán của chúng.
• Bỏ phiếu và Trung bình: Đây là những phương pháp đơn giản nhất, trong đó dự đoán cuối cùng là phiếu bầu đa số (bỏ phiếu cứng) hoặc trung bình các xác suất dự đoán (bỏ phiếu mềm) từ tất cả các mô hình. Các mô hình YOLO của Ultralytics hỗ trợ một hình thức tính trung bình với tính năng tập hợp mô hình .

Ứng dụng trong thế giới thực

Phương pháp tổng hợp được sử dụng rộng rãi trong các ứng dụng quan trọng đòi hỏi độ chính xác cao:

1. Phân tích hình ảnh y tế: Trong các nhiệm vụ như phát hiện khối u , một tập hợp các Mạng nơ-ron tích chập (CNN) có thể được sử dụng. Mỗi CNN có thể được huấn luyện trên các tập hợp con quét y tế khác nhau hoặc với các kiến trúc khác nhau. Bằng cách kết hợp đầu ra của chúng, hệ thống có thể đạt được chẩn đoán đáng tin cậy và chính xác hơn, giảm nguy cơ âm tính hoặc dương tính giả trong các ứng dụng như hình ảnh y tế .
2. Hệ thống tự hành: Đối với xe tự hành , việc phát hiện vật thể đáng tin cậy là vấn đề an toàn. Một hệ thống có thể kết hợp các mô hình khác nhau, chẳng hạn như YOLOv8 và YOLO11 , hoặc các mô hình được huấn luyện với các chiến lược tăng cường dữ liệu khác nhau. Cách tiếp cận này giảm thiểu rủi ro một mô hình duy nhất không phát hiện được người đi bộ hoặc chướng ngại vật, tạo nên một hệ thống nhận thức mạnh mẽ hơn.

Tổng hợp so với các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt các phương pháp tổng hợp với các khái niệm liên quan khác:

• Mô hình Ensemble: Thuật ngữ này thường được dùng thay thế cho "Ensemble". Trong khi "Ensemble" đề cập đến kỹ thuật chung, thì Mô hình Ensemble thường đề cập đến việc triển khai thực tế việc kết hợp các trường hợp mô hình đã được đào tạo cụ thể. Nguyên tắc cơ bản là giống nhau.
• Hỗn hợp Chuyên gia (MoE): Mặc dù cả hai đều sử dụng nhiều mô hình, nhưng cơ chế của chúng lại khác nhau. Một tập hợp kết hợp các dự đoán từ tất cả các mô hình cho mỗi đầu vào. Ngược lại, mô hình Hỗn hợp Chuyên gia (MoE) sử dụng mạng lưới cổng để tự động lựa chọn mô hình "chuyên gia" phù hợp nhất cho một đầu vào cụ thể, chỉ sử dụng một tập hợp con các mô hình cho mỗi dự đoán.

Mặc dù các nhóm làm tăng độ phức tạp và chi phí tính toán cho việc đào tạo và triển khai mô hình , nhưng hiệu suất tăng lên thường bù đắp được chi phí. Các nền tảng như Ultralytics HUB có thể hợp lý hóa việc quản lý nhiều mô hình được xây dựng bằng các nền tảng như PyTorch hoặc TensorFlow , giúp đơn giản hóa việc tạo ra các nhóm mạnh mẽ.