Mô hình tổng hợp

Mô hình tổng hợp là một kỹ thuật học máy (ML) kết hợp các dự đoán từ hai hoặc nhiều mô hình riêng lẻ để tạo ra một dự đoán cuối cùng duy nhất, thường vượt trội hơn. Nguyên lý cốt lõi dựa trên ý tưởng "trí tuệ đám đông": bằng cách tổng hợp "ý kiến" của nhiều mô hình khác nhau, mô hình tổng hợp có thể bù trừ cho các lỗi hoặc sai lệch riêng lẻ của bất kỳ mô hình nào, dẫn đến độ chính xác cao hơn, độ tin cậy được cải thiện và giảm nguy cơ quá khớp . Phương pháp này là nền tảng của ML hiệu suất cao và thường được sử dụng để giành chiến thắng trong các cuộc thi khoa học dữ liệu .

Mô hình hoạt động như thế nào

Hiệu quả của một tập hợp mô hình phụ thuộc vào tính đa dạng của các mô hình thành phần. Nếu tất cả các mô hình đều mắc cùng một lỗi, việc kết hợp chúng sẽ không mang lại lợi ích. Do đó, tính đa dạng được khuyến khích bằng cách huấn luyện các mô hình trên các tập dữ liệu huấn luyện khác nhau, sử dụng các thuật toán khác nhau hoặc khởi tạo các mô hình với các tham số khác nhau.

Các kỹ thuật phổ biến để tạo và kết hợp các nhóm nhạc bao gồm:

• Bagging (Tổng hợp Bootstrap): Bao gồm việc huấn luyện nhiều trường hợp của cùng một mô hình trên các tập con ngẫu nhiên khác nhau của dữ liệu huấn luyện. Dự đoán cuối cùng thường là giá trị trung bình hoặc đa số phiếu bầu của tất cả các dự đoán của mô hình. Rừng Ngẫu nhiên là một ví dụ điển hình về tập hợp dựa trên bagging.
• Boosting: Các mô hình được huấn luyện tuần tự, với mỗi mô hình mới tập trung vào việc sửa lỗi của các mô hình trước đó. Điều này tạo ra một mô hình tổng hợp mạnh mẽ và có độ chính xác cao. Các thuật toán boosting phổ biến bao gồm AdaBoost và Gradient Boosting, với các triển khai như XGBoost và LightGBM .
• Xếp chồng: Phương pháp này bao gồm việc đào tạo nhiều mô hình khác nhau (ví dụ: mạng nơ-ron , máy vectơ hỗ trợ và cây quyết định ) và sử dụng một mô hình khác, được gọi là siêu học, để kết hợp các dự đoán của chúng và tạo ra đầu ra cuối cùng.

Các khái niệm liên quan

Sẽ rất hữu ích khi phân biệt mô hình tổng thể với các thuật ngữ liên quan:

• Phương pháp tổng hợp : Đây là phạm trù lý thuyết rộng hơn về các kỹ thuật (như bagging và boosting) được sử dụng trong học máy. "Mô hình tổng hợp" là hiện vật cụ thể—tập hợp các mô hình đã được huấn luyện—được tạo ra bằng cách áp dụng phương pháp tổng hợp.
• Hỗn hợp Chuyên gia (MoE) : Không giống như một tập hợp điển hình kết hợp đầu ra từ tất cả các mô hình, MoE sử dụng một mạng lưới cổng để tự động lựa chọn mô hình "chuyên gia" phù hợp nhất cho một đầu vào nhất định. MoE chọn một chuyên gia, trong khi tập hợp tham khảo ý kiến của tất cả các chuyên gia.

Ứng dụng trong thế giới thực

Các nhóm mô hình được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau để đạt được hiệu suất tiên tiến.

1. Phát hiện Đối tượng trong Thị giác Máy tính: Trong các hệ thống quan trọng về an toàn như xe tự hành hoặc cho các nhiệm vụ có giá trị cao như giám sát an ninh , các tập hợp có thể cải thiện độ tin cậy. Ví dụ, một tập hợp có thể kết hợp các mô hình phát hiện đối tượng khác nhau, chẳng hạn như các phiên bản khác nhau của Ultralytics YOLO như YOLOv8 và YOLOv10 , hoặc các mô hình được huấn luyện với các chiến lược tăng cường dữ liệu khác nhau. Hướng dẫn Tập hợp Mô hình YOLOv5 minh họa cách thức này có thể cải thiện độ chính xác phát hiện. Ngay cả các kỹ thuật như Tăng cường Thời gian Kiểm tra (TTA) cũng có thể được coi là một hình thức tập hợp, vì chúng tính trung bình các dự đoán trên nhiều phiên bản tăng cường của một hình ảnh.
2. Chẩn đoán Y khoa: Các tập hợp dữ liệu đóng vai trò quan trọng trong phân tích hình ảnh y khoa , đặc biệt là trong các nhiệm vụ như chẩn đoán bệnh từ X-quang, MRI hoặc tiêu bản bệnh lý. Một CNN có thể xuất sắc trong việc phát hiện một số bất thường nhất định, trong khi một CNN khác lại tốt hơn ở những điểm khác. Bằng cách tập hợp các dự đoán của chúng, một công cụ chẩn đoán có thể đạt được độ chính xác và độ tin cậy cao hơn, điều này rất quan trọng cho các ứng dụng như phát hiện khối u .

Mặc dù mạnh mẽ, các nhóm mô hình làm tăng độ phức tạp và nhu cầu tính toán cho cả đào tạo và triển khai mô hình. Việc quản lý nhiều mô hình đòi hỏi nhiều tài nguyên hơn, kỹ thuật cẩn thận và các phương pháp MLOps mạnh mẽ. Tuy nhiên, hiệu suất tăng đáng kể thường bù đắp cho chi phí này trong các ứng dụng quan trọng. Các nền tảng như Ultralytics HUB có thể đơn giản hóa việc quản lý nhiều mô hình được xây dựng bằng các nền tảng như PyTorch hoặc TensorFlow .