Model Ensemble

Một Model Ensemble là phương pháp chiến lược trong machine learning, nơi các dự đoán từ nhiều mô hình riêng lẻ được kết hợp để tạo ra kết quả cuối cùng thường chính xác và mạnh mẽ hơn so với bất kỳ mô hình đơn lẻ nào. Giống như một ủy ban chuyên gia cùng thảo luận để đưa ra quyết định tốt hơn một cá nhân, model ensemble tận dụng điểm mạnh của các kiến trúc đa dạng để giảm thiểu sai số. Kỹ thuật này được sử dụng rộng rãi để cải thiện hiệu suất trong các tác vụ phức tạp, giảm rủi ro overfitting và xử lý bias-variance tradeoff vốn có trong mô hình hóa thống kê.

Link to this sectionCơ chế của Ensembling#

Nguyên tắc cốt lõi đằng sau một model ensemble là "sự đa dạng". Bằng cách huấn luyện nhiều mô hình—thường được gọi là "base learners" hoặc "weak learners"—trên các tập con khác nhau của training data hoặc sử dụng các thuật toán khác nhau, ensemble đảm bảo rằng các lỗi do một mô hình tạo ra có khả năng được các mô hình khác sửa chữa. Trong bối cảnh của deep learning, điều này thường bao gồm việc chạy nhiều neural networks song song trong quá trình inference.

Các phương pháp phổ biến để kết hợp những dự đoán này bao gồm:

• Voting (Bỏ phiếu): Được sử dụng trong image classification, nơi lớp (class) được đa số các mô hình lựa chọn sẽ trở thành dự đoán cuối cùng.
• Averaging (Trung bình cộng): Thường được sử dụng trong các tác vụ hồi quy (regression), nơi các kết quả đầu ra dạng số được lấy trung bình để làm mượt nhiễu.
• Weighted Fusion (Hợp nhất có trọng số): Trong object detection, các kỹ thuật như Weighted Box Fusion (WBF) hợp nhất các bounding box từ các detector khác nhau dựa trên điểm confidence.

Link to this sectionCác ứng dụng trong thực tế#

Model ensemble là yếu tố cần thiết trong các môi trường quan trọng, nơi việc tối đa hóa accuracy là ưu tiên hàng đầu và tài nguyên tính toán cho phép chạy nhiều mô hình.

1. Chẩn đoán Y tế: Trong medical image analysis, việc bỏ lỡ chẩn đoán có thể gây ra hậu quả nghiêm trọng. Các bác sĩ chẩn đoán hình ảnh thường sử dụng các ensemble kết hợp Convolutional Neural Network (CNN) tiêu chuẩn với Vision Transformer (ViT). CNN vượt trội trong việc phân tích kết cấu cục bộ, trong khi ViT nắm bắt bối cảnh toàn cầu, cho phép hệ thống phát hiện khối u với độ nhạy cao hơn so với việc sử dụng riêng lẻ từng kiến trúc.

2. Xe tự lái: Các hệ thống nhận diện trong autonomous vehicles phải có tính an toàn cao (fail-safe). Các kỹ sư thường triển khai một ensemble gồm các mô hình phát hiện—ví dụ, kết hợp tốc độ thời gian thực của YOLO26 với độ chính xác dựa trên transformer của RT-DETR. Điều này đảm bảo rằng người đi bộ hoặc vật cản vẫn được phát hiện ngay cả khi một mô hình gặp khó khăn với các điều kiện ánh sáng cụ thể, chẳng hạn như lóa sáng hoặc bóng râm.

Link to this sectionTriển khai Ensemble với Python#

Mặc dù các chiến lược ensemble phức tạp có thể được xây dựng bằng các thư viện như Scikit-learn, bạn có thể tạo một ensemble inference cơ bản cho thị giác máy tính bằng cách đơn giản là load nhiều mô hình và xử lý cùng một input. Ví dụ sau đây minh họa cách load hai mô hình Ultralytics YOLO riêng biệt để tạo dự đoán trên cùng một hình ảnh.

from ultralytics import YOLO

# Load two different model variants to create a diverse ensemble
model_a = YOLO("yolo26n.pt")  # Nano model (Speed focused)
model_b = YOLO("yolo26s.pt")  # Small model (Higher accuracy)

# Perform inference on an image with both models
# In production, results are typically merged programmatically
results_a = model_a("https://ultralytics.com/images/bus.jpg")
results_b = model_b("https://ultralytics.com/images/bus.jpg")

print(f"Model A detected {len(results_a[0].boxes)} objects.")
print(f"Model B detected {len(results_b[0].boxes)} objects.")

Link to this sectionModel Ensemble so với Mixture of Experts#

Việc phân biệt một model ensemble tiêu chuẩn với Mixture of Experts (MoE)—một thuật ngữ thường thấy trong nghiên cứu Large Language Model (LLM) hiện đại—là rất hữu ích.

• Model Ensemble: Thường truy vấn mọi mô hình trong tập hợp cho mỗi input và tổng hợp kết quả. Điều này tối đa hóa các chỉ số như mean average precision (mAP) nhưng làm tăng đáng kể inference latency và chi phí tính toán. Đây là phương pháp tiếp cận "brute-force" (dùng sức mạnh tính toán thuần túy) để đạt chất lượng.
• Mixture of Experts: Sử dụng một "gating network" để điều hướng dữ liệu chỉ đến một vài mô hình con "expert" cụ thể phù hợp nhất cho input hiện tại. Điều này cho phép khả năng mở rộng quy mô lớn trong các foundation models mà không phải chịu chi phí tính toán khi phải chạy toàn bộ tham số cho mỗi token.

Link to this sectionƯu điểm và các lưu ý#

Ưu điểm chính của việc sử dụng model ensemble là sự cải thiện về hiệu suất. Các ensemble thường thống trị bảng xếp hạng trong các thử thách khoa học dữ liệu như các Kaggle competitions vì chúng có thể mô hình hóa các mẫu phức tạp mà các mô hình đơn lẻ bỏ lỡ. Tuy nhiên, điều này đi kèm với chi phí: triển khai ensemble đòi hỏi nhiều bộ nhớ và sức mạnh tính toán hơn.

Đối với các đội ngũ muốn quản lý nhu cầu tài nguyên này một cách hiệu quả, Ultralytics Platform cung cấp các công cụ để huấn luyện, theo dõi và benchmark các kiến trúc mô hình khác nhau. Bằng cách so sánh các chỉ số hiệu suất một cách dễ dàng, các nhà phát triển có thể quyết định liệu mức tăng độ chính xác từ một ensemble có xứng đáng với hạ tầng bổ sung cần thiết cho việc triển khai trong các kịch bản edge AI hay không.