Khám phá học tổ hợp và vai trò của phương pháp này trong AI và ML

Để xem phần trình bày trực quan về các khái niệm trong bài viết này, hãy xem video bên dưới.

Các đổi mới AI như công cụ gợi ý và hệ thống phát hiện gian lận dựa vào thuật toán và model học máy để đưa ra dự đoán và quyết định dựa trên dữ liệu. Những model này có thể nhận diện mẫu, dự báo xu hướng và hỗ trợ tự động hóa các tác vụ phức tạp.

Tuy nhiên, một model đơn lẻ có thể gặp khó khăn khi nắm bắt mọi chi tiết trong dữ liệu thực tế. Model có thể hoạt động tốt trong một số trường hợp nhưng kém hiệu quả ở những trường hợp khác, chẳng hạn như model phát hiện gian lận bỏ sót các loại giao dịch mới.

Đây là hạn chế mà các kỹ sư AI thường gặp khi xây dựng và triển khai model học máy. Một số model bị overfit do học quá sát dữ liệu huấn luyện, trong khi những model khác bị underfit do bỏ sót các mẫu quan trọng. Học tổ hợp là một kỹ thuật AI giúp giải quyết những thách thức này bằng cách kết hợp nhiều model, gọi là các bộ học cơ sở, thành một hệ thống duy nhất mạnh hơn.

Bạn có thể hình dung phương pháp này như một nhóm chuyên gia phối hợp giải quyết vấn đề. Trong bài viết này, chúng ta sẽ tìm hiểu học tập tổ hợp là gì, cách thức hoạt động và các ứng dụng của phương pháp.

Học tổ hợp là gì?#

Học tổ hợp là tập hợp các kỹ thuật kết hợp nhiều model để giải quyết cùng một bài toán và tạo ra một kết quả duy nhất, được cải thiện. Phương pháp này có thể áp dụng cho cả học có giám sát (trong đó model học từ dữ liệu có nhãn) và học không giám sát (trong đó model tìm mẫu trong dữ liệu không có nhãn).

Thay vì dựa vào một model duy nhất để đưa ra dự đoán, phương pháp tổ hợp sử dụng nhiều model, mỗi model phân tích dữ liệu theo cách riêng. Khi kết hợp các đầu ra, kết quả thường chính xác, ổn định và có khả năng khái quát hóa tốt hơn so với kết quả của bất kỳ model đơn lẻ nào.

Có thể so sánh phương pháp này với một hội đồng chuyên gia cùng giải quyết một vấn đề. Mỗi chuyên gia hoặc model riêng lẻ diễn giải dữ liệu theo cách khác nhau.

Một người có thể tập trung vào các mẫu, người khác chú ý đến các điểm bất thường, còn người khác nữa xem xét ngữ cảnh. Khi kết hợp các góc nhìn này, cả nhóm có thể đưa ra quyết định cân bằng và đáng tin cậy hơn đánh giá của bất kỳ cá nhân nào.

Phương pháp này cũng giúp giải quyết hai thách thức lớn nhất trong học máy: độ chệch và phương sai. Model có độ chệch cao quá đơn giản và bỏ qua các mẫu quan trọng, trong khi model có phương sai cao lại quá nhạy và khớp quá sát với dữ liệu huấn luyện. Bằng cách kết hợp các model, học tổ hợp cân bằng hai yếu tố này và cải thiện hiệu suất của hệ thống trên dữ liệu mới chưa từng thấy.

Tìm hiểu cách học tổ hợp hoạt động#

Mỗi model trong một tổ hợp được gọi là bộ học cơ sở hoặc model cơ sở. Tùy thuộc vào kỹ thuật tổ hợp được sử dụng, các model này có thể thuộc cùng một loại thuật toán hoặc kết hợp nhiều thuật toán khác nhau.

Dưới đây là một số ví dụ phổ biến về các model được sử dụng trong học tổ hợp:

• Cây quyết định: Các model này phân nhánh dữ liệu dựa trên giá trị đặc trưng để đưa ra quyết định. Ví dụ, trong các bài toán phân loại như dự đoán khách hàng có mua sản phẩm hay không, cây quyết định xem xét các yếu tố như tuổi, thu nhập và lịch sử duyệt web.
• Mạng nơ-ron: Lấy cảm hứng từ cách bộ não con người xử lý thông tin, mạng nơ-ron là kiến trúc cơ bản đằng sau hầu hết các model AI và machine learning hiện đại.
• Máy vector hỗ trợ (SVM): Các thuật toán này phân loại dữ liệu bằng cách tìm ranh giới quyết định tối ưu, gọi là siêu phẳng, để tối đa hóa khoảng cách giữa các lớp. Nói cách khác, SVM vẽ đường phân tách tốt nhất có thể giữa các nhóm, đồng thời tạo khoảng cách lớn nhất giữa chúng. Ví dụ, SVM có thể xác định email có phải thư rác hay không dựa trên các mẫu như tần suất từ và cấu trúc.
• Model hồi quy logistic: Các model này ước tính xác suất và thường được sử dụng cho các tác vụ phân loại nhị phân. Ví dụ điển hình là dự đoán một giao dịch có gian lận hay hợp lệ.

Tổ hợp model thường được gọi là bộ học mạnh vì kết hợp ưu điểm của các bộ học cơ sở (còn gọi là model yếu) đồng thời giảm thiểu nhược điểm của chúng. Phương pháp này kết hợp dự đoán của từng model theo cách có cấu trúc, sử dụng bỏ phiếu đa số cho tác vụ phân loại hoặc tính trung bình có trọng số cho tác vụ hồi quy để tạo ra kết quả cuối cùng chính xác hơn.

Hình 1. Ví dụ về học tổ hợp (Nguồn)

Khi nào nên sử dụng học tổ hợp#

Trước khi đi sâu vào các kỹ thuật học tổ hợp khác nhau, hãy cùng tìm hiểu khi nào nên sử dụng phương pháp này trong một dự án học máy hoặc AI.

Học tổ hợp phát huy hiệu quả rõ nhất khi một model đơn lẻ gặp khó khăn trong việc đưa ra dự đoán chính xác hoặc nhất quán. Phương pháp này cũng có thể được sử dụng khi dữ liệu phức tạp, nhiễu hoặc khó dự đoán.

Dưới đây là một số trường hợp phổ biến mà phương pháp tổ hợp đặc biệt hiệu quả:

• Độ chính xác của model thấp: Khi dự đoán của một model không đủ tin cậy, việc kết hợp nhiều model có thể cải thiện đáng kể độ chính xác và hiệu suất. Ví dụ, trong chấm điểm tín dụng hoặc chẩn đoán y tế, ngay cả những cải thiện nhỏ về độ chính xác dự đoán cũng có thể tạo ra khác biệt lớn.
• Dữ liệu nhiễu hoặc thiếu nhất quán: Nếu tập dữ liệu chứa các giá trị ngoại lai, lỗi hoặc biến động ngẫu nhiên, học tổ hợp giúp làm giảm những bất thường này bằng cách tính trung bình hoặc bỏ phiếu dựa trên nhiều model.
• Cần độ ổn định cao: Model tổ hợp ít nhạy cảm hơn với những thay đổi nhỏ của dữ liệu, nhờ đó ổn định và đáng tin cậy hơn trong môi trường production, nơi dữ liệu đầu vào thực tế có thể thay đổi.
• Tác vụ dự đoán phức tạp: Trong các tác vụ như nhận diện ảnh, phát hiện gian lận hoặc dự báo chuỗi thời gian, phương pháp tổ hợp nắm bắt được nhiều mẫu và mối quan hệ hơn so với một model đơn lẻ.

Tuy vậy, khi một model riêng lẻ đã hoạt động tốt, đó thường là lựa chọn phù hợp hơn: model dễ huấn luyện và diễn giải hơn, đồng thời nhanh bảo trì hơn. Trước khi dùng mô hình tổ hợp, điều quan trọng là cân nhắc lợi ích của độ chính xác cao hơn so với lượng thời gian, năng lực tính toán và độ phức tạp bổ sung mà mô hình đòi hỏi.

Tổng quan về các kỹ thuật học tổ hợp#

Tiếp theo, hãy cùng tìm hiểu những cách chính để áp dụng học tổ hợp trong các dự án học máy. Có một số kỹ thuật cốt lõi để kết hợp model, mỗi kỹ thuật cải thiện hiệu suất theo cách riêng. Các phương pháp tổ hợp phổ biến nhất là bagging, boosting, stacking và blending.

Bagging#

Bagging, viết tắt của bootstrap aggregating, là phương pháp học tổ hợp giúp cải thiện độ ổn định và độ chính xác của model bằng cách huấn luyện nhiều phiên bản của cùng một model trên các phần dữ liệu khác nhau.

Mỗi tập con được tạo bằng quy trình gọi là lấy mẫu bootstrap, trong đó các điểm dữ liệu được chọn ngẫu nhiên có hoàn lại. Điều này có nghĩa là sau khi một điểm dữ liệu được chọn, điểm đó được đưa lại vào tập hợp trước khi chọn điểm tiếp theo. Vì vậy, cùng một điểm có thể xuất hiện nhiều lần, trong khi một số điểm khác có thể không được chọn. Tính ngẫu nhiên này đảm bảo mỗi model được huấn luyện trên một phiên bản hơi khác của tập dữ liệu.

Trong quá trình suy luận, tất cả model đã huấn luyện chạy song song để dự đoán trên dữ liệu mới chưa từng thấy. Mỗi model tạo ra đầu ra riêng dựa trên những gì đã học, sau đó các dự đoán riêng lẻ này được kết hợp để tạo thành kết quả cuối cùng.

Với các tác vụ hồi quy, chẳng hạn như dự đoán giá nhà hoặc doanh số, thông thường đầu ra của tất cả model được tính trung bình để có ước tính ổn định hơn. Với các tác vụ phân loại, chẳng hạn như xác định một giao dịch có gian lận hay không, tổ hợp thường sử dụng bỏ phiếu đa số để quyết định lớp cuối cùng.

Bagging trong thực tế: thuật toán Random Forest#

Một ví dụ điển hình về hiệu quả của bagging là cây quyết định, vốn dễ bị overfit khi được huấn luyện trên một tập dữ liệu duy nhất. Bằng cách huấn luyện nhiều cây trên các mẫu hơi khác nhau rồi kết hợp kết quả, bagging giảm overfit và cải thiện độ tin cậy.

Hãy xem xét thuật toán Random Forest. Đây là một tổ hợp cây quyết định, trong đó mỗi cây được huấn luyện trên một tập con ngẫu nhiên của tập dữ liệu huấn luyện, đồng thời sử dụng một tập con ngẫu nhiên các đặc trưng.

Tính ngẫu nhiên của đặc trưng giúp đảm bảo các cây ít tương quan với nhau hơn, đồng thời giúp model tổng thể ổn định và chính xác hơn. Thuật toán Random Forest có thể được sử dụng để phân loại ảnh, phát hiện gian lận, dự đoán khách hàng rời bỏ, dự báo doanh số hoặc ước tính giá bất động sản.

Hình 2. Tổng quan về thuật toán Random Forest (Nguồn)

Boosting#

Boosting là một kỹ thuật học tổ hợp khác, tập trung cải thiện các bộ học yếu (model) bằng cách huấn luyện tuần tự từng model thay vì chạy song song. Ý tưởng cốt lõi của boosting là mỗi model mới học từ những sai lầm của các model trước đó, qua đó dần cải thiện hiệu suất model tổng thể.

Không giống bagging, vốn giảm phương sai bằng cách tính trung bình các model độc lập, boosting giảm độ chệch bằng cách khiến mỗi model mới chú ý hơn đến những trường hợp khó mà các model trước đó xử lý chưa tốt.

Vì các model boosting được huấn luyện tuần tự, cách kết hợp dự đoán của chúng ở bước cuối cũng hơi khác so với các phương pháp tổ hợp khác. Mỗi model đóng góp vào dự đoán cuối cùng theo tỷ lệ tương ứng với hiệu suất trong quá trình huấn luyện; model chính xác hơn sẽ có trọng số lớn hơn.

Với các tác vụ hồi quy, kết quả cuối cùng thường là tổng có trọng số của tất cả dự đoán từ các model. Với các tác vụ phân loại, thuật toán kết hợp các phiếu bầu có trọng số từ các model để quyết định lớp cuối cùng. Phương pháp này giúp boosting tạo ra một model tổng thể mạnh bằng cách tăng trọng số cho các model chính xác hơn, đồng thời vẫn học hỏi từ các model khác.

Dưới đây là một số loại thuật toán boosting phổ biến:

• AdaBoost (Boosting thích ứng): Phương pháp này bắt đầu bằng cách huấn luyện một model đơn giản, chẳng hạn như cây quyết định nhỏ, rồi tăng trọng số của các điểm dữ liệu bị phân loại sai. Các trọng số này khiến model tiếp theo tập trung hơn vào những ví dụ khó. Qua nhiều vòng lặp, các model kế thừa kết quả của nhau và dự đoán kết hợp tạo ra kết quả mạnh hơn, chính xác hơn. Ví dụ, AdaBoost có thể cải thiện độ chính xác của việc phát hiện thư rác hoặc nhận diện khuôn mặt.
• Gradient Boosting: Thay vì gán lại trọng số cho mẫu, Gradient Boosting huấn luyện mỗi model mới để sửa các lỗi phần dư — tức chênh lệch giữa giá trị thực tế và giá trị dự đoán — do các model trước đó tạo ra. Phương pháp lặp này có hiệu quả với cả tác vụ hồi quy và phân loại, chẳng hạn như dự báo doanh số và chấm điểm tín dụng.
• XGBoost (Tăng cường độ dốc cực đại): Phiên bản nâng cao này của phương pháp tăng cường độ dốc cải thiện cả tốc độ lẫn độ chính xác. XGBoost sử dụng regularization, tức là phạt nhẹ các model quá phức tạp trong quá trình huấn luyện để chúng tập trung vào các quy luật có ý nghĩa thay vì ghi nhớ dữ liệu. Dù các model vẫn được huấn luyện tuần tự, XGBoost tăng tốc quá trình bằng cách song song hóa khi xây dựng cây. Phương pháp này có thể đánh giá đồng thời nhiều điểm phân tách khả thi trên các lõi CPU khác nhau. Nhờ đó, quá trình huấn luyện nhanh hơn nhiều, đặc biệt với dataset lớn, trong khi vẫn duy trì hiệu năng dự đoán cao.

Hình 3. Ví dụ về bộ phân loại dựa trên cây quyết định (DTB) được huấn luyện bằng phương pháp boosting để dự đoán nguy cơ mắc bệnh tiểu đường. (Nguồn)

Stacking#

Stacking, còn gọi là tổng quát hóa xếp chồng, tiến thêm một bước bằng cách sử dụng dự đoán từ nhiều model làm đầu vào cho một model cuối cùng, gọi là bộ học meta. Có thể hình dung phương pháp này giống như một nhóm chuyên gia cùng đưa ra ý kiến, sau đó một người ra quyết định cuối cùng học cách cân nhắc các ý kiến đó để đưa ra lựa chọn tốt nhất.

Ví dụ, một model có thể rất giỏi phát hiện gian lận, trong khi model khác dự đoán khách hàng rời bỏ dịch vụ tốt hơn. Meta learner phân tích hiệu quả của từng model và kết hợp thế mạnh của chúng để đưa ra dự đoán cuối cùng chính xác hơn.

Blending#

Blending hoạt động tương tự stacking vì cũng kết hợp dự đoán từ nhiều model để đưa ra quyết định cuối cùng, nhưng sử dụng cách tiếp cận đơn giản và nhanh hơn. Thay vì dùng kiểm định chéo—một phương pháp chia dữ liệu thành nhiều phần rồi luân phiên dùng chúng để huấn luyện và kiểm thử, giúp model đáng tin cậy hơn—như stacking, blending dành riêng một phần nhỏ dữ liệu gọi là tập holdout.

Các model cơ sở được huấn luyện trên phần dữ liệu còn lại, sau đó đưa ra dự đoán trên tập holdout mà chúng chưa từng thấy. Qua đó thu được hai thông tin quan trọng: đáp án thực tế, hay nhãn thực, và dự đoán của từng model cơ sở.

Sau đó, các dự đoán này được đưa vào một model khác gọi là model blending hoặc meta model. Model cuối cùng này phân tích độ chính xác của dự đoán từ từng model cơ sở và học cách kết hợp chúng tối ưu nhất.

Vì blending chỉ dựa vào một lần chia dữ liệu huấn luyện và kiểm thử thay vì lặp lại quy trình nhiều lần, phương pháp này chạy nhanh hơn và dễ thiết lập hơn. Đổi lại, model có ít thông tin hơn một chút để học, nên độ chính xác có thể thấp hơn đôi chút.

Đánh giá các thuật toán ensemble#

Một phần quan trọng của học ensemble là đánh giá hiệu quả của model trên dữ liệu mà model chưa từng thấy. Dù kỹ thuật tiên tiến đến đâu, vẫn cần kiểm thử để đảm bảo khả năng khái quát hóa; nghĩa là model cần đưa ra dự đoán chính xác trên các ví dụ mới trong thực tế, thay vì chỉ ghi nhớ dữ liệu huấn luyện.

Dưới đây là một số metric hiệu năng phổ biến dùng để đánh giá model AI:

• Accuracy: Metric này đo tỷ lệ dự đoán đúng trên tổng số dự đoán mà model đưa ra. Metric này cung cấp cái nhìn tổng quan nhanh về hiệu năng.
• Precision: Metric này cho biết có bao nhiêu mẫu được dự đoán là dương tính thực sự là dương tính. Precision cao nghĩa là model tạo ra ít lỗi dương tính giả.
• Recall: Metric này tập trung vào số trường hợp dương tính thực tế được model nhận diện chính xác. Recall đặc biệt quan trọng trong các lĩnh vực như chăm sóc sức khỏe, nơi bỏ sót một trường hợp dương tính, chẳng hạn như chẩn đoán bệnh, có thể dẫn đến hậu quả nghiêm trọng.

Ứng dụng thực tế của học ensemble#

Đến đây, chúng ta đã tìm hiểu cách học ensemble hoạt động và các kỹ thuật đứng sau phương pháp này. Giờ hãy xem cách tiếp cận này đang tạo ra tác động ở những lĩnh vực nào.

Dưới đây là một số lĩnh vực chính thường ứng dụng học ensemble:

• Phân tích dữ liệu và dự báo: Trong kinh doanh và phân tích, model ensemble giúp các tổ chức đưa ra dự đoán tốt hơn bằng cách kết hợp thông tin chuyên sâu từ nhiều model. Nhờ đó, doanh nghiệp có thể dự báo doanh số chính xác hơn, lập kế hoạch nhu cầu hiệu quả hơn và hiểu rõ hơn về hành vi khách hàng.
• Phân loại nhị phân: Các tác vụ như phát hiện thư rác, ngăn chặn gian lận và chẩn đoán y khoa thường đòi hỏi phân biệt giữa hai kết quả có thể xảy ra. Model ensemble giúp giảm dương tính giả và âm tính giả, điều đặc biệt quan trọng trong các lĩnh vực như an ninh mạng và chăm sóc sức khỏe.
• Bài toán hồi quy: Khi dự đoán các giá trị liên tục như giá nhà, doanh thu bán hàng hoặc rủi ro tín dụng, phương pháp ensemble nắm bắt được các mối quan hệ phức tạp trong dữ liệu. Nhờ đó, dự đoán chính xác hơn, hỗ trợ đưa ra quyết định tài chính và vận hành hiệu quả hơn.

Vượt ra ngoài dữ liệu có cấu trúc với học ensemble#

Học ensemble thường được dùng với dữ liệu có cấu trúc hoặc dạng bảng, chẳng hạn như bảng tính chứa thông tin số hoặc phân loại, nhưng cũng có thể áp dụng cho dữ liệu phi cấu trúc như văn bản, hình ảnh, âm thanh và video.

Các loại dữ liệu này phức tạp hơn và khó diễn giải hơn đối với model, nhưng phương pháp ensemble giúp cải thiện độ chính xác và độ tin cậy. Ví dụ, trong thị giác máy tính, ensemble có thể nâng cao hiệu quả các tác vụ như phân loại hình ảnh và phát hiện đối tượng.

Bằng cách kết hợp dự đoán từ nhiều model thị giác, chẳng hạn như mạng nơ-ron tích chập (CNNs), hệ thống có thể nhận diện đối tượng chính xác hơn và xử lý các biến đổi về ánh sáng, góc nhìn hoặc phông nền vốn có thể gây nhầm lẫn cho một model đơn lẻ.

Tìm hiểu về ensemble model Ultralytics YOLOv5#

Một ví dụ thú vị về việc áp dụng học ensemble trong thị giác máy tính là kỹ sư kết hợp nhiều model phát hiện đối tượng để cải thiện độ chính xác. Hãy hình dung một kỹ sư đang xây dựng hệ thống giám sát an toàn cho công trường, nơi ánh sáng, góc nhìn và kích thước đối tượng liên tục thay đổi.

Một model đơn lẻ có thể bỏ sót công nhân trong vùng tối hoặc nhầm lẫn với máy móc đang chuyển động. Khi sử dụng ensemble gồm nhiều model, mỗi model có thế mạnh riêng, hệ thống sẽ đáng tin cậy hơn và ít có khả năng mắc phải những lỗi đó.

Đặc biệt, các model như Ultralytics YOLOv5 rất phù hợp với kỹ thuật ensemble model. Kỹ sư có thể kết hợp nhiều biến thể YOLOv5, chẳng hạn như YOLOv5x và YOLOv5l6, để cùng đưa ra dự đoán. Mỗi model phân tích cùng một hình ảnh và tạo ra các phát hiện riêng, sau đó các phát hiện này được lấy trung bình để tạo kết quả cuối cùng tốt hơn và chính xác hơn.

Hình 4. Phát hiện đối tượng trong hình ảnh bằng YOLOv5. (Nguồn)

Ưu và nhược điểm của học ensemble#

Dưới đây là một số lợi ích chính khi sử dụng học ensemble:

• Khả năng chống chịu với dữ liệu nhiễu: Ensemble ít bị ảnh hưởng bởi các giá trị ngoại lệ hoặc nhiễu ngẫu nhiên trong tập dữ liệu vì dựa trên nhiều model.
• Khả năng khái quát hóa tốt hơn: Ensemble giảm hiện tượng overfitting, giúp model hoạt động hiệu quả trên dữ liệu chưa từng thấy thay vì chỉ ghi nhớ các ví dụ huấn luyện.
• Linh hoạt giữa các thuật toán: Bạn có thể kết hợp nhiều loại model khác nhau, chẳng hạn như cây quyết định, mạng nơ-ron và model tuyến tính, để tận dụng thế mạnh riêng của từng loại.

Mặc dù học ensemble mang lại nhiều lợi ích, phương pháp này cũng có một số thách thức cần cân nhắc. Dưới đây là một vài yếu tố cần lưu ý:

• Chi phí tính toán cao hơn: Huấn luyện và duy trì nhiều model đòi hỏi nhiều bộ nhớ, năng lực xử lý và thời gian hơn so với một model đơn lẻ.
• Khả năng diễn giải giảm: Vì đầu ra cuối cùng được tạo ra bằng cách kết hợp nhiều model, có thể khó hiểu vì sao một quyết định cụ thể được đưa ra. Tuy nhiên, điều này còn tùy thuộc vào các model được sử dụng: khi dùng những model có thể diễn giải, chẳng hạn như cây quyết định hoặc máy vector hỗ trợ, kết quả thường dễ hiểu hơn.
• Các yếu tố cần cân nhắc khi thiết kế ensemble: Xây dựng ensemble đòi hỏi lựa chọn tổ hợp model phù hợp và đảm bảo chúng hoạt động tốt cùng nhau. Tuy nhiên, trong một số trường hợp, quy trình này cũng có thể đơn giản hơn vì bạn không cần tinh chỉnh siêu tham số của từng model riêng lẻ.

Điểm chính cần ghi nhớ#

Học ensemble cho thấy việc kết hợp nhiều model có thể giúp hệ thống AI chính xác và đáng tin cậy hơn. Phương pháp này giúp giảm lỗi và cải thiện hiệu năng trên nhiều loại tác vụ. Khi machine learning và AI tiếp tục phát triển, những kỹ thuật như vậy đang thúc đẩy việc ứng dụng rộng rãi hơn và tạo ra các giải pháp AI thiết thực, hiệu năng cao.

Tham gia cộng đồng đang phát triển và khám phá repository GitHub của chúng tôi để tìm hiểu thêm về Vision AI. Khám phá các trang giải pháp để tìm hiểu về ứng dụng của thị giác máy tính trong nông nghiệp và AI trong logistics. Xem các tùy chọn cấp phép để bắt đầu xây dựng model thị giác máy tính của riêng bạn ngay hôm nay!