Dataset Bias

Dataset bias xuất hiện khi thông tin dùng để huấn luyện các mô hình machine learning (ML) chứa các lỗi hệ thống hoặc phân phối bị lệch, khiến hệ thống AI kết quả ưu tiên một số kết quả nhất định hơn các kết quả khác. Vì các mô hình hoạt động như các công cụ nhận diện mẫu, chúng phụ thuộc hoàn toàn vào dữ liệu đầu vào; nếu training data không phản ánh chính xác tính đa dạng của môi trường thực tế, mô hình sẽ kế thừa những điểm mù này. Hiện tượng này thường dẫn đến khả năng tổng quát hóa kém, trong đó AI có thể đạt điểm số cao trong quá trình thử nghiệm nhưng lại thất bại đáng kể khi được triển khai để real-time inference trong các kịch bản đa dạng hoặc bất ngờ.

Các nguồn phổ biến gây lệch dữ liệu#

Thiên kiến có thể xâm nhập vào tập dữ liệu ở nhiều giai đoạn của vòng đời phát triển, thường xuất phát từ quyết định của con người trong quá trình thu thập hoặc gán nhãn.

• Selection Bias: Tình trạng này phát sinh khi dữ liệu thu thập được không đại diện cho tổng thể mục tiêu một cách ngẫu nhiên. Ví dụ, việc tạo ra một tập dữ liệu facial recognition chủ yếu sử dụng hình ảnh của những người nổi tiếng có thể làm lệch mô hình theo hướng trang điểm đậm và ánh sáng chuyên nghiệp, khiến nó thất bại đối với các hình ảnh webcam hàng ngày.
• Labeling Errors: Tính chủ quan trong quá trình data labeling có thể mang lại định kiến của con người. Nếu những người gán nhãn liên tục phân loại nhầm các đối tượng mơ hồ do thiếu hướng dẫn rõ ràng, mô hình sẽ coi những lỗi này là ground truth.
• Representation Bias: Ngay cả khi được chọn ngẫu nhiên, các nhóm thiểu số vẫn có thể bị lấn át về mặt thống kê bởi lớp đa số. Trong bài toán object detection, một tập dữ liệu gồm 10.000 hình ảnh ô tô nhưng chỉ có 100 hình ảnh xe đạp sẽ dẫn đến một mô hình có xu hướng thiên vị về việc phát hiện ô tô.

Ứng dụng thực tế và Hậu quả#

Tác động của thiên kiến tập dữ liệu là rất đáng kể trên nhiều ngành công nghiệp, đặc biệt là nơi các hệ thống tự động đưa ra các quyết định quan trọng hoặc tương tác với thế giới vật lý.

Trong ngành công nghiệp ô tô, AI in automotive dựa vào camera để nhận diện người đi bộ và chướng ngại vật. Nếu một chiếc xe tự lái được huấn luyện chủ yếu trên dữ liệu thu thập ở vùng khí hậu nắng và khô, nó có thể bị suy giảm hiệu suất khi hoạt động trong tuyết hoặc mưa lớn. Đây là một ví dụ kinh điển về việc phân phối huấn luyện không khớp với phân phối vận hành, dẫn đến rủi ro về an toàn.

Tương tự, trong medical image analysis, các mô hình chẩn đoán thường được huấn luyện trên dữ liệu bệnh nhân lịch sử. Nếu một mô hình được thiết kế để phát hiện các tình trạng da được huấn luyện trên một tập dữ liệu bị chiếm ưu thế bởi tông da sáng màu, nó có thể thể hiện mức accuracy thấp hơn đáng kể khi chẩn đoán bệnh nhân có tông da sẫm màu. Để giải quyết vấn đề này, cần có nỗ lực phối hợp nhằm tuyển chọn các tập dữ liệu đa dạng nhằm đảm bảo fairness in AI trên tất cả các nhóm nhân khẩu học.

Các chiến lược giảm thiểu#

Các lập trình viên có thể giảm thiểu dataset bias bằng cách áp dụng quy trình kiểm toán nghiêm ngặt và các chiến lược huấn luyện nâng cao. Các kỹ thuật như data augmentation giúp cân bằng các tập dữ liệu bằng cách tạo ra các biến thể của các mẫu ít đại diện một cách nhân tạo (ví dụ: lật, xoay hoặc điều chỉnh độ sáng). Hơn nữa, việc tạo ra synthetic data có thể lấp đầy các khoảng trống khi dữ liệu thực tế khan hiếm hoặc khó thu thập.

Việc quản lý các tập dữ liệu này một cách hiệu quả là rất quan trọng. Ultralytics Platform cho phép các nhóm trực quan hóa phân phối lớp và xác định sự mất cân bằng trước khi quá trình huấn luyện bắt đầu. Ngoài ra, việc tuân thủ các hướng dẫn như NIST AI Risk Management Framework giúp các tổ chức cấu trúc cách tiếp cận của họ để xác định và giảm thiểu các rủi ro này một cách có hệ thống.

Thiên kiến tập dữ liệu so với các khái niệm liên quan#

Việc phân biệt thiên kiến tập dữ liệu với các thuật ngữ tương tự là hữu ích để hiểu nơi bắt nguồn của lỗi:

• vs. Algorithmic Bias: Dataset bias mang tính hướng dữ liệu; điều này ngụ ý rằng các "thành phần" có lỗi. Algorithmic bias mang tính hướng mô hình; nó phát sinh từ thiết kế của chính thuật toán hoặc optimization algorithm, vốn có thể ưu tiên các lớp đa số để tối đa hóa các chỉ số tổng thể nhằm đánh đổi các nhóm thiểu số.
• vs. Model Drift: Dataset bias là một vấn đề tĩnh hiện hữu tại thời điểm huấn luyện. Model drift (hoặc data drift) xảy ra khi dữ liệu thực tế thay đổi theo thời gian sau khi mô hình đã được triển khai, đòi hỏi phải thực hiện model monitoring liên tục.

Ví dụ mã nguồn: Tăng cường dữ liệu để giảm thiên kiến#

Ví dụ sau đây minh họa cách áp dụng data augmentation trong quá trình huấn luyện với YOLO26. Bằng cách gia tăng các phép biến đổi hình học, mô hình học cách tổng quát hóa tốt hơn, qua đó có khả năng giảm độ thiên vị đối với các hướng hoặc vị trí đối tượng cụ thể có trong tập huấn luyện.

from ultralytics import YOLO

# Load YOLO26n, a high-efficiency model ideal for edge deployment
model = YOLO("yolo26n.pt")

# Train with increased augmentation to improve generalization
# 'fliplr' (flip left-right) and 'scale' help the model see diverse variations
results = model.train(
    data="coco8.yaml",
    epochs=50,
    fliplr=0.5,  # 50% probability of horizontal flip
    scale=0.5,  # +/- 50% image scaling
)