Dữ Liệu Huấn Luyện

Dữ liệu huấn luyện là bộ dữ liệu nền tảng được sử dụng để dạy một mô hình học máy (ML) cách đưa ra các dự đoán hoặc quyết định chính xác. Trong học có giám sát, dữ liệu này bao gồm các mẫu đầu vào được ghép nối với các đầu ra chính xác tương ứng, thường được gọi là nhãn hoặc chú thích. Mô hình lặp đi lặp lại học hỏi từ các ví dụ này, điều chỉnh trọng số mô hình bên trong để giảm thiểu sự khác biệt giữa các dự đoán của nó và các nhãn thực tế. Chất lượng, số lượng và tính đa dạng của dữ liệu huấn luyện là những yếu tố quan trọng nhất ảnh hưởng đến hiệu suất của mô hình và khả năng khái quát hóa dữ liệu mới, chưa từng thấy.

Tầm quan trọng của Dữ liệu Huấn luyện Chất lượng Cao

Nguyên tắc "dữ liệu đầu vào rác, dữ liệu đầu ra rác" đặc biệt đúng đối với việc huấn luyện các mô hình ML. Dữ liệu chất lượng cao là điều cần thiết để xây dựng các hệ thống mạnh mẽ và đáng tin cậy. Các đặc điểm chính bao gồm:

• Tính phù hợp (Relevance): Dữ liệu phải phản ánh chính xác vấn đề mà mô hình được dự định giải quyết.
• Tính đa dạng: Nó nên bao gồm một loạt các kịch bản, trường hợp biên và các biến thể mà mô hình sẽ gặp phải trong thế giới thực để tránh quá khớp (overfitting).
• Gán nhãn chính xác: Các chú thích phải chính xác và nhất quán. Quá trình gán nhãn dữ liệu thường là phần tốn thời gian nhất của một dự án thị giác máy tính.
• Đủ dung lượng: Thông thường, cần một lượng lớn dữ liệu để mô hình học các mẫu có ý nghĩa. Các kỹ thuật như tăng cường dữ liệu có thể giúp mở rộng tập dữ liệu một cách nhân tạo.
• Độ lệch thấp: Dữ liệu phải cân bằng và có tính đại diện để ngăn chặn độ lệch tập dữ liệu, điều này có thể dẫn đến hành vi mô hình không công bằng hoặc không chính xác. Hiểu độ lệch thuật toán là một khía cạnh quan trọng của phát triển AI có trách nhiệm.

Các nền tảng như Ultralytics HUB cung cấp các công cụ để quản lý bộ dữ liệu trong suốt vòng đời phát triển mô hình, trong khi các công cụ mã nguồn mở như CVAT phổ biến cho các tác vụ chú thích.

Các ví dụ thực tế

1. Xe tự hành: Để huấn luyện một mô hình phát hiện đối tượng cho xe tự hành, các nhà phát triển sử dụng lượng lớn dữ liệu huấn luyện từ camera và cảm biến. Dữ liệu này bao gồm hình ảnh và video, trong đó mọi khung hình đều được gán nhãn tỉ mỉ. Người đi bộ, người đi xe đạp, xe hơi khác và biển báo giao thông được bao quanh bởi các hộp giới hạn. Bằng cách huấn luyện trên các bộ dữ liệu như Argoverse hoặc nuScenes, AI của xe học cách nhận biết và điều hướng môi trường của nó một cách an toàn.
2. Phân tích ảnh y tế: Trong chăm sóc sức khỏe, dữ liệu đào tạo cho phân tích ảnh y tế có thể bao gồm hàng nghìn ảnh chụp MRI hoặc CT. Các bác sĩ радиologist chú thích những hình ảnh này để làm nổi bật các khối u, gãy xương hoặc các bệnh lý khác. Một mô hình ML, chẳng hạn như mô hình được xây dựng bằng Ultralytics YOLO, có thể được đào tạo trên bộ dữ liệu khối u não để học cách xác định những bất thường này, hoạt động như một công cụ mạnh mẽ để hỗ trợ bác sĩ đưa ra chẩn đoán nhanh hơn và chính xác hơn. Các tài nguyên như Kho lưu trữ Hình ảnh Ung thư (TCIA) cung cấp quyền truy cập công khai vào dữ liệu đó cho nghiên cứu.

Dữ liệu huấn luyện so với Dữ liệu kiểm định và dữ liệu thử nghiệm

Trong một dự án ML điển hình, dữ liệu được chia thành ba tập riêng biệt:

• Dữ liệu huấn luyện: Phần lớn nhất, được sử dụng trực tiếp để huấn luyện mô hình bằng cách điều chỉnh các tham số của nó. Việc huấn luyện hiệu quả thường liên quan đến việc xem xét cẩn thận các mẹo để huấn luyện mô hình.
• Dữ liệu Kiểm định (Validation Data): Một tập hợp con riêng biệt được sử dụng định kỳ trong quá trình huấn luyện để đánh giá hiệu suất của mô hình trên dữ liệu mà nó chưa học một cách rõ ràng. Điều này giúp điều chỉnh siêu tham số (hyperparameters) (ví dụ: tốc độ học (learning rate), kích thước lô (batch size)) thông qua các quy trình như Tối ưu hóa Siêu tham số (Wikipedia) và cung cấp cảnh báo sớm về tình trạng quá khớp (overfitting). Chế độ kiểm định (validation mode) được sử dụng cho việc đánh giá này.
• Dữ liệu kiểm tra (Test Data): Một tập dữ liệu độc lập, không được thấy trong quá trình huấn luyện và xác thực, chỉ được sử dụng sau khi mô hình được huấn luyện đầy đủ. Nó cung cấp đánh giá cuối cùng, khách quan về khả năng khái quát hóa của mô hình và hiệu suất dự kiến trong thế giới thực. Kiểm tra mô hình nghiêm ngặt là rất quan trọng trước khi triển khai.

Việc duy trì sự tách biệt nghiêm ngặt giữa các tập dữ liệu này là rất cần thiết để phát triển các mô hình đáng tin cậy. Các mô hình hiện đại thường được huấn luyện trước trên các tập dữ liệu chuẩn lớn như COCO hoặc ImageNet, đóng vai trò là dữ liệu huấn luyện mở rộng. Bạn có thể tìm thêm các tập dữ liệu trên các nền tảng như Google Dataset Search và Kaggle Datasets.