Học tập tự giám sát

Học Tự Giám Sát (SSL) là một kỹ thuật học máy cho phép các mô hình học từ một lượng lớn dữ liệu chưa được gắn nhãn. Thay vì dựa vào các nhãn do con người cung cấp, SSL tự động tạo nhãn từ chính dữ liệu bằng cách tạo và giải một "tác vụ tiền đề". Quá trình này buộc mô hình phải học các mẫu và đặc điểm cơ bản có ý nghĩa của dữ liệu, chẳng hạn như kết cấu và hình dạng trong hình ảnh hoặc cấu trúc ngữ pháp trong văn bản. Những đặc điểm đã học này tạo ra một nền tảng vững chắc, cho phép mô hình hoạt động cực kỳ tốt trong các tác vụ hạ nguồn với dữ liệu ít được gắn nhãn hơn nhiều trong giai đoạn tinh chỉnh . SSL thu hẹp khoảng cách giữa học có giám sát hoàn toàn, vốn ngốn dữ liệu, và học hoàn toàn không giám sát , vốn ít được định hướng hơn.

Học tập tự giám sát hoạt động như thế nào

Ý tưởng cốt lõi đằng sau SSL là tác vụ tiền đề - một bài toán tự tạo mà mô hình phải giải quyết. Các nhãn cho tác vụ này được lấy trực tiếp từ dữ liệu đầu vào. Bằng cách giải quyết tác vụ tiền đề, mạng nơ-ron học được các biểu diễn có giá trị, hay còn gọi là các nhúng , giúp nắm bắt các đặc điểm thiết yếu của dữ liệu.

Các tác vụ giả định phổ biến trong thị giác máy tính bao gồm:

• Dự đoán Xoay Ảnh: Mô hình được hiển thị một hình ảnh đã được xoay ngẫu nhiên (ví dụ: 0, 90, 180 hoặc 270 độ) và phải dự đoán góc xoay. Để thực hiện chính xác, mô hình phải nhận dạng được hướng ban đầu của vật thể.
• Inpainting hình ảnh: Một phần hình ảnh được che hoặc xóa, và mô hình phải dự đoán phần bị thiếu. Điều này khuyến khích mô hình tìm hiểu về bối cảnh và kết cấu của hình ảnh.
• Học tương phản: Mô hình được dạy để kéo các biểu diễn của hình ảnh tương tự (đã tăng cường) lại gần nhau hơn và đẩy các biểu diễn của hình ảnh khác nhau ra xa hơn. Các nền tảng như SimCLR là những ví dụ phổ biến cho phương pháp này.

Quá trình đào tạo trước trên dữ liệu chưa gắn nhãn này tạo ra trọng số mô hình mạnh mẽ có thể được sử dụng làm điểm khởi đầu cho các nhiệm vụ cụ thể hơn.

SSL so với các mô hình học tập khác

Điều quan trọng là phải phân biệt SSL với các mô hình học máy liên quan:

• Học có giám sát: Hoàn toàn dựa vào dữ liệu được gắn nhãn, trong đó mỗi đầu vào được ghép nối với một đầu ra chính xác. Ngược lại, SSL tự tạo nhãn từ chính dữ liệu, giúp giảm đáng kể nhu cầu gắn nhãn dữ liệu thủ công.
• Học không giám sát: Nhằm mục đích tìm ra các mẫu (như phân cụm ) hoặc giảm chiều trong dữ liệu không có nhãn mà không có tác vụ tiền đề được xác định trước. Trong khi SSL sử dụng dữ liệu không có nhãn như học không giám sát, nó khác ở chỗ tạo ra các tín hiệu giám sát rõ ràng thông qua các tác vụ tiền đề để hướng dẫn học biểu diễn.
• Học bán giám sát: Sử dụng kết hợp một lượng nhỏ dữ liệu được gắn nhãn và một lượng lớn dữ liệu chưa được gắn nhãn. Tiền huấn luyện SSL thường có thể là bước sơ bộ trước khi tinh chỉnh bán giám sát .
• Học tập chủ động: Tập trung vào việc lựa chọn thông minh các điểm dữ liệu giàu thông tin nhất từ một nhóm dữ liệu chưa được gắn nhãn để con người gắn nhãn. SSL học từ tất cả dữ liệu chưa được gắn nhãn mà không cần sự can thiệp của con người vào vòng lặp. Hai phương pháp này có thể bổ sung cho nhau trong quy trình làm việc AI lấy dữ liệu làm trung tâm .

Ứng dụng trong thế giới thực

SSL đã cải tiến đáng kể khả năng Trí tuệ nhân tạo (AI) trên nhiều lĩnh vực khác nhau:

1. Nâng cao Mô hình Thị giác Máy tính: Huấn luyện trước SSL cho phép các mô hình như Ultralytics YOLO học các đặc điểm hình ảnh mạnh mẽ từ các tập dữ liệu hình ảnh lớn chưa được gắn nhãn trước khi được tinh chỉnh cho các tác vụ như phát hiện vật thể trong xe tự hành hoặc phân tích hình ảnh y tế . Sử dụng các trọng số được huấn luyện trước từ SSL thường mang lại hiệu suất tốt hơn và hội tụ nhanh hơn trong quá trình huấn luyện mô hình .
2. Cung cấp năng lượng cho các mô hình ngôn ngữ lớn (LLM): Các mô hình nền tảng như GPT-4 và BERT phụ thuộc rất nhiều vào các tác vụ tiền đề SSL (như mô hình ngôn ngữ được che giấu) trong giai đoạn tiền đào tạo của chúng trên các tập hợp văn bản lớn. Điều này cho phép chúng hiểu cấu trúc ngôn ngữ, ngữ pháp và ngữ cảnh, cung cấp năng lượng cho các ứng dụng từ chatbot tinh vi và dịch máy đến tóm tắt văn bản .

SSL làm giảm đáng kể sự phụ thuộc vào các tập dữ liệu được gắn nhãn đắt tiền, giúp dân chủ hóa việc phát triển các mô hình AI mạnh mẽ. Các công cụ như PyTorch và TensorFlow , cùng với các nền tảng như Ultralytics HUB , cung cấp môi trường để tận dụng các kỹ thuật SSL nhằm xây dựng và triển khai các giải pháp AI tiên tiến. Bạn có thể tìm thấy những nghiên cứu mới nhất về SSL tại các hội nghị AI hàng đầu như NeurIPS và ICML .