Học tập tự giám sát

Học tập tự giám sát hoạt động như thế nào

Cơ chế cốt lõi đằng sau SSL liên quan đến việc thiết kế một "nhiệm vụ tiền đề". Đây là một nhiệm vụ phụ trợ, tự tạo, trong đó mô hình phải dự đoán một số thuộc tính nhất định của dữ liệu đã bị cố ý ẩn hoặc thay đổi. Bằng cách giải quyết nhiệm vụ tiền đề này, mô hình buộc phải học các cấu trúc và biểu diễn cơ bản có ý nghĩa ( nhúng ) của dữ liệu mà không có nhãn do con người cung cấp. Giai đoạn đào tạo ban đầu này thường được gọi là tiền đào tạo.

Ví dụ, trong thị giác máy tính, một nhiệm vụ giả định có thể bao gồm:

• Dự đoán vị trí tương đối của các mảng hình ảnh bị xáo trộn.
• Tô màu cho hình ảnh thang độ xám.
• Điền vào các phần còn thiếu của hình ảnh (inpainting).
• Học cách biểu diễn bằng cách đối chiếu các góc nhìn tăng cường khác nhau của cùng một hình ảnh, một kỹ thuật được sử dụng trong các phương pháp học tương phản như SimCLR và MoCo .

Trong NLP, một nhiệm vụ tiền đề nổi tiếng là mô hình ngôn ngữ bị che giấu, được sử dụng phổ biến bởi các mô hình như BERT . Ở đây, mô hình học cách dự đoán các từ đã bị che giấu ngẫu nhiên (ẩn) trong các câu.

Sau khi đào tạo trước trên các tập dữ liệu lớn không có nhãn, mô hình sẽ nắm bắt được các biểu diễn tính năng phong phú. Mô hình được đào tạo trước này sau đó có thể được điều chỉnh cho các tác vụ hạ lưu cụ thể—chẳng hạn như phát hiện đối tượng , phân loại hình ảnh hoặc phân tích tình cảm —thông qua một quy trình gọi là tinh chỉnh . Tinh chỉnh thường yêu cầu lượng dữ liệu có nhãn nhỏ hơn nhiều so với đào tạo mô hình từ đầu, khiến SSL trở thành một công cụ hỗ trợ chính cho việc học chuyển giao hiệu quả.

SSL so với các mô hình học tập khác

Điều quan trọng là phải phân biệt SSL với các mô hình ML liên quan:

• Học có giám sát: Hoàn toàn dựa vào dữ liệu được gắn nhãn, trong đó mỗi đầu vào được ghép nối với một đầu ra chính xác. Ngược lại, SSL tạo nhãn từ chính dữ liệu.
• Học không giám sát: Nhằm mục đích tìm ra các mẫu (như phân cụm ) hoặc giảm chiều trong dữ liệu không có nhãn mà không có tác vụ tiền đề được xác định trước. Trong khi SSL sử dụng dữ liệu không có nhãn như học không giám sát, nó khác ở chỗ tạo ra các tín hiệu giám sát rõ ràng thông qua các tác vụ tiền đề để hướng dẫn học biểu diễn.
• Học bán giám sát: Sử dụng kết hợp một lượng nhỏ dữ liệu được gắn nhãn và một lượng lớn dữ liệu không được gắn nhãn. Đào tạo trước SSL thường có thể là bước sơ bộ trước khi tinh chỉnh bán giám sát.

Ứng dụng trong thế giới thực

SSL đã cải tiến đáng kể khả năng Trí tuệ nhân tạo (AI) :

1. Tiến bộ mô hình thị giác máy tính: Đào tạo trước SSL cho phép các mô hình như Ultralytics YOLO11 học các tính năng trực quan mạnh mẽ từ các tập dữ liệu hình ảnh lớn không có nhãn trước khi được tinh chỉnh cho các tác vụ như phát hiện vật thể trong xe tự hành hoặc phân tích hình ảnh y tế . Sử dụng trọng số được đào tạo trước có nguồn gốc từ SSL thường dẫn đến hiệu suất tốt hơn và hội tụ nhanh hơn trong quá trình đào tạo mô hình .
2. Cung cấp năng lượng cho các mô hình ngôn ngữ lớn (LLM): Các mô hình nền tảng như GPT-4 và BERT phụ thuộc rất nhiều vào các tác vụ tiền đề SSL (như mô hình ngôn ngữ được che giấu) trong giai đoạn tiền đào tạo của chúng trên các tập hợp văn bản lớn. Điều này cho phép chúng hiểu cấu trúc ngôn ngữ, ngữ pháp và ngữ cảnh, cung cấp năng lượng cho các ứng dụng từ chatbot tinh vi và dịch máy đến tóm tắt văn bản .

SSL làm giảm đáng kể sự phụ thuộc vào các tập dữ liệu được gắn nhãn đắt tiền, dân chủ hóa việc phát triển các mô hình AI mạnh mẽ. Các công cụ như PyTorch và TensorFlow , cùng với các nền tảng như Ultralytics HUB , cung cấp môi trường để tận dụng các kỹ thuật SSL để xây dựng và triển khai các giải pháp AI tiên tiến.