Zero-Shot Learning

Zero-Shot Learning (ZSL) là một mô hình học máy cho phép các mô hình trí tuệ nhân tạo nhận diện, phân loại hoặc phát hiện các đối tượng mà chúng chưa từng gặp trong giai đoạn huấn luyện. Trong học có giám sát truyền thống, một mô hình yêu cầu hàng nghìn ví dụ có gán nhãn cho mọi danh mục cụ thể mà nó cần nhận diện. ZSL loại bỏ sự phụ thuộc nghiêm ngặt này bằng cách tận dụng thông tin phụ trợ—thường là mô tả văn bản, thuộc tính ngữ nghĩa hoặc embedding—để thu hẹp khoảng cách giữa các lớp đã thấy và chưa thấy. Khả năng này cho phép các hệ thống trí tuệ nhân tạo (AI) trở nên linh hoạt hơn đáng kể, dễ mở rộng hơn và có khả năng xử lý các môi trường động nơi việc thu thập dữ liệu đầy đủ cho mọi đối tượng có thể là bất khả thi.

Cách thức hoạt động của Zero-Shot Learning#

Cơ chế cốt lõi của ZSL liên quan đến việc truyền tải kiến thức từ các khái niệm quen thuộc sang các khái niệm chưa quen thuộc bằng cách sử dụng một không gian ngữ nghĩa chung. Thay vì học cách nhận diện một con "ngựa vằn" chỉ bằng cách ghi nhớ các mẫu điểm ảnh của các sọc đen và trắng, mô hình học mối quan hệ giữa các đặc điểm trực quan và các thuộc tính ngữ nghĩa (ví dụ: "hình dáng giống ngựa", "mẫu có sọc", "bốn chân") bắt nguồn từ xử lý ngôn ngữ tự nhiên (NLP).

Quá trình này thường dựa vào các mô hình đa phương thức giúp căn chỉnh các biểu diễn hình ảnh và văn bản. Ví dụ, nghiên cứu nền tảng như CLIP của OpenAI minh họa cách các mô hình có thể học các khái niệm trực quan từ việc giám sát bằng ngôn ngữ tự nhiên. Khi một mô hình ZSL gặp một đối tượng chưa từng thấy, nó trích xuất các đặc điểm trực quan và so sánh chúng với một từ điển chứa các véc-tơ ngữ nghĩa. Nếu các đặc điểm trực quan khớp với mô tả ngữ nghĩa của lớp mới, mô hình có thể phân loại chính xác, thực hiện hiệu quả một dự đoán "zero-shot". Cách tiếp cận này đóng vai trò cốt lõi đối với các mô hình nền tảng hiện đại có khả năng khái quát hóa trên hàng loạt các tác vụ.

Các ứng dụng trong thực tế#

Zero-Shot Learning đang thúc đẩy sự đổi mới trên nhiều ngành công nghiệp khác nhau bằng cách cho phép các hệ thống khái quát hóa vượt ra ngoài dữ liệu huấn luyện ban đầu của chúng.

1. Phát hiện đối tượng từ vựng mở: Các kiến trúc hiện đại như YOLO-World tận dụng ZSL để phát hiện đối tượng dựa trên các câu lệnh văn bản do người dùng định nghĩa. Điều này cho phép phát hiện đối tượng trong các kịch bản mà việc xác định trước một danh sách các lớp cố định là không thể, chẳng hạn như tìm kiếm các mục cụ thể trong kho lưu trữ video lớn. Các nhà nghiên cứu tại Google Research tiếp tục đẩy xa các giới hạn của khả năng từ vựng mở này.

2. Chẩn đoán y tế: Trong AI trong chăm sóc sức khỏe, việc lấy dữ liệu được gán nhãn cho các bệnh hiếm gặp thường khó khăn và tốn kém. Các mô hình ZSL có thể được huấn luyện trên các tình trạng phổ biến và mô tả các triệu chứng hiếm gặp từ tài liệu y tế được tìm thấy trong các cơ sở dữ liệu như PubMed, cho phép hệ thống gắn cờ các dị tật hiếm gặp tiềm năng trong hình ảnh y tế mà không cần một tập dữ liệu lớn các trường hợp dương tính.

3. Bảo tồn động vật hoang dã: Đối với AI trong nông nghiệp và sinh thái học, việc xác định các loài có nguy cơ tuyệt chủng mà hiếm khi được chụp ảnh là điều tối quan trọng. ZSL cho phép các nhà bảo tồn phát hiện những động vật này bằng cách sử dụng các mô tả dựa trên thuộc tính được định nghĩa trong các cơ sở dữ liệu sinh học như Encyclopedia of Life.

Zero-Shot Detection với Ultralytics#

Mô hình Ultralytics YOLO-World minh họa cho Zero-Shot Learning trong thực tế. Nó cho phép người dùng định nghĩa các lớp tùy chỉnh một cách động tại thời gian chạy mà không cần huấn luyện lại mô hình. Điều này đạt được bằng cách kết nối một xương sống phát hiện mạnh mẽ với một bộ mã hóa văn bản hiểu được ngôn ngữ tự nhiên.

Ví dụ về Python sau đây minh họa cách sử dụng YOLO-World để phát hiện các đối tượng không nằm rõ trong một tập huấn luyện chuẩn bằng cách sử dụng gói ultralytics.

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model capable of Zero-Shot Learning
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes via text prompts (e.g., specific accessories)
# The model adjusts to detect these new classes without retraining
model.set_classes(["blue backpack", "red apple", "sunglasses"])

# Run inference on an image to detect the new zero-shot classes
results = model.predict("https://ultralytics.com/images/bus.jpg")

# Display the results
results[0].show()

Sự khác biệt với các khái niệm liên quan#

Để hiểu rõ hoàn toàn về ZSL, sẽ rất hữu ích nếu phân biệt nó với các chiến lược học tập tương tự được sử dụng trong thị giác máy tính (CV):

• Few-Shot Learning (FSL): Trong khi ZSL không yêu cầu bất kỳ ví dụ nào của lớp mục tiêu, FSL cung cấp cho mô hình một tập hỗ trợ rất nhỏ (thường từ 1 đến 5 ví dụ) để thích ứng. ZSL nhìn chung được coi là thách thức hơn vì nó hoàn toàn dựa vào suy luận ngữ nghĩa thay vì các ví dụ trực quan.
• One-Shot Learning: Một tập con của FSL trong đó mô hình học từ chính xác một ví dụ được gán nhãn. ZSL khác biệt cơ bản vì nó hoạt động mà không cần dù chỉ một hình ảnh duy nhất của danh mục mới.
• Transfer Learning: Thuật ngữ rộng này đề cập đến việc chuyển giao kiến thức từ tác vụ này sang tác vụ khác. ZSL là một loại chuyển giao kiến thức cụ thể sử dụng các thuộc tính ngữ nghĩa để truyền kiến thức sang các lớp chưa biết mà không cần tinh chỉnh truyền thống trên dữ liệu mới.

Những thách thức và Triển vọng tương lai#

Mặc dù ZSL mang lại tiềm năng to lớn, nó đối mặt với các thách thức như vấn đề dịch chuyển miền (domain shift problem), nơi các thuộc tính ngữ nghĩa học được trong quá trình huấn luyện không khớp hoàn hảo với sự xuất hiện thị giác của các lớp chưa thấy. Ngoài ra, các mô hình ZSL có thể bị thiên lệch, trong đó độ chính xác dự đoán cao hơn đáng kể đối với các lớp đã thấy so với các lớp chưa thấy.

Nghiên cứu từ các tổ chức như Phòng thí nghiệm AI của Đại học Stanford và Hội Máy tính IEEE tiếp tục giải quyết các hạn chế này. Khi các công cụ thị giác máy tính trở nên mạnh mẽ hơn, ZSL dự kiến sẽ trở thành một tính năng tiêu chuẩn, làm giảm sự phụ thuộc vào các nỗ lực gán nhãn dữ liệu khổng lồ. Đối với các nhóm muốn quản lý tập dữ liệu hiệu quả trước khi triển khai các mô hình tiên tiến, Ultralytics Platform cung cấp các công cụ toàn diện để chú thích và quản lý tập dữ liệu.