CLIP (Contrastive Language-Image Pre-training)

CLIP (Contrastive Language-Image Pre-training) là một kiến trúc mạng neural mang tính cách mạng được phát triển bởi OpenAI, thu hẹp khoảng cách giữa dữ liệu hình ảnh và ngôn ngữ tự nhiên. Không giống như các hệ thống thị giác máy tính (CV) truyền thống vốn đòi hỏi công sức gắn nhãn dữ liệu tốn kém cho một tập hợp danh mục cố định, CLIP học cách hiểu hình ảnh thông qua việc huấn luyện trên hàng triệu cặp hình ảnh-văn bản được thu thập từ internet. Phương pháp này cho phép mô hình thực hiện học không cần mẫu (zero-shot learning), nghĩa là nó có thể nhận diện các đối tượng, khái niệm hoặc phong cách chưa từng thấy rõ ràng trong quá trình huấn luyện, chỉ bằng cách đọc một đoạn mô tả văn bản. Bằng cách ánh xạ thông tin hình ảnh và ngôn ngữ vào một không gian đặc trưng chung, CLIP đóng vai trò là một mô hình nền tảng (foundation model) mạnh mẽ cho rất nhiều tác vụ hạ nguồn mà không cần tinh chỉnh (fine-tuning) chuyên sâu cho từng tác vụ.

Kiến trúc hoạt động như thế nào#

Cơ chế cốt lõi của CLIP bao gồm hai bộ mã hóa song song: một bộ mã hóa hình ảnh, thường dựa trên Vision Transformer (ViT) hoặc ResNet, và một Transformer văn bản tương tự như các bộ được sử dụng trong các mô hình ngôn ngữ lớn (LLM) hiện đại. Thông qua một quá trình được gọi là học đối lập (contrastive learning), hệ thống được huấn luyện để dự đoán đoạn văn bản nào khớp với hình ảnh nào trong một lô (batch).

Trong quá trình huấn luyện, mô hình tối ưu hóa các tham số của mình để kéo các embedding vectơ của các cặp hình ảnh-văn bản khớp nhau lại gần nhau hơn, đồng thời đẩy các cặp không khớp ra xa nhau. Điều này tạo ra một không gian tiềm ẩn (latent space) đa phương thức, nơi biểu diễn toán học của một hình ảnh "chó săn lông vàng" nằm gần về mặt không gian với embedding văn bản cho "một bức ảnh chụp con chó". Bằng cách tính toán độ tương đồng cô-sin (cosine similarity) giữa các vectơ này, mô hình có thể định lượng mức độ tương ứng của một hình ảnh với một lời nhắc bằng ngôn ngữ tự nhiên, cho phép phân loại hình ảnh và truy xuất linh hoạt.

Các ứng dụng trong thực tế#

Khả năng liên kết giữa tầm nhìn và ngôn ngữ đã biến CLIP thành một công nghệ nền tảng trong các ứng dụng AI hiện đại:

• Tìm kiếm ngữ nghĩa thông minh: CLIP cho phép người dùng tìm kiếm trong các cơ sở dữ liệu hình ảnh lớn bằng các truy vấn xử lý ngôn ngữ tự nhiên (NLP) phức tạp. Ví dụ, trong AI trong bán lẻ, một người mua sắm có thể tìm kiếm "váy mùa hè họa tiết hoa cổ điển" và truy xuất các kết quả chính xác về mặt hình ảnh mà không cần các hình ảnh đó có các thẻ siêu dữ liệu cụ thể đó. Điều này thường được hỗ trợ bởi các cơ sở dữ liệu vectơ hiệu suất cao.
• Kiểm soát AI tạo sinh: Các mô hình như Stable Diffusion dựa vào CLIP để diễn giải các lời nhắc của người dùng và hướng dẫn quá trình tạo. CLIP đóng vai trò là một bộ đánh giá, đo lường mức độ phù hợp của đầu ra trực quan được tạo ra với mô tả văn bản, điều này rất cần thiết cho việc tổng hợp văn bản thành hình ảnh (text-to-image) chất lượng cao.
• Phát hiện đối tượng mở (Open-Vocabulary): Các kiến trúc tiên tiến như YOLO-World tích hợp các embedding CLIP để phát hiện các đối tượng dựa trên các đầu vào văn bản tùy ý. Điều này cho phép phát hiện động trong các lĩnh vực như AI trong y tế, nơi việc xác định các thiết bị mới hoặc điểm bất thường là cần thiết mà không cần huấn luyện lại.

Sử dụng các tính năng của CLIP với Ultralytics#

Mặc dù các trình phát hiện đối tượng tiêu chuẩn bị giới hạn trong các lớp huấn luyện của chúng, việc sử dụng các tính năng dựa trên CLIP cho phép phát hiện mở. Đoạn mã Python sau đây minh họa cách sử dụng gói ultralytics để phát hiện đối tượng bằng các lời nhắc văn bản tùy chỉnh:

from ultralytics import YOLOWorld

# Load a pre-trained YOLO-World model utilizing CLIP features
model = YOLOWorld("yolov8s-world.pt")

# Define custom classes using natural language text prompts
model.set_classes(["person wearing sunglasses", "red backpack"])

# Run inference on an image to detect the text-defined objects
results = model.predict("travelers.jpg")

# Display the results
results[0].show()

Phân biệt các khái niệm liên quan#

Việc phân biệt CLIP với các mô hình AI phổ biến khác là rất hữu ích để hiểu được tính hữu dụng cụ thể của nó:

• CLIP so với Học có giám sát: Các mô hình có giám sát truyền thống yêu cầu các định nghĩa nghiêm ngặt và các ví dụ được gán nhãn cho mọi danh mục (ví dụ: "mèo", "xe hơi"). CLIP học từ các cặp văn bản-hình ảnh thô được tìm thấy trên web, mang lại độ linh hoạt lớn hơn và loại bỏ điểm nghẽn của việc chú thích thủ công thường được quản lý thông qua các công cụ như Ultralytics Platform.
• CLIP so với YOLO26: Trong khi CLIP cung cấp sự hiểu biết tổng quát về các khái niệm, YOLO26 là một trình phát hiện đối tượng chuyên dụng, thời gian thực được tối ưu hóa cho tốc độ và khả năng định vị chính xác. CLIP thường được sử dụng làm trình trích xuất đặc trưng hoặc bộ phân loại zero-shot, trong khi YOLO26 là động cơ cho suy luận thời gian thực (real-time inference) tốc độ cao trong môi trường sản xuất.
• CLIP so với Học đối lập tiêu chuẩn: Các phương pháp như SimCLR thường so sánh hai góc nhìn được tăng cường của cùng một hình ảnh để học các đặc trưng. CLIP đối chiếu một hình ảnh với một mô tả văn bản, bắc cầu nối giữa hai phương thức dữ liệu khác biệt thay vì chỉ một.