SigLIP

SigLIP, viết tắt của cụm từ Tổn thất Sigmoid cho Huấn luyện trước Ngôn ngữ-Hình ảnh, là một phương pháp có hiệu suất cao để huấn luyện model thị giác-ngôn ngữ. Được các nhà nghiên cứu tại Google Research giới thiệu lần đầu, phương pháp này thay đổi căn bản cách các model AI học mối quan hệ giữa hình ảnh và phần mô tả văn bản tương ứng. Bằng cách thay thế các hàm xác suất truyền thống bằng phương pháp phân loại nhị phân đơn giản hơn, SigLIP cho phép nhà phát triển huấn luyện các kiến trúc đa phương thức quy mô lớn với ít overhead bộ nhớ hơn đáng kể và hiệu quả tính toán cao hơn.

Tìm hiểu về kiến trúc#

Trong các pipeline machine learning tiêu chuẩn kết hợp dữ liệu hình ảnh và văn bản, các model thường dựa vào góc nhìn toàn cục về toàn bộ dữ liệu trong một batch nhất định để học chính xác. SigLIP loại bỏ nút thắt này bằng cách xử lý từng cặp hình ảnh-văn bản như một bài toán phân loại nhị phân độc lập. Sử dụng hàm sigmoid tiêu chuẩn, model chỉ cần dự đoán liệu một hình ảnh cụ thể và phần mô tả văn bản có khớp với nhau hay không.

Cách tiếp cận cục bộ đối với hàm mất mát này có nghĩa là bộ nhớ cần thiết trong quá trình huấn luyện model tăng tuyến tính thay vì bậc hai. Do đó, kỹ sư có thể sử dụng batch size lớn hơn đáng kể trên các cấu hình phần cứng tiêu chuẩn được các framework như PyTorch hỗ trợ, từ đó cải thiện hiệu suất trên nhiều dataset mà không cần tăng tài nguyên GPU theo cấp số nhân.

Phân biệt SigLIP với CLIP#

Khi tìm hiểu các kiến trúc AI hiện đại, việc phân biệt SigLIP với phiên bản tiền nhiệm của nó là CLIP (Huấn luyện trước ngôn ngữ-hình ảnh đối sánh) là điều thiết yếu.

• CLIP: Dựa trên hàm mất mát softmax, yêu cầu model đồng thời so sánh một hình ảnh với tất cả phần mô tả văn bản trong một batch. Điều này tạo ra nút thắt bộ nhớ nghiêm trọng trong quá trình huấn luyện deep learning khi batch size tăng.
• SigLIP: Sử dụng hàm mất mát sigmoid theo cặp. Phương pháp này chỉ cần đánh giá liệu một cặp hình ảnh-văn bản đơn lẻ có thực sự khớp hay không, nhờ đó có khả năng mở rộng cao và dễ phân phối hơn trên nhiều thiết bị khi tối ưu hóa các workflow trí tuệ nhân tạo.

Các ứng dụng trong thực tế#

Thiết kế tiết kiệm bộ nhớ của SigLIP khiến nó trở thành nền tảng mạnh mẽ cho nhiều ứng dụng thực tiễn trong ngành công nghệ:

• Phân loại hình ảnh zero-shot: SigLIP nổi bật trong việc phân loại hình ảnh vào các lớp mới mà model chưa từng thấy rõ ràng trong quá trình huấn luyện. Điều này cực kỳ hữu ích cho các hệ thống phân loại hình ảnh linh hoạt, trong đó các danh mục thường xuyên thay đổi, loại bỏ nhu cầu gán nhãn dữ liệu thủ công liên tục.
• Công cụ tìm kiếm ngữ nghĩa: Bằng cách tạo ra các embedding đa phương thức có độ chính xác cao, SigLIP hỗ trợ các hệ thống truy xuất nâng cao. Người dùng có thể nhập các truy vấn văn bản phức tạp để tìm kiếm trong những cơ sở dữ liệu hình ảnh khổng lồ, không có cấu trúc, với độ chính xác cao.

Khi quản lý dữ liệu tùy chỉnh cho các tác vụ thị giác phức tạp này, các nhóm thường sử dụng Ultralytics Platform để đơn giản hóa việc gán nhãn dataset trên cloud và tích hợp liền mạch thông tin chi tiết từ văn bản và hình ảnh trước khi triển khai các model nâng cao như Ultralytics YOLO26 cho suy luận edge tốc độ cao.

Ví dụ triển khai#

Để hiểu cách SigLIP tính toán loss ở cấp độ nền tảng, bạn có thể mô phỏng quy trình này bằng các phép toán PyTorch cơ bản. Đoạn code này minh họa cách phương pháp sigmoid theo cặp thay thế logic xác suất đa lớp truyền thống.

import torch
import torch.nn.functional as F

# Simulate image and text embeddings from a vision-language model
image_embeddings = torch.randn(4, 256)
text_embeddings = torch.randn(4, 256)

# Calculate pairwise similarities (logits)
logits = torch.matmul(image_embeddings, text_embeddings.T)

# SigLIP uses a binary formulation: 1 for positive pairs, -1 for negative pairs
labels = torch.eye(4) * 2 - 1
loss = -F.logsigmoid(labels * logits).mean()

print(f"Calculated SigLIP Loss: {loss.item():.4f}")

Bằng cách tận dụng phương pháp tinh gọn này, cộng đồng AI nói chung, bao gồm các nhà nghiên cứu công bố công trình tại những tổ chức như IEEE và ACM, tiếp tục mở rộng các giới hạn của học đa phương thức, thiết lập các mẹo huấn luyện model mới và các best practice cho thế hệ AI thị giác tiếp theo.