Large Concept Models (LCMs)

Large Concept Models (LCMs) là các AI model xử lý và tạo thông tin dưới dạng các đơn vị ngữ nghĩa cấp cao hơn, hay “concept,” thay vì dự đoán từng text token một. Trong một LCM điển hình, một concept có thể đại diện cho ý nghĩa của một câu, phát ngôn, sự kiện hoặc hành động dưới dạng một numeric vector. Góc nhìn ở cấp độ concept này có thể giúp model tổ chức các chuỗi dài, truyền tải ý nghĩa qua các ngôn ngữ và suy luận trên các ý tưởng mà không gắn mọi bước bên trong với một từ vựng cụ thể.

Cách thức hoạt động của Large Concept Models#

Một large language model thông thường chia văn bản thành các tokens, chẳng hạn như từ, subword hoặc dấu câu. Sau đó, model sẽ lặp lại việc dự đoán token tiếp theo. TensorFlow tokenization guide minh họa cách văn bản có thể được chia thành các đơn vị nhỏ này.

Một LCM chuyển bước tạo model chính lên cấp độ cao hơn:

1. Một encoder chuyển đổi một câu hoặc một đơn vị có ý nghĩa khác thành một embedding—một biểu diễn số dày đặc về ý nghĩa của nó.
2. Model kiểm tra một chuỗi các concept embedding và dự đoán biểu diễn của concept tiếp theo.
3. Một decoder chuyển đổi biểu diễn được dự đoán thành ngôn ngữ tự nhiên, giọng nói hoặc một dạng đầu ra khác.

Trong thiết kế này, các câu có ý nghĩa tương tự nên nằm ở các vùng gần nhau trong latent space của model. Google embeddings overview giải thích cách các vector space này nắm bắt các mối quan hệ, trong khi hướng dẫn về measuring similarity between embeddings của họ đề cập đến các phương pháp như độ tương đồng cosine.

Một câu là một proxy thực tế cho một concept, không phải là định nghĩa phổ quát. Một câu có thể chứa nhiều ý tưởng, trong khi một concept quan trọng có thể trải dài qua nhiều câu.

So sánh LCMs với các Model liên quan#

LCMs khác biệt chủ yếu ở mức độ chi tiết và cấu trúc của các dự đoán bên trong.

• LCMs vs. large language models: LLM thường dự đoán token trực tiếp. LCMs dự đoán các biểu diễn ngữ nghĩa cấp cao hơn và dựa vào các encoder và decoder riêng biệt để kết nối các biểu diễn đó với ngôn ngữ.
• LCMs vs. vision-language models: VLM kết nối thông tin trực quan và ngôn ngữ. Một LCM có thể chấp nhận các visual concept embedding, nhưng việc dự đoán ở cấp độ concept không tự động làm cho một model trở thành đa phương thức.
• LCMs vs. concept bottleneck models: Concept bottleneck model sử dụng các thuộc tính rõ ràng, thường được gán nhãn thủ công bởi con người như “có cánh.” Các concept của LCM thường là các vector đã học và có thể không khớp rõ ràng với các thuộc tính có tên.
• LCMs vs. latent consistency models: Cả hai đều sử dụng viết tắt LCM, nhưng latent consistency model tăng tốc các workflow khuếch tán tạo sinh. Chúng không liên quan đến large concept model.

LCMs vẫn có thể sử dụng Transformer architecture và cơ chế attention; thay đổi quan trọng là các phần tử trong chuỗi đại diện cho điều gì. PyTorch Transformer documentation mô tả cấu trúc xử lý chuỗi chung có thể hoạt động trên các loại biểu diễn khác nhau.

Các ứng dụng trong thực tế#

Tóm tắt đa ngôn ngữ: Một hệ thống hỗ trợ toàn cầu có thể mã hóa các báo cáo được viết bằng tiếng Tây Ban Nha, tiếng Nhật và tiếng Anh thành một không gian ngữ nghĩa chung, tổ chức các ý chính của chúng và tạo ra bản tóm tắt bằng tiếng Anh. Các biểu diễn đa ngôn ngữ chung có thể đặt các ý nghĩa tương đương lại gần nhau ngay cả khi từ vựng bề ngoài của chúng khác nhau, như được minh họa qua phần giải thích của Meta về multilingual sentence embedding spaces. Điều này có thể làm giảm sự phụ thuộc vào việc dịch mọi bước suy luận trung gian.

Lập kế hoạch và tạo nội dung dạng dài: Thay vì soạn thảo báo cáo từng từ một, một LCM trước tiên có thể mô hình hóa một chuỗi chẳng hạn như vấn đề, bằng chứng, phân tích và khuyến nghị. Mỗi concept được dự đoán sau đó sẽ được giải mã thành một hoặc nhiều câu. Điều này giống như việc lên kế hoạch phác thảo trước khi viết và có thể cải thiện tính mạch lạc trong việc tóm tắt tài liệu hoặc hội thoại, các tác vụ được mô tả trong text and conversation summarization guidance của Microsoft.

Kết nối Concept Model với Computer Vision#

Một hệ thống hướng theo concept có thể kết hợp lý luận theo phong cách LCM với object detection. Một vision model xác định các phần tử cảnh có ý nghĩa, và một downstream model suy luận trên các phần tử đó như một phần của chuỗi lớn hơn.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Workflow YOLO26 này tạo ra các nhãn như “bus” và “person.” Nó không biến YOLO thành một LCM; thay vào đó, nó cho thấy cách computer vision có thể cung cấp bằng chứng trực quan có cấu trúc cho hệ thống lý luận cấp độ concept. Các nhóm có thể sử dụng Ultralytics Platform để chú thích dataset hình ảnh, train model, deploy chúng và giám sát các thành phần nhận thức này.

Lợi ích, Hạn chế và Đánh giá#

Các chuỗi cấp độ concept có thể ngắn hơn chuỗi token, hỗ trợ chuyển giao kiến thức đa ngôn ngữ và tách biệt việc lập kế hoạch ngữ nghĩa khỏi từ vựng bề ngoài. Tuy nhiên, việc nén một câu thành một vector có thể loại bỏ tên, số, phủ định, chi tiết không gian hoặc các từ định tính tinh tế. Lỗi decoder cũng có thể tạo ra ngôn ngữ trôi chảy nhưng không khớp chính xác với concept được dự đoán.

Do đó, việc đánh giá thực tế nên kiểm tra cả chất lượng ngữ nghĩa và độ chính xác của đầu ra cuối cùng. Các nhóm nên đo lường tính nhất quán đa ngôn ngữ, khả năng bảo toàn thực tế, tính mạch lạc trong bối cảnh dài, độ trễ và hành vi đối với các đầu vào mơ hồ. Các hoạt động triển khai có tác động cao cũng nên tuân theo một quy trình quản trị có cấu trúc như NIST AI Risk Management Framework, với việc đánh giá và giám sát của con người phù hợp với ứng dụng.