Large Concept Models (LCMs)

Mô hình khái niệm quy mô lớn (LCMs) là các model AI xử lý và tạo thông tin dưới dạng các đơn vị ngữ nghĩa cấp cao hơn, hay “khái niệm”, thay vì dự đoán từng token văn bản một. Trong một LCM điển hình, một khái niệm có thể biểu diễn ý nghĩa của một câu, lời phát biểu, sự kiện hoặc hành động dưới dạng một vector số. Góc nhìn ở cấp độ khái niệm này có thể giúp model tổ chức các chuỗi dài, chuyển giao ý nghĩa giữa các ngôn ngữ và suy luận trên các ý tưởng mà không gắn mỗi bước xử lý nội bộ với cách diễn đạt cụ thể.

Cách hoạt động của Mô hình khái niệm quy mô lớn#

Một model ngôn ngữ lớn thông thường phân tách văn bản thành các token, chẳng hạn như từ, từ con hoặc dấu câu. Sau đó, model liên tục dự đoán token tiếp theo. Hướng dẫn tokenization của TensorFlow minh họa cách văn bản có thể được chia thành những đơn vị nhỏ này.

LCM chuyển bước modeling chính lên một cấp độ cao hơn:

1. Một encoder chuyển đổi một câu hoặc một đơn vị có ý nghĩa khác thành một embedding—một biểu diễn số dày đặc cho ý nghĩa của đơn vị đó.
2. Model phân tích một chuỗi các embedding khái niệm và dự đoán biểu diễn của khái niệm tiếp theo.
3. Một decoder chuyển đổi biểu diễn đã dự đoán thành ngôn ngữ tự nhiên, lời nói hoặc một dạng đầu ra khác.

Trong thiết kế này, các câu có ý nghĩa tương tự nên nằm ở những vùng gần nhau trong không gian tiềm ẩn của model. Tổng quan về embedding của Google giải thích cách các không gian vector này nắm bắt các mối quan hệ, trong khi hướng dẫn về đo độ tương đồng giữa các embedding trình bày các phương pháp như cosine similarity.

Một câu là đại diện thực tiễn cho một khái niệm, không phải là định nghĩa mang tính phổ quát. Một câu có thể chứa nhiều ý tưởng, trong khi một khái niệm quan trọng có thể trải dài qua nhiều câu.

So sánh LCM với các model liên quan#

LCM khác biệt chủ yếu ở mức độ chi tiết và cấu trúc của các dự đoán nội bộ.

• LCM so với model ngôn ngữ lớn: LLM thường dự đoán trực tiếp các token. LCM dự đoán các biểu diễn ngữ nghĩa cấp cao hơn và dựa vào các encoder và decoder riêng biệt để kết nối những biểu diễn đó với ngôn ngữ.
• LCM so với model thị giác-ngôn ngữ: VLM kết nối thông tin hình ảnh và ngôn ngữ. Một LCM có thể tiếp nhận các embedding khái niệm hình ảnh, nhưng việc dự đoán ở cấp độ khái niệm vốn không khiến một model trở thành multimodal.
• LCM so với model nút thắt khái niệm: Model nút thắt khái niệm sử dụng các thuộc tính rõ ràng, thường được con người gán nhãn, chẳng hạn như “có cánh”. Các khái niệm trong LCM thường là những vector được học và có thể không ánh xạ rõ ràng tới các thuộc tính có tên.
• LCM so với model nhất quán tiềm ẩn: Cả hai đều sử dụng chữ viết tắt LCM, nhưng model nhất quán tiềm ẩn tăng tốc các quy trình diffusion tạo sinh. Chúng không liên quan đến model khái niệm quy mô lớn.

LCM vẫn có thể sử dụng kiến trúc Transformer và các cơ chế attention; thay đổi cốt lõi là các phần tử trong chuỗi biểu diễn điều gì. Tài liệu Transformer của PyTorch mô tả cấu trúc xử lý chuỗi tổng quát có thể hoạt động trên nhiều loại biểu diễn khác nhau.

Các ứng dụng trong thực tế#

Tóm tắt đa ngôn ngữ: Một hệ thống hỗ trợ toàn cầu có thể mã hóa các báo cáo viết bằng tiếng Tây Ban Nha, tiếng Nhật và tiếng Anh vào một không gian ngữ nghĩa chung, tổ chức các ý chính của chúng và tạo bản tóm tắt bằng tiếng Anh. Các biểu diễn đa ngôn ngữ dùng chung có thể đặt những ý nghĩa tương đương gần nhau ngay cả khi cách diễn đạt bề mặt khác nhau, như được minh họa trong phần giải thích của Meta về các không gian embedding câu đa ngôn ngữ. Điều này có thể giảm sự phụ thuộc vào việc dịch mọi bước suy luận trung gian.

Lập kế hoạch và tạo nội dung dạng dài: Thay vì soạn một báo cáo từng từ một, LCM trước tiên có thể modeling một chuỗi gồm vấn đề, bằng chứng, phân tích và khuyến nghị. Sau đó, mỗi khái niệm được dự đoán sẽ được giải mã thành một hoặc nhiều câu. Cách này giống với việc lập dàn ý trước khi viết và có thể cải thiện tính mạch lạc trong các tác vụ tóm tắt tài liệu hoặc hội thoại, được mô tả trong hướng dẫn tóm tắt văn bản và hội thoại của Microsoft.

Kết nối Model khái niệm với Thị giác máy tính#

Một hệ thống định hướng theo khái niệm có thể kết hợp suy luận theo kiểu LCM với phát hiện đối tượng. Một model thị giác xác định các thành phần có ý nghĩa trong cảnh, sau đó một model phía sau suy luận trên những thành phần đó như một phần của chuỗi lớn hơn.

from ultralytics import YOLO

# Load a pretrained visual detector
model = YOLO("yolo26n.pt")

# Extract visual information from an image
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Convert detected classes into simple visual concepts
class_ids = result.boxes.cls.int().tolist()
visual_concepts = sorted({result.names[index] for index in class_ids})

print(visual_concepts)

Quy trình YOLO26 này tạo ra các nhãn như “xe buýt” và “người”. Quy trình này không biến YOLO thành LCM; thay vào đó, nó cho thấy thị giác máy tính có thể cung cấp bằng chứng hình ảnh có cấu trúc cho một hệ thống suy luận cấp độ khái niệm. Các đội ngũ có thể sử dụng Ultralytics Platform để chú thích các dataset hình ảnh, huấn luyện model, triển khai chúng và giám sát các thành phần nhận thức này.

Lợi ích, hạn chế và đánh giá#

Các chuỗi ở cấp độ khái niệm có thể ngắn hơn chuỗi token, hỗ trợ chuyển giao tri thức giữa các ngôn ngữ và tách biệt việc lập kế hoạch ngữ nghĩa khỏi cách diễn đạt bề mặt. Tuy nhiên, việc nén một câu thành một vector có thể làm mất tên riêng, số, phủ định, chi tiết không gian hoặc các sắc thái bổ nghĩa tinh tế. Lỗi của decoder cũng có thể tạo ra ngôn ngữ trôi chảy nhưng không khớp chính xác với khái niệm đã dự đoán.

Do đó, việc đánh giá thực tiễn cần kiểm tra cả chất lượng ngữ nghĩa và độ chính xác của đầu ra cuối cùng. Các đội ngũ nên đo lường tính nhất quán đa ngôn ngữ, khả năng bảo toàn thông tin thực tế, tính mạch lạc trong ngữ cảnh dài, độ trễ và hành vi trên các đầu vào mơ hồ. Các triển khai có tác động lớn cũng nên tuân theo một quy trình quản trị có cấu trúc như Khung quản lý rủi ro AI của NIST, với hoạt động đánh giá của con người và giám sát phù hợp với ứng dụng.