Large Concept Models (LCMs)

Mô hình khái niệm lớn (LCM) là model ngôn ngữ dự đoán embedding ở cấp độ câu tiếp theo, gọi là khái niệm, thay vì token tiếp theo. Meta FAIR giới thiệu kiến trúc này vào tháng 12 năm 2024 trong bài viết Mô hình khái niệm lớn: Mô hình hóa ngôn ngữ trong không gian biểu diễn câu, xem mỗi câu là một khái niệm và biểu diễn tài liệu thành chuỗi vector câu. Các vector này đến từ SONAR, một không gian embedding câu cố định hỗ trợ đầu vào và đầu ra văn bản bằng 200 ngôn ngữ, cũng như đầu vào tiếng nói bằng 76 ngôn ngữ; nhờ vậy, model ở giữa có thể suy luận về ý nghĩa mà không bị ràng buộc bởi cách diễn đạt của một ngôn ngữ cụ thể.

Cách Large Concept Model hoạt động#

Mô hình ngôn ngữ lớn (LLM) thông thường thực hiện tokenization và dự đoán từng tiểu từ một. LCM tách đầu vào thành các câu, mã hóa mỗi câu bằng encoder SONAR đã đóng băng thành một vector gồm 1.024 số, rồi đưa chuỗi đó vào một transformer để dự đoán vector câu tiếp theo. Tạo văn bản lặp lại bước này cho đến khi model báo hiệu kết thúc tài liệu; decoder SONAR đã đóng băng sẽ chuyển từng vector dự đoán trở lại thành câu bằng bất kỳ ngôn ngữ nào được hỗ trợ:

Phần cốt lõi là một transformer nhân quả thông thường, trong đó các phần tử chuỗi là vector câu. Biến thể đơn giản nhất, Base-LCM, huấn luyện model hồi quy từng vector tiếp theo bằng hàm mất mát sai số bình phương trung bình, như trong bản phác thảo PyTorch về một bước huấn luyện sau:

import torch
from torch import nn

torch.manual_seed(0)

# A document of 6 sentences, each already encoded as a 1024-number SONAR-sized concept vector
concepts = torch.randn(1, 6, 1024)

# A causal transformer over sentence vectors, the core of a Base-LCM
layer = nn.TransformerEncoderLayer(d_model=1024, nhead=16, batch_first=True)
lcm = nn.TransformerEncoder(layer, num_layers=2)
causal = nn.Transformer.generate_square_subsequent_mask(5)

# Each position predicts the next sentence's vector, trained by regression instead of a softmax over tokens
predicted = lcm(concepts[:, :-1], mask=causal, is_causal=True)
loss = nn.functional.mse_loss(predicted, concepts[:, 1:])
loss.backward()
print(f"Next-concept predictions: {tuple(predicted.shape)}")

Lệnh in ra Next-concept predictions: (1, 5, 1024): năm dự đoán, mỗi dự đoán là một vector câu đầy đủ gồm 1.024 số; trong khi đó, model cấp token sẽ xuất năm phân phối xác suất trên từ vựng. Dữ liệu huấn luyện của Meta trung bình có khoảng 19 token mỗi câu, vì vậy LCM xử lý các chuỗi ngắn hơn khoảng 19 lần so với LLM trên cùng một văn bản.

Các vector cấp cụm từ kiểu này cũng hỗ trợ phát hiện với từ vựng mở. Ultralytics YOLOE mã hóa từng prompt lớp được truyền cho set_classes(), chẳng hạn "double-decker bus", thành một embedding văn bản MobileCLIP duy nhất rồi so khớp các vùng ảnh với những vector đó, nên một embedding đại diện cho toàn bộ cụm từ.

Các biến thể Base, Diffusion và Quantized#

Hàm mất mát hồi quy kéo mỗi dự đoán về phía trung bình của tất cả câu tiếp theo có khả năng xảy ra, khiến văn bản giải mã có thể nhạt nhòa hoặc mờ nghĩa. Vì vậy, Meta cũng xây dựng LCM diffusion: bắt đầu vector tiếp theo từ nhiễu rồi khử nhiễu từng bước dựa trên các câu trước đó, áp dụng mô hình diffusion lên embedding. Phiên bản One-Tower dùng một transformer duy nhất cho cả ngữ cảnh và khử nhiễu, còn phiên bản Two-Tower tách riêng hai phần này. Quant-LCM rời rạc hóa không gian SONAR bằng lượng tử hóa vector dư rồi dự đoán các mã thu được, tương tự cách LLM dự đoán token.

Meta tiến hành so sánh với các model 1,6 tỷ tham số được huấn luyện trên khoảng 1,3 nghìn tỷ token, sau đó mở rộng LCM diffusion Two-Tower lên 7 tỷ tham số và huấn luyện trên 142,4 tỷ câu, tương đương 2,7 nghìn tỷ token, rồi công bố mã huấn luyện. Trong tác vụ tóm tắt văn bản zero-shot trên dataset XLSum với 42 ngôn ngữ, LCM 7B đạt Rouge-L 23.5 bằng tiếng Anh, so với 20.7 của Llama-3.1-8B-Instruct.

Hạn chế#

Nén một câu thành 1.024 số có thể làm mất độ chính xác của tên riêng, con số và mã nguồn; decoder đã đóng băng chỉ có thể tái tạo những gì embedding giữ lại. Xem một câu là một khái niệm là lựa chọn thực tiễn, bởi một câu có thể chứa nhiều ý và một ý có thể trải dài qua nhiều câu. Không gian SONAR cố định cũng đồng nghĩa LCM không thể biểu diễn những gì encoder SONAR chưa từng học cách mã hóa; vì lý do đó, ba trong số 45 ngôn ngữ của XLSum không được đưa vào đánh giá.

LCM và các thuật ngữ liên quan#

• Mô hình ngôn ngữ lớn: Dự đoán một phân phối trên các token. LCM thực hiện mô hình hóa ngôn ngữ trong không gian embedding câu và dựa vào encoder, decoder riêng biệt để xử lý văn bản.
• Kiến trúc dự đoán embedding chung (JEPA): Một hướng tiếp cận khác của Meta, dự đoán biểu diễn thay cho dữ liệu thô, chủ yếu dành cho ảnh và video.
• Suy luận tiềm ẩn: Quá trình suy luận diễn ra trong các trạng thái ẩn của model mà không cần viết ra từng bước bằng văn bản.
• Model nút thắt khái niệm: Bộ phân loại đưa dự đoán qua các thuộc tính do con người đặt tên, chẳng hạn "có cánh", nhằm phục vụ AI có thể giải thích (XAI).
• Model nhất quán tiềm ẩn: Dùng chung chữ viết tắt LCM nhưng là model diffusion tiềm ẩn cho ảnh đã được chưng cất, có thể tạo ảnh chỉ trong vài bước.