Latent Reasoning

Suy luận tiềm ẩn là quá trình model suy luận trong các trạng thái ẩn, tức các vector liên tục bên trong mạng nơ-ron, thay vì bằng token dạng văn bản. Với prompting chuỗi suy nghĩ, một mô hình ngôn ngữ lớn (LLM) viết từng bước trung gian thành văn bản rồi đọc lại; với suy luận tiềm ẩn, các bước trung gian vẫn là vector và chỉ câu trả lời mới được giải mã. Thuật ngữ này bao gồm hai khái niệm: quá trình suy luận ngầm diễn ra trong mọi lượt truyền xuôi đơn lẻ, chẳng hạn giải quyết câu hỏi gồm hai bước mà không nêu ra sự kiện kết nối; và các phương pháp huấn luyện model suy nghĩ trong không gian liên tục, như Coconut của Meta được công bố tháng 12 năm 2024 và các model độ sâu hồi quy từ năm 2025.

Vì sao suy luận trong không gian tiềm ẩn#

Một bước suy luận được viết ra chỉ truyền tải rất ít thông tin về phía trước. Mỗi token là một lựa chọn trong bộ từ vựng gồm hàng chục nghìn mục, trong khi trạng thái ẩn của một Transformer nhỏ cũng chứa hàng trăm hoặc hàng nghìn số có thể mã hóa nhiều kết quả từng phần cùng lúc. Việc viết ra các bước cũng tốn thời gian: mỗi token suy luận là một lượt truyền xuôi hoàn chỉnh, nên chuỗi suy nghĩ dài làm tăng độ trễ suy luận và chi phí phục vụ. Tính toán ẩn bổ sung vẫn có ích ngay cả khi không dùng từ ngữ. Năm 2023, các nhà nghiên cứu tại Google và Carnegie Mellon University phát hiện rằng huấn luyện một model 1 tỷ tham số với token “tạm dừng” có thể học được, giúp model có thêm lượt truyền xuôi trước khi trả lời, mang lại mức tăng 18% về điểm khớp chính xác trên benchmark hỏi đáp SQuAD.

Coconut: Chuỗi suy nghĩ liên tục#

Các nhà nghiên cứu tại Meta và UC San Diego giới thiệu Coconut trong bài báo Huấn luyện mô hình ngôn ngữ lớn suy luận trong không gian tiềm ẩn liên tục. Giữa các token bắt đầu và kết thúc suy nghĩ đặc biệt, model đưa thẳng trạng thái ẩn cuối cùng trở lại làm embedding đầu vào tiếp theo thay vì giải mã trạng thái đó thành từ. Coconut sử dụng GPT-2 của OpenAI; vòng lặp tương tự chạy trên model đã tiền huấn luyện:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("gpt2")
model = AutoModelForCausalLM.from_pretrained("gpt2")
ids = tokenizer("Question: 3 apples plus 4 apples is", return_tensors="pt").input_ids
embeds = model.get_input_embeddings()(ids)

# Continuous thoughts: the last hidden state becomes the next input embedding
with torch.no_grad():
    for _ in range(4):
        hidden = model(inputs_embeds=embeds, output_hidden_states=True).hidden_states[-1]
        thought = hidden[:, -1:]  # a vector that is never decoded into a token
        embeds = torch.cat([embeds, thought], dim=1)

print(f"Positions: {ids.shape[1]} prompt tokens + 4 thoughts = {embeds.shape[1]}")
print(f"Each thought: {thought.shape[-1]} floats; each written step: 1 of {tokenizer.vocab_size:,} tokens")

Bốn bước suy luận mở rộng chuỗi từ 8 lên 12 vị trí mà không tạo ra văn bản; mỗi bước cung cấp cho lượt truyền xuôi tiếp theo 768 số dấu phẩy động, trong khi một bước viết ra chỉ truyền một trong 50,257 token, tương đương khoảng 15.6 bit thông tin. Coconut fine-tune GPT-2 qua vòng lặp này bằng chương trình học tập tuần tự, thay thế từng bước suy luận viết ra bằng suy nghĩ liên tục theo từng giai đoạn. Trên ProsQA, một tác vụ suy luận logic cần lập kế hoạch, model đạt độ chính xác 97.0% với trung bình 14.2 token được tạo ra, so với 77.5% và 49.4 token của chuỗi suy nghĩ. Trên các bài toán GSM8K, model đạt 34.1%, thấp hơn mức 42.9% của chuỗi suy nghĩ, trong khi tạo ra khoảng một phần ba số token. Các tác giả nhận thấy một suy nghĩ liên tục có thể mã hóa đồng thời nhiều bước tiếp theo khả dĩ, giúp model khám phá các lựa chọn theo chiều rộng, điều mà chuỗi suy nghĩ viết ra—cam kết từng token một—không thể làm được.

Các phương pháp khác#

Các model độ sâu hồi quy tái sử dụng cùng một khối layer nhiều lần. Năm 2025, Jonas Geiping và cộng sự huấn luyện một model 3.5 tỷ tham số trên 800 tỷ token, trong đó khối hồi quy lặp lại ở thời điểm suy luận; điểm benchmark suy luận của model tiếp tục tăng theo số vòng lặp, đạt mức tính toán tương đương model 50 tỷ tham số mà không viết thêm bất kỳ token nào. Vì vậy, hồi quy là một cách mở rộng năng lực tính toán tại thời điểm kiểm thử, một trục của quy luật mở rộng quy mô thường đạt được bằng cách tạo chuỗi suy nghĩ dài hơn. Các phương pháp chuỗi suy nghĩ ngầm huấn luyện model trên lời giải mẫu rồi dần loại bỏ các bước viết ra: phương pháp nội hóa từng bước của Yuntian Deng, Yejin Choi và Stuart Shieber dạy GPT-2 Small giải phép nhân các chữ số từ 9-by-9 với độ chính xác lên đến 99% mà không cần các bước trung gian.

Ý tưởng này còn mở rộng ra ngoài văn bản. Các mô hình khái niệm lớn (LCM) của Meta dự đoán embedding câu tiếp theo thay vì token tiếp theo; các kiến trúc dự đoán embedding chung (JEPA) dự đoán các phần bị khuyết của ảnh và video trong không gian tiềm ẩn thay vì trên pixel; còn các hệ thống AI hiện thân như Helix của Figure truyền một vector tiềm ẩn, không phải văn bản, từ mô hình thị giác-ngôn ngữ (VLM) đến chính sách điều khiển chuyển động của robot. Bộ phát hiện cũng duy trì trạng thái ẩn tương tự: trong Ultralytics YOLO26, model.embed() chỉ chạy chế độ predict đến layer ngay trước detection head rồi average-pool feature map thành một vector cho mỗi ảnh, thay cho các box và nhãn lớp.

Khả năng diễn giải và an toàn#

Chuỗi suy nghĩ được viết ra cung cấp cho con người và hệ thống giám sát tự động một bản ghi để đọc; các mô hình suy luận bằng văn bản có thể được kiểm tra để tìm dấu hiệu khai thác phần thưởng hoặc lừa dối trước khi chúng hành động. Một bài báo quan điểm tháng 7 năm 2025 của các nhà nghiên cứu thuộc OpenAI, Google DeepMind, Anthropic, Meta và các nhóm khác nhận định khả năng giám sát chuỗi suy nghĩ là cơ hội mong manh cho an toàn AI, đồng thời cảnh báo rằng kiến trúc suy luận tiềm ẩn có thể loại bỏ cơ hội này. Các bước tiềm ẩn chỉ có thể được đọc gián tiếp bằng công cụ diễn giải cơ chế như probe, logit lens và bộ mã hóa tự động thưa (SAE); trong bài báo về Coconut, khi giải mã suy nghĩ liên tục thông qua head ngôn ngữ của model, xác suất được phân tán trên một số giá trị trung gian có thể có.