Semantic Entropy
Entropy ngữ nghĩa đo lường mức độ bất định của LLM về ý nghĩa trong các câu trả lời được lấy mẫu, thay vì cách diễn đạt, qua đó phát hiện các nội dung bịa đặt có khả năng cao.
Entropy ngữ nghĩa đo mức độ không chắc chắn của mô hình ngôn ngữ lớn (LLM) về ý nghĩa câu trả lời, được tính bằng cách lấy mẫu nhiều câu trả lời cho cùng một câu hỏi, gom nhóm các câu có cùng ý nghĩa rồi tính entropy trên các nhóm. Nếu mười mẫu diễn đạt cùng một câu trả lời theo mười cách, entropy ngữ nghĩa bằng không; nếu chúng đưa ra ba câu trả lời khác nhau, entropy sẽ cao và model có khả năng đang đoán. Lorenz Kuhn, Yarin Gal và Sebastian Farquhar tại Đại học Oxford giới thiệu phương pháp này tại ICLR 2023 trong bài báo Bất định ngữ nghĩa: Bất biến ngôn ngữ để ước lượng độ bất định trong sinh ngôn ngữ tự nhiên; một bài báo năm 2024 trên Nature của Farquhar, Jannik Kossen, Kuhn và Gal áp dụng phương pháp này để phát hiện ảo giác.
Bài báo trên Nature tập trung vào một loại ảo giác được gọi là bịa đặt: những khẳng định vừa sai vừa tùy tiện, thay đổi theo seed ngẫu nhiên dùng để lấy mẫu. Entropy thông thường tính trên các token được sinh ra không thể tách riêng loại này, vì "Paris", "Đó là Paris" và "Thủ đô là Paris" là các chuỗi token khác nhau nhưng cùng ý nghĩa; do đó, model biết câu trả lời vẫn có vẻ không chắc chắn.
Cách tính entropy ngữ nghĩa#
- Lấy mẫu khoảng 10 câu trả lời cho cùng một prompt với nhiệt độ lấy mẫu khác không.
- Phân cụm các câu trả lời theo quan hệ kéo theo hai chiều: hai câu trả lời có cùng nghĩa nếu mỗi câu kéo theo câu còn lại, theo đánh giá của một model suy luận ngôn ngữ tự nhiên như DeBERTa-large-MNLI hoặc một LLM tổng quát, cụ thể là GPT-3.5 trong các thí nghiệm chính của Nature. Bước này là một dạng hiểu ngôn ngữ tự nhiên (NLU).
- Ước tính xác suất của mỗi cụm bằng cách cộng xác suất chuỗi của các câu trả lời trong cụm; hoặc, khi API đóng không cung cấp xác suất token, dùng tỷ lệ mẫu trong cụm — một biến thể được gọi là entropy ngữ nghĩa rời rạc.
- Tính entropy trên các xác suất của cụm.
Entropy ngữ nghĩa rời rạc chỉ cần các câu trả lời và cụm tương ứng. Đoạn mã dưới đây so sánh phương pháp này với entropy ngây thơ tính trên các chuỗi thô cho hai câu hỏi, trong đó các cụm được gán như thể một model suy luận kéo theo đã thực hiện việc đó:
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")Cả hai câu hỏi đều tạo ra bốn chuỗi khác nhau trong năm mẫu, nên entropy ngây thơ là 1,92 bit cho mỗi câu. Entropy ngữ nghĩa phân biệt được chúng: 0,00 bit cho câu hỏi về thủ đô, nơi mọi mẫu đều có nghĩa là Canberra, và 1,37 bit cho năm thành lập, nơi các mẫu đưa ra năm 1913 (năm chính xác), năm 1908 (khi địa điểm được chọn) và năm 1927 (khi Quốc hội chuyển đến đó).
Kết quả và hạn chế#
Trên 30 tổ hợp giữa các tập dữ liệu hỏi đáp (TriviaQA, SQuAD, BioASQ, NQ-Open và SVAMP) và các model (LLaMA 2 Chat, Falcon Instruct và Mistral Instruct), entropy ngữ nghĩa phân biệt câu trả lời sai với câu trả lời đúng, đạt trung bình diện tích dưới đường cong ROC (AUROC) 0,790, so với 0,691 của entropy ngây thơ và 0,698 của P(True), phương pháp hỏi model xem câu trả lời của chính nó có đúng không. Với tiểu sử do GPT-4 viết về 21 người, được chia thành 150 khẳng định thực tế, trong đó có 45 khẳng định sai, entropy ngữ nghĩa rời rạc cũng vượt trội hơn cả hai baseline khi phát hiện khẳng định sai.
Phương pháp này có những hạn chế rõ ràng:
- Chi phí: Cần khoảng 10 lượt tạo nội dung cùng các lần kiểm tra quan hệ kéo theo theo từng cặp cho mỗi câu hỏi. Semantic entropy probes do Kossen và các cộng sự giới thiệu năm 2024 giảm số lượt này xuống còn một bằng cách dự đoán entropy ngữ nghĩa từ trạng thái ẩn của model.
- Lỗi nhất quán: Model học được một quan niệm sai lầm từ dữ liệu huấn luyện sẽ luôn đưa ra cùng một câu trả lời sai, khiến entropy ngữ nghĩa ở mức thấp; chỉ có kiểm tra với nguồn bên ngoài, như trong sinh tăng cường truy xuất (RAG), mới phát hiện được lỗi.
- Câu trả lời dài: Trước tiên cần tách đoạn văn thành các khẳng định riêng lẻ, như trong thí nghiệm về tiểu sử, rồi mới có thể so sánh ý nghĩa.
Entropy ngữ nghĩa là một công cụ định lượng độ bất định trong văn bản. Perplexity chấm điểm mức độ dễ dự đoán của một văn bản cố định đối với model; self-consistency lấy kết quả đa số từ các câu trả lời chuỗi suy luận được lấy mẫu; còn dự đoán conformal chuyển các điểm số như vậy thành các tập có độ bao phủ được đảm bảo. Các benchmark như Kỳ thi cuối cùng của nhân loại đo cùng khoảng cách từ chiều ngược lại, bằng cách so sánh mức độ tin cậy mà model tuyên bố với tần suất trả lời đúng.
Phép kiểm tra tương tự cũng áp dụng cho model thị giác-ngôn ngữ (VLM) mô tả những gì detector phát hiện. Giao diện LLM của Ultralytics gửi ảnh và câu hỏi đến bất kỳ model tương thích OpenAI nào, đồng thời chuyển tiếp nguyên vẹn các tham số của request; nhờ đó, pipeline có thể hỏi cùng một câu nhiều lần về ảnh mà YOLO26 đã phát hiện một đối tượng cần quan tâm, rồi phân cụm các mô tả nhận được.










