Semantic Entropy

Semantic entropy đo lường mức độ không chắc chắn của một generative AI model về ý nghĩa của câu trả lời. Thay vì coi mọi biến thể diễn đạt là một kết quả khác nhau, phương pháp này nhóm các phản hồi tương đương về mặt ngữ nghĩa và đo lường mức độ phân tán xác suất trên các ý nghĩa kết quả đó. Nếu các câu trả lời lặp lại thể hiện một ý tưởng nhất quán, semantic entropy sẽ thấp. Nếu chúng hỗ trợ nhiều ý tưởng xung đột, mức độ này sẽ cao, cho thấy model có thể không biết câu trả lời nào là chính xác.

Thước đo này đặc biệt có liên quan đến large language model (LLM) hoặc hệ thống khác tạo ra ngôn ngữ tự do, nơi cùng một ý nghĩa có thể được diễn đạt qua nhiều chuỗi từ khác nhau.

Semantic Entropy Hoạt Động Như Thế Nào#

Entropy là thước đo chung về độ không chắc chắn trong một phân phối xác suất: nó thấp khi xác suất tập trung vào một kết quả và cao khi có nhiều kết quả vẫn hợp lý. NIST definition of entropy cung cấp khái niệm lý thuyết thông tin cơ bản. (csrc.nist.gov)

Một quy trình semantic entropy thường tuân theo bốn bước:

1. Tạo ra một số phản hồi cho cùng một đầu vào bằng cách sử dụng phương pháp sampling.
2. Nhóm các phản hồi truyền đạt cùng một ý nghĩa.
3. Ước tính xác suất của từng ý nghĩa dựa trên tần suất hoặc xác suất tạo ra của nó.
4. Tính toán entropy trên các nhóm ngữ nghĩa đó.

Ví dụ: “Paris,” “The answer is Paris,” và “France’s capital is Paris” thuộc về một nhóm ý nghĩa. “Lyon” thuộc về nhóm khác. Lexical entropy có thể phóng đại độ không chắc chắn bằng cách coi cả bốn chuỗi là khác nhau, trong khi semantic entropy nhận ra rằng ba chuỗi đầu tiên đồng ý với nhau.

Giai đoạn nhóm có thể sử dụng phán đoán của con người, sự suy luận văn bản (textual entailment), hoặc các embeddings số kết hợp với một thước đo độ tương đồng như scikit-learn cosine similarity.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Ví dụ đơn giản hóa này sử dụng SciPy entropy function đã được tài liệu hóa. Trong một hệ thống production, việc nhóm ngữ nghĩa phải được xác thực cẩn thận vì việc nhóm sai có thể làm bóp méo điểm số cuối cùng.

Các Khái Niệm Liên Quan và Khác Biệt Chính#

Semantic entropy thuộc lĩnh vực rộng hơn là uncertainty quantification, nhưng nó giải quyết độ không chắc chắn về ý nghĩa thay vì chỉ các nhãn, tokens, hoặc dự đoán số.

• Token entropy đo lường độ không chắc chắn trên token tiếp theo hoặc chuỗi token hoàn chỉnh. Nó có thể gán độ không chắc chắn cao cho các khác biệt về cách diễn đạt vô hại.
• Self-consistency kiểm tra xem các thế hệ lặp lại có tạo ra các câu trả lời tương thích hay không. Semantic entropy mở rộng ý tưởng này bằng cách thể hiện phân phối tương đối của các ý nghĩa khác nhau.
• Confidence thường là một điểm số đi kèm với một dự đoán. Ngược lại, semantic entropy so sánh nhiều thế hệ có thể có. Không nên tự động diễn giải cả hai như một xác suất được hiệu chỉnh (calibrated probability); việc hiệu chỉnh phải được đánh giá dựa trên các kết quả quan sát được. (scikit-learn.org)
• Hallucination in LLMs là lỗi trong đó nội dung được tạo ra là sai, không có căn cứ hoặc gây hiểu lầm. Semantic entropy là một tín hiệu cảnh báo chứ không phải bản thân lỗi đó. Entropy cao có thể tiết lộ các câu trả lời xung đột, trong khi entropy thấp không chứng minh được tính đúng đắn vì một model có thể liên tục lặp lại cùng một tuyên bố sai. Do đó, các hiện tượng ảo giác (hallucinations) vẫn có thể giữ được độ tự tin và tính nhất quán nội bộ. (openai.com)
• Semantic segmentation gán một lớp cho từng pixel hình ảnh. Mặc dù có chung từ “semantic,” đây là một tác vụ computer vision và không liên quan đến entropy trên các ý nghĩa được tạo ra.

Các ứng dụng trong thực tế#

Trợ lý hỏi đáp (Question-answering assistants): Một trợ lý hỗ trợ khách hàng có thể lấy mẫu một số câu trả lời trước khi phản hồi. Nếu các đầu ra không đồng tình về việc bảo hành có bao gồm thiệt hại do tai nạn hay không, semantic entropy cao có thể kích hoạt việc trích xuất tài liệu (document retrieval), làm rõ, hoặc xem xét lại bởi con người. Kết hợp với retrieval-augmented generation (RAG), điều này làm giảm khả năng một yêu cầu chính sách không có căn cứ tiếp cận khách hàng.

Hỗ trợ quyết định tầm nhìn-ngôn ngữ (Vision-language decision support): Một vision-language model (VLM) có thể mô tả một hình ảnh công nghiệp là hiển thị “ăn mòn bề mặt,” “dư lượng dầu,” hoặc “sự đổi màu bình thường” qua các lần tạo lặp lại. Semantic entropy cao cho thấy sự bất đồng có ý nghĩa có thể dẫn đến quyết định bảo trì sai. Hệ thống có thể chuyển hình ảnh cho thanh tra viên thay vì coi một mô tả lưu loát là quyết định cuối cùng.

Ứng Dụng Thực Tế và Hạn Chế#

Semantic entropy nên được coi là một thành phần của quy trình đánh giá dựa trên rủi ro. Các nhóm nên kiểm tra xem điểm số cao hơn có thực sự tương ứng với nhiều lỗi hơn trong lĩnh vực của họ hay không, chọn ngưỡng theo hậu quả của những sai lầm, và duy trì một lộ trình bỏ phiếu trắng hoặc xem xét lại bởi con người. NIST AI Risk Management Framework Core nhấn mạnh việc đo lường độ không chắc chắn và kết nối các kết quả đánh giá với việc giám sát rủi ro liên tục. (airc.nist.gov)

Phương pháp này phù hợp nhất cho các đầu ra được tạo ra theo dạng mở. Các dự đoán computer vision có cấu trúc đòi hỏi các phương pháp đánh giá khác nhau: Ultralytics validation mode đo lường hiệu suất so với dữ liệu được dán nhãn, trong khi semantic entropy có thể đánh giá bất kỳ giải thích văn bản tự do nào được thêm vào bởi một thành phần đa phương thức.

Các nhóm sản xuất cũng nên theo dõi phân phối điểm số, các danh mục lỗi, độ trễ và những thay đổi trong dữ liệu đầu vào. Hướng dẫn của Google về monitoring production ML systems khuyến nghị việc ghi log và cảnh báo về sự trôi dạt dự đoán (prediction drift) cũng như sự suy giảm chất lượng. Ultralytics Platform deployment monitoring có thể hỗ trợ quy trình chú thích, huấn luyện, triển khai và giám sát rộng hơn xung quanh các model thị giác. Semantic entropy có thể xác định các trường hợp không chắc chắn trong quy trình đó, nhưng việc xác minh thực tế và kiểm tra đại diện vẫn là điều cần thiết.