Semantic Entropy

Entropy ngữ nghĩa đo lường mức độ không chắc chắn của model AI tạo sinh về ý nghĩa câu trả lời. Thay vì xem mỗi biến thể cách diễn đạt là một kết quả khác nhau, phương pháp này nhóm các câu trả lời tương đương về ngữ nghĩa và đo lường mức độ phân tán xác suất giữa các ý nghĩa thu được. Nếu các câu trả lời lặp lại thể hiện một ý nhất quán, entropy ngữ nghĩa thấp. Nếu chúng ủng hộ nhiều ý mâu thuẫn nhau, entropy cao, cho thấy model có thể không biết đáp án nào đúng.

Biện pháp này đặc biệt phù hợp với mô hình ngôn ngữ lớn (LLM) hoặc hệ thống khác tạo ra ngôn ngữ tự do, trong đó cùng một ý nghĩa có thể được diễn đạt bằng nhiều chuỗi từ khác nhau.

Entropy ngữ nghĩa hoạt động như thế nào#

Entropy là thước đo tổng quát về độ bất định trong một phân phối xác suất: entropy thấp khi xác suất tập trung vào một kết quả, và cao khi nhiều kết quả vẫn có khả năng xảy ra. Định nghĩa entropy của NIST cung cấp khái niệm nền tảng của lý thuyết thông tin. (csrc.nist.gov)

Quy trình entropy ngữ nghĩa thường gồm bốn bước:

1. Dùng sampling để tạo nhiều câu trả lời cho cùng một đầu vào.
2. Nhóm các câu trả lời truyền tải cùng một ý nghĩa.
3. Ước tính xác suất của mỗi ý nghĩa dựa trên tần suất hoặc xác suất sinh.
4. Tính entropy trên các nhóm ngữ nghĩa đó.

Ví dụ, “Paris”, “Câu trả lời là Paris” và “Paris là thủ đô của Pháp” thuộc cùng một nhóm ý nghĩa. “Lyon” thuộc một nhóm khác. Entropy từ vựng có thể phóng đại độ bất định khi xem cả bốn chuỗi là khác nhau, trong khi entropy ngữ nghĩa nhận ra rằng ba câu đầu có cùng ý nghĩa.

Giai đoạn nhóm có thể dựa trên đánh giá của con người, suy diễn văn bản hoặc embedding số kết hợp với thước đo độ tương đồng, chẳng hạn như độ tương đồng cosine của scikit-learn.

from collections import Counter

from scipy.stats import entropy

# Equivalent answers have already been assigned the same meaning label.
meaning_labels = [
    "Paris",
    "Paris",
    "Paris",
    "Lyon",
    "Unknown",
]

counts = Counter(meaning_labels)
probabilities = [count / len(meaning_labels) for count in counts.values()]

score = entropy(probabilities, base=2)
print(f"Semantic entropy: {score:.3f} bits")

Ví dụ đơn giản này sử dụng hàm entropy được ghi trong tài liệu của SciPy. Trong hệ thống production, cần xác thực cẩn thận việc nhóm ngữ nghĩa vì nhóm sai có thể làm sai lệch điểm số cuối cùng.

Các khái niệm liên quan và điểm khác biệt chính#

Entropy ngữ nghĩa thuộc lĩnh vực rộng hơn là định lượng độ bất định, nhưng tập trung vào độ bất định về ý nghĩa thay vì chỉ về nhãn, token hoặc dự đoán số.

• Entropy token đo độ bất định của token tiếp theo hoặc toàn bộ chuỗi token. Entropy này có thể đánh giá quá cao độ bất định đối với những khác biệt vô hại về cách diễn đạt.
• Tính nhất quán tự thân kiểm tra xem các lần sinh lặp lại có tạo ra câu trả lời tương thích hay không. Entropy ngữ nghĩa mở rộng ý tưởng này bằng cách biểu diễn phân phối tương đối của các ý nghĩa khác nhau.
• Độ tin cậy thường là điểm số gắn với một dự đoán. Thay vào đó, entropy ngữ nghĩa so sánh nhiều kết quả sinh có thể có. Không nên mặc định diễn giải đại lượng nào trong hai đại lượng này là xác suất đã hiệu chuẩn; cần đánh giá hiệu chuẩn dựa trên các kết quả quan sát được. (scikit-learn.org)
• Ảo giác trong LLM là lỗi trong đó nội dung được tạo ra không đúng sự thật, không có cơ sở hoặc gây hiểu lầm. Entropy ngữ nghĩa là tín hiệu cảnh báo, không phải bản thân lỗi đó. Entropy cao có thể cho thấy các câu trả lời mâu thuẫn, trong khi entropy thấp không chứng minh tính chính xác vì model có thể liên tục lặp lại cùng một khẳng định sai. Do đó, hiện tượng ảo giác vẫn có thể đi kèm độ tin cậy cao và tính nhất quán nội tại. (openai.com)
• Phân đoạn ngữ nghĩa gán một lớp cho mỗi pixel ảnh. Dù cùng có từ “ngữ nghĩa”, đây là tác vụ thị giác máy tính và không liên quan đến entropy trên các ý nghĩa được tạo ra.

Ứng dụng thực tế#

Trợ lý hỏi đáp: Trợ lý hỗ trợ khách hàng có thể lấy mẫu một số câu trả lời trước khi phản hồi. Nếu các đầu ra bất đồng về việc bảo hành có chi trả cho hư hỏng do tai nạn hay không, entropy ngữ nghĩa cao có thể kích hoạt truy xuất tài liệu, yêu cầu làm rõ hoặc chuyển cho người kiểm duyệt. Kết hợp với sinh tăng cường truy xuất (RAG), cách này giảm khả năng khách hàng nhận được khẳng định về chính sách không có căn cứ.

Hỗ trợ ra quyết định bằng thị giác-ngôn ngữ: Model thị giác-ngôn ngữ (VLM) có thể mô tả ảnh công nghiệp là có “ăn mòn bề mặt”, “cặn dầu” hoặc “đổi màu bình thường” qua các lần sinh lặp lại. Entropy ngữ nghĩa cao cho thấy sự bất đồng đáng kể, có thể dẫn đến quyết định bảo trì sai. Hệ thống có thể chuyển ảnh cho nhân viên kiểm tra thay vì xem một mô tả trôi chảy là kết luận chắc chắn.

Ứng dụng thực tế và hạn chế#

Nên xem entropy ngữ nghĩa là một thành phần của quy trình đánh giá dựa trên rủi ro. Các nhóm cần kiểm tra xem điểm số cao hơn có thực sự tương ứng với nhiều lỗi hơn trong lĩnh vực của mình hay không, chọn ngưỡng dựa trên hậu quả của sai sót và duy trì phương án từ chối trả lời hoặc chuyển người kiểm duyệt. Cốt lõi của Khung Quản lý Rủi ro AI của NIST nhấn mạnh việc đo lường độ bất định và liên kết kết quả đánh giá với hoạt động giám sát rủi ro liên tục. (airc.nist.gov)

Phương pháp này phù hợp nhất với các đầu ra được tạo tự do. Dự đoán thị giác máy tính có cấu trúc cần những phương pháp đánh giá khác: chế độ validation của Ultralytics đo hiệu năng trên dữ liệu đã gán nhãn, trong khi entropy ngữ nghĩa có thể đánh giá phần giải thích dạng văn bản tự do do thành phần đa phương thức bổ sung.

Các nhóm production cũng cần theo dõi phân phối điểm số, nhóm lỗi, độ trễ và những thay đổi trong dữ liệu đầu vào. Hướng dẫn của Google về giám sát hệ thống ML production khuyến nghị ghi log và phát cảnh báo khi có drift dự đoán và suy giảm chất lượng. Giám sát triển khai trên Ultralytics Platform có thể hỗ trợ quy trình rộng hơn gồm gán nhãn, huấn luyện, triển khai và giám sát các model thị giác. Entropy ngữ nghĩa có thể xác định các trường hợp không chắc chắn trong quy trình đó, nhưng việc xác minh tính chính xác và kiểm thử trên dữ liệu đại diện vẫn rất cần thiết.