Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

Semantic Entropy

Entropy ngữ nghĩa đo lường mức độ bất định của LLM về ý nghĩa trong các câu trả lời được lấy mẫu, thay vì cách diễn đạt, qua đó phát hiện các nội dung bịa đặt có khả năng cao.

Entropy ngữ nghĩa đo mức độ không chắc chắn của mô hình ngôn ngữ lớn (LLM) về ý nghĩa câu trả lời, được tính bằng cách lấy mẫu nhiều câu trả lời cho cùng một câu hỏi, gom nhóm các câu có cùng ý nghĩa rồi tính entropy trên các nhóm. Nếu mười mẫu diễn đạt cùng một câu trả lời theo mười cách, entropy ngữ nghĩa bằng không; nếu chúng đưa ra ba câu trả lời khác nhau, entropy sẽ cao và model có khả năng đang đoán. Lorenz Kuhn, Yarin Gal và Sebastian Farquhar tại Đại học Oxford giới thiệu phương pháp này tại ICLR 2023 trong bài báo Bất định ngữ nghĩa: Bất biến ngôn ngữ để ước lượng độ bất định trong sinh ngôn ngữ tự nhiên; một bài báo năm 2024 trên Nature của Farquhar, Jannik Kossen, Kuhn và Gal áp dụng phương pháp này để phát hiện ảo giác.

Bài báo trên Nature tập trung vào một loại ảo giác được gọi là bịa đặt: những khẳng định vừa sai vừa tùy tiện, thay đổi theo seed ngẫu nhiên dùng để lấy mẫu. Entropy thông thường tính trên các token được sinh ra không thể tách riêng loại này, vì "Paris", "Đó là Paris" và "Thủ đô là Paris" là các chuỗi token khác nhau nhưng cùng ý nghĩa; do đó, model biết câu trả lời vẫn có vẻ không chắc chắn.

Cách tính entropy ngữ nghĩa#

  1. Lấy mẫu khoảng 10 câu trả lời cho cùng một prompt với nhiệt độ lấy mẫu khác không.
  2. Phân cụm các câu trả lời theo quan hệ kéo theo hai chiều: hai câu trả lời có cùng nghĩa nếu mỗi câu kéo theo câu còn lại, theo đánh giá của một model suy luận ngôn ngữ tự nhiên như DeBERTa-large-MNLI hoặc một LLM tổng quát, cụ thể là GPT-3.5 trong các thí nghiệm chính của Nature. Bước này là một dạng hiểu ngôn ngữ tự nhiên (NLU).
  3. Ước tính xác suất của mỗi cụm bằng cách cộng xác suất chuỗi của các câu trả lời trong cụm; hoặc, khi API đóng không cung cấp xác suất token, dùng tỷ lệ mẫu trong cụm — một biến thể được gọi là entropy ngữ nghĩa rời rạc.
  4. Tính entropy trên các xác suất của cụm.

Entropy ngữ nghĩa rời rạc chỉ cần các câu trả lời và cụm tương ứng. Đoạn mã dưới đây so sánh phương pháp này với entropy ngây thơ tính trên các chuỗi thô cho hai câu hỏi, trong đó các cụm được gán như thể một model suy luận kéo theo đã thực hiện việc đó:

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

Cả hai câu hỏi đều tạo ra bốn chuỗi khác nhau trong năm mẫu, nên entropy ngây thơ là 1,92 bit cho mỗi câu. Entropy ngữ nghĩa phân biệt được chúng: 0,00 bit cho câu hỏi về thủ đô, nơi mọi mẫu đều có nghĩa là Canberra, và 1,37 bit cho năm thành lập, nơi các mẫu đưa ra năm 1913 (năm chính xác), năm 1908 (khi địa điểm được chọn) và năm 1927 (khi Quốc hội chuyển đến đó).

Kết quả và hạn chế#

Trên 30 tổ hợp giữa các tập dữ liệu hỏi đáp (TriviaQA, SQuAD, BioASQ, NQ-Open và SVAMP) và các model (LLaMA 2 Chat, Falcon Instruct và Mistral Instruct), entropy ngữ nghĩa phân biệt câu trả lời sai với câu trả lời đúng, đạt trung bình diện tích dưới đường cong ROC (AUROC) 0,790, so với 0,691 của entropy ngây thơ và 0,698 của P(True), phương pháp hỏi model xem câu trả lời của chính nó có đúng không. Với tiểu sử do GPT-4 viết về 21 người, được chia thành 150 khẳng định thực tế, trong đó có 45 khẳng định sai, entropy ngữ nghĩa rời rạc cũng vượt trội hơn cả hai baseline khi phát hiện khẳng định sai.

Phương pháp này có những hạn chế rõ ràng:

  • Chi phí: Cần khoảng 10 lượt tạo nội dung cùng các lần kiểm tra quan hệ kéo theo theo từng cặp cho mỗi câu hỏi. Semantic entropy probes do Kossen và các cộng sự giới thiệu năm 2024 giảm số lượt này xuống còn một bằng cách dự đoán entropy ngữ nghĩa từ trạng thái ẩn của model.
  • Lỗi nhất quán: Model học được một quan niệm sai lầm từ dữ liệu huấn luyện sẽ luôn đưa ra cùng một câu trả lời sai, khiến entropy ngữ nghĩa ở mức thấp; chỉ có kiểm tra với nguồn bên ngoài, như trong sinh tăng cường truy xuất (RAG), mới phát hiện được lỗi.
  • Câu trả lời dài: Trước tiên cần tách đoạn văn thành các khẳng định riêng lẻ, như trong thí nghiệm về tiểu sử, rồi mới có thể so sánh ý nghĩa.

Entropy ngữ nghĩa là một công cụ định lượng độ bất định trong văn bản. Perplexity chấm điểm mức độ dễ dự đoán của một văn bản cố định đối với model; self-consistency lấy kết quả đa số từ các câu trả lời chuỗi suy luận được lấy mẫu; còn dự đoán conformal chuyển các điểm số như vậy thành các tập có độ bao phủ được đảm bảo. Các benchmark như Kỳ thi cuối cùng của nhân loại đo cùng khoảng cách từ chiều ngược lại, bằng cách so sánh mức độ tin cậy mà model tuyên bố với tần suất trả lời đúng.

Phép kiểm tra tương tự cũng áp dụng cho model thị giác-ngôn ngữ (VLM) mô tả những gì detector phát hiện. Giao diện LLM của Ultralytics gửi ảnh và câu hỏi đến bất kỳ model tương thích OpenAI nào, đồng thời chuyển tiếp nguyên vẹn các tham số của request; nhờ đó, pipeline có thể hỏi cùng một câu nhiều lần về ảnh mà YOLO26 đã phát hiện một đối tượng cần quan tâm, rồi phân cụm các mô tả nhận được.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning