Semantic Entropy
시맨틱 엔트로피는 샘플링된 답변의 표현 방식이 아닌 의미에 대한 LLM의 불확실성을 측정해 그럴듯하게 꾸며낸 답변을 찾아냅니다.
시맨틱 엔트로피는 대규모 언어 모델(LLM)이 답변의 의미에 대해 얼마나 불확실한지를 나타내는 지표입니다. 같은 질문에 대한 답변을 여러 개 샘플링하고, 같은 의미를 전달하는 답변끼리 그룹화한 뒤 그룹별 엔트로피를 계산합니다. 샘플 10개가 하나의 답을 10가지 표현으로 제시하면 시맨틱 엔트로피는 0입니다. 서로 다른 답변을 세 가지 제시하면 엔트로피가 높으며, 모델이 추측하고 있을 가능성이 큽니다. 옥스퍼드 대학교의 Lorenz Kuhn, Yarin Gal, Sebastian Farquhar는 2023년 ICLR에서 Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation 논문을 통해 이 개념을 소개했습니다. 2024년 Farquhar, Jannik Kossen, Kuhn, Gal의 Nature 논문은 이를 환각 탐지에 적용했습니다.
Nature 논문은 환각의 한 유형을 다루며, 이를 작화(confabulation)라고 부릅니다. 이는 틀리면서도 임의적인 주장으로, 샘플링에 사용한 난수 시드에 따라 달라집니다. 생성된 토큰의 일반 엔트로피만으로는 이를 구분할 수 없습니다. 'Paris', 'It's Paris', 'The capital is Paris'는 서로 다른 토큰 시퀀스지만 의미는 같기 때문에, 답을 알고 있는 모델도 불확실해 보일 수 있습니다.
시맨틱 엔트로피 계산 방법#
- 샘플링 온도를 0보다 크게 설정하고 동일한 프롬프트에 대한 답변을 약 10개 샘플링합니다.
- 양방향 함의 관계에 따라 답변을 클러스터링합니다. 자연어 추론 모델(예: DeBERTa-large-MNLI)이나 범용 LLM(주요 Nature 실험에서는 GPT-3.5)을 사용해 두 답변이 서로를 함의한다고 판단되면 같은 의미를 갖는 것으로 봅니다. 이 단계는 자연어 이해(NLU)의 한 형태입니다.
- 각 클러스터에 속한 답변의 시퀀스 확률을 합산해 클러스터별 확률을 추정합니다. 토큰 확률을 공개하지 않는 폐쇄형 API를 사용하는 경우에는 클러스터에 포함된 샘플의 비율을 사용합니다. 이를 이산 시맨틱 엔트로피라고 합니다.
- 클러스터 확률을 기준으로 엔트로피를 계산합니다.
이산 시맨틱 엔트로피를 계산하는 데는 답변과 답변의 클러스터만 있으면 됩니다. 아래 스니펫은 함의 모델이 분류할 법한 방식으로 클러스터를 지정하고, 두 질문에 대해 이산 시맨틱 엔트로피를 원시 문자열의 순진한 엔트로피와 비교합니다.
from collections import Counter
from scipy.stats import entropy
# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
"Capital of Australia?": (
["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
["Canberra"] * 5,
),
"Year Canberra was founded?": (
["1913", "In 1913.", "1908", "1927", "1913"],
["1913", "1913", "1908", "1927", "1913"],
),
}
for question, (answers, meanings) in samples.items():
# Naive entropy counts distinct strings; semantic entropy counts distinct meanings
naive = entropy(list(Counter(answers).values()), base=2)
semantic = entropy(list(Counter(meanings).values()), base=2)
print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")두 질문 모두 샘플 5개 중 서로 다른 문자열이 4개이므로 순진한 엔트로피는 각각 1.92비트입니다. 시맨틱 엔트로피는 두 질문을 구분합니다. 수도 질문의 경우 모든 샘플이 캔버라를 뜻하므로 0.00비트이고, 설립 연도 질문의 경우 정답인 1913년, 부지가 선정된 1908년, 의회가 그곳으로 이전한 1927년이 섞여 있어 1.37비트입니다.
결과 및 한계#
질의응답 데이터셋(TriviaQA, SQuAD, BioASQ, NQ-Open, SVAMP)과 모델(LLaMA 2 Chat, Falcon Instruct, Mistral Instruct)의 조합 30개에서 시맨틱 엔트로피는 오답과 정답을 평균 ROC 곡선 아래 면적(AUROC) 0.790으로 구분했습니다. 순진한 엔트로피는 0.691, 모델에 자체 답변이 맞는지 묻는 P(True)는 0.698이었습니다. 또한 GPT-4가 21명에 대해 작성한 전기를 사실 주장 150개로 나누고 그중 45개가 틀렸을 때, 이산 시맨틱 엔트로피는 거짓 주장을 탐지하는 데 두 기준선보다 나은 성능을 보였습니다.
이 방법에는 분명한 한계가 있습니다.
- 비용: 질문마다 약 10회 생성과 쌍별 함의 검사가 필요합니다. Kossen과 동료들이 2024년에 소개한 시맨틱 엔트로피 프로브는 모델의 은닉 상태에서 시맨틱 엔트로피를 예측해 생성을 한 번으로 줄입니다.
- 일관된 오류: 학습 데이터에서 오개념을 학습한 모델은 매번 같은 오답을 제시하므로 시맨틱 엔트로피가 낮게 유지됩니다. 검색 증강 생성(RAG)처럼 외부 출처와 대조해야만 오류를 발견할 수 있습니다.
- 긴 답변: 의미를 비교하려면 전기 실험에서처럼 문단을 먼저 개별 주장으로 나누어야 합니다.
시맨틱 엔트로피는 텍스트에 대한 불확실성 정량화 기법 중 하나입니다. 퍼플렉서티는 모델이 고정된 텍스트를 얼마나 잘 예측하는지 점수화하고, 자기 일관성은 샘플링한 사고 연쇄 답변을 다수결로 평가하며, 컨포멀 예측은 이와 같은 점수를 보장된 커버리지를 갖는 집합으로 변환합니다. Humanity's Last Exam과 같은 벤치마크는 모델이 밝힌 신뢰도와 실제 정답률을 비교해 같은 격차를 반대 관점에서 측정합니다.
탐지 결과를 설명하는 비전-언어 모델(VLM)에도 같은 검증을 적용할 수 있습니다. Ultralytics LLM 인터페이스는 이미지와 질문을 OpenAI 호환 모델에 전송하고 요청 인수를 변경하지 않고 전달합니다. 따라서 파이프라인은 YOLO26이 관심 객체를 탐지한 이미지에 대해 같은 질문을 여러 번 하고, 반환된 설명을 클러스터링할 수 있습니다.










