YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

Semantic Entropy

시맨틱 엔트로피는 샘플링된 답변의 표현 방식이 아닌 의미에 대한 LLM의 불확실성을 측정해 그럴듯하게 꾸며낸 답변을 찾아냅니다.

시맨틱 엔트로피는 대규모 언어 모델(LLM)이 답변의 의미에 대해 얼마나 불확실한지를 나타내는 지표입니다. 같은 질문에 대한 답변을 여러 개 샘플링하고, 같은 의미를 전달하는 답변끼리 그룹화한 뒤 그룹별 엔트로피를 계산합니다. 샘플 10개가 하나의 답을 10가지 표현으로 제시하면 시맨틱 엔트로피는 0입니다. 서로 다른 답변을 세 가지 제시하면 엔트로피가 높으며, 모델이 추측하고 있을 가능성이 큽니다. 옥스퍼드 대학교의 Lorenz Kuhn, Yarin Gal, Sebastian Farquhar는 2023년 ICLR에서 Semantic Uncertainty: Linguistic Invariances for Uncertainty Estimation in Natural Language Generation 논문을 통해 이 개념을 소개했습니다. 2024년 Farquhar, Jannik Kossen, Kuhn, Gal의 Nature 논문은 이를 환각 탐지에 적용했습니다.

Nature 논문은 환각의 한 유형을 다루며, 이를 작화(confabulation)라고 부릅니다. 이는 틀리면서도 임의적인 주장으로, 샘플링에 사용한 난수 시드에 따라 달라집니다. 생성된 토큰의 일반 엔트로피만으로는 이를 구분할 수 없습니다. 'Paris', 'It's Paris', 'The capital is Paris'는 서로 다른 토큰 시퀀스지만 의미는 같기 때문에, 답을 알고 있는 모델도 불확실해 보일 수 있습니다.

시맨틱 엔트로피 계산 방법#

  1. 샘플링 온도를 0보다 크게 설정하고 동일한 프롬프트에 대한 답변을 약 10개 샘플링합니다.
  2. 양방향 함의 관계에 따라 답변을 클러스터링합니다. 자연어 추론 모델(예: DeBERTa-large-MNLI)이나 범용 LLM(주요 Nature 실험에서는 GPT-3.5)을 사용해 두 답변이 서로를 함의한다고 판단되면 같은 의미를 갖는 것으로 봅니다. 이 단계는 자연어 이해(NLU)의 한 형태입니다.
  3. 각 클러스터에 속한 답변의 시퀀스 확률을 합산해 클러스터별 확률을 추정합니다. 토큰 확률을 공개하지 않는 폐쇄형 API를 사용하는 경우에는 클러스터에 포함된 샘플의 비율을 사용합니다. 이를 이산 시맨틱 엔트로피라고 합니다.
  4. 클러스터 확률을 기준으로 엔트로피를 계산합니다.

이산 시맨틱 엔트로피를 계산하는 데는 답변과 답변의 클러스터만 있으면 됩니다. 아래 스니펫은 함의 모델이 분류할 법한 방식으로 클러스터를 지정하고, 두 질문에 대해 이산 시맨틱 엔트로피를 원시 문자열의 순진한 엔트로피와 비교합니다.

from collections import Counter

from scipy.stats import entropy

# Five sampled answers per question, and the meaning cluster entailment checks assign to each
samples = {
    "Capital of Australia?": (
        ["Canberra", "Canberra.", "It's Canberra.", "Canberra, ACT", "Canberra"],
        ["Canberra"] * 5,
    ),
    "Year Canberra was founded?": (
        ["1913", "In 1913.", "1908", "1927", "1913"],
        ["1913", "1913", "1908", "1927", "1913"],
    ),
}

for question, (answers, meanings) in samples.items():
    # Naive entropy counts distinct strings; semantic entropy counts distinct meanings
    naive = entropy(list(Counter(answers).values()), base=2)
    semantic = entropy(list(Counter(meanings).values()), base=2)
    print(f"{question} naive: {naive:.2f} bits, semantic: {semantic:.2f} bits")

두 질문 모두 샘플 5개 중 서로 다른 문자열이 4개이므로 순진한 엔트로피는 각각 1.92비트입니다. 시맨틱 엔트로피는 두 질문을 구분합니다. 수도 질문의 경우 모든 샘플이 캔버라를 뜻하므로 0.00비트이고, 설립 연도 질문의 경우 정답인 1913년, 부지가 선정된 1908년, 의회가 그곳으로 이전한 1927년이 섞여 있어 1.37비트입니다.

결과 및 한계#

질의응답 데이터셋(TriviaQA, SQuAD, BioASQ, NQ-Open, SVAMP)과 모델(LLaMA 2 Chat, Falcon Instruct, Mistral Instruct)의 조합 30개에서 시맨틱 엔트로피는 오답과 정답을 평균 ROC 곡선 아래 면적(AUROC) 0.790으로 구분했습니다. 순진한 엔트로피는 0.691, 모델에 자체 답변이 맞는지 묻는 P(True)는 0.698이었습니다. 또한 GPT-4가 21명에 대해 작성한 전기를 사실 주장 150개로 나누고 그중 45개가 틀렸을 때, 이산 시맨틱 엔트로피는 거짓 주장을 탐지하는 데 두 기준선보다 나은 성능을 보였습니다.

이 방법에는 분명한 한계가 있습니다.

  • 비용: 질문마다 약 10회 생성과 쌍별 함의 검사가 필요합니다. Kossen과 동료들이 2024년에 소개한 시맨틱 엔트로피 프로브는 모델의 은닉 상태에서 시맨틱 엔트로피를 예측해 생성을 한 번으로 줄입니다.
  • 일관된 오류: 학습 데이터에서 오개념을 학습한 모델은 매번 같은 오답을 제시하므로 시맨틱 엔트로피가 낮게 유지됩니다. 검색 증강 생성(RAG)처럼 외부 출처와 대조해야만 오류를 발견할 수 있습니다.
  • 긴 답변: 의미를 비교하려면 전기 실험에서처럼 문단을 먼저 개별 주장으로 나누어야 합니다.

시맨틱 엔트로피는 텍스트에 대한 불확실성 정량화 기법 중 하나입니다. 퍼플렉서티는 모델이 고정된 텍스트를 얼마나 잘 예측하는지 점수화하고, 자기 일관성은 샘플링한 사고 연쇄 답변을 다수결로 평가하며, 컨포멀 예측은 이와 같은 점수를 보장된 커버리지를 갖는 집합으로 변환합니다. Humanity's Last Exam과 같은 벤치마크는 모델이 밝힌 신뢰도와 실제 정답률을 비교해 같은 격차를 반대 관점에서 측정합니다.

탐지 결과를 설명하는 비전-언어 모델(VLM)에도 같은 검증을 적용할 수 있습니다. Ultralytics LLM 인터페이스는 이미지와 질문을 OpenAI 호환 모델에 전송하고 요청 인수를 변경하지 않고 전달합니다. 따라서 파이프라인은 YOLO26이 관심 객체를 탐지한 이미지에 대해 같은 질문을 여러 번 하고, 반환된 설명을 클러스터링할 수 있습니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요