Perplexity

Perplexity는 확률 모델이 토큰 시퀀스를 얼마나 잘 예측하는지 측정하는 평가 지표입니다. Perplexity는 언어 모델링에서 가장 흔히 사용되며, 값이 낮을수록 모델이 평가된 텍스트를 덜 놀라운 것으로 인식함을 의미합니다. 직관적으로, Perplexity가 10이라는 것은 모델이 각 예측 단계에서 10개의 동일하게 가능한 대안 중 하나를 선택하는 것만큼 불확실하다는 것을 시사합니다. 이 해석은 대략적이지만, 지표를 더 이해하기 쉽게 만듭니다.

Perplexity의 작동 방식#

언어 모델은 선행 컨텍스트를 바탕으로 가능한 다음 토큰 각각에 확률을 할당합니다. Google의 언어 모델 소개에서 설명하듯이, 자기 회귀 모델은 반복적으로 다음 토큰을 예측하고 이를 컨텍스트에 추가합니다.

Perplexity는 평가 시퀀스 전반에 걸쳐 올바른 토큰에 할당된 확률을 요약합니다. Perplexity는 교차 엔트로피로 흔히 표현되는 평균 음의 로그 가능도에서 파생됩니다:

• 교차 엔트로피가 자연로그를 사용하는 경우, Perplexity는 교차 엔트로피를 지수로 하는 e입니다.
• 교차 엔트로피가 밑이 2인 로그를 사용하는 경우, Perplexity는 교차 엔트로피를 지수로 하는 2입니다.

Google Machine Learning Glossary는 관련 해석을 제공합니다: Perplexity는 모델이 올바른 예측을 포함하는 데 필요한 추정 횟수를 대략적으로 나타냅니다. 라이브러리 또한 NLTK 언어 모델 perplexity API가 보여주듯이 이를 직접 계산할 수 있습니다.

이 최소한의 Python 예제는 네 개의 올바른 토큰에 할당된 확률로부터 perplexity를 계산합니다:

import math

# Probability assigned to the correct token at each position
token_probabilities = [0.50, 0.25, 0.80, 0.40]

negative_log_probs = [-math.log(probability) for probability in token_probabilities]
cross_entropy = sum(negative_log_probs) / len(negative_log_probs)
perplexity = math.exp(cross_entropy)

print(f"Cross-entropy: {cross_entropy:.3f}")
print(f"Perplexity: {perplexity:.3f}")

이 계산은 Python의 문서화된 math.exp 지수 함수를 사용합니다. 모델 학습 코드에서는 PyTorch의 교차 엔트로피 손실 같은 프레임워크가 보통 지수화되기 전에 평균 손실을 계산합니다.

Perplexity를 해석하는 방법#

낮은 perplexity는 일반적으로 모델이 관측된 토큰에 더 높은 확률을 할당함을 나타냅니다. 그러나 이 숫자는 통제된 비교 내에서만 의미가 있습니다.

동일한 검증 데이터에서 모델 A의 perplexity가 20이고 모델 B의 perplexity가 30이라고 가정해 보겠습니다. 모델 A가 해당 데이터셋을 더 효과적으로 예측합니다. 모델 A가 반드시 더 사실적이고, 유용하며, 안전하거나 읽기 쉬운 답변을 생성하는 것은 아닙니다.

Perplexity는 다음과 같은 여러 관련 개념과도 다릅니다:

• 손실 함수: 교차 엔트로피는 기초가 되는 학습 또는 평가 손실이며, perplexity는 교차 엔트로피의 지수화되고 더 직관적인 표현입니다.
• 정확도: 정확도는 선택한 예측이 올바른지 확인합니다. Perplexity는 모델이 대안에 할당하는 확률을 포함하여 전체 예측 확률 분포를 평가합니다.
• 신뢰도: 신뢰도는 보통 하나의 예측에 대한 확실성을 설명합니다. Perplexity는 많은 시퀀스 위치에 걸쳐 예측 불확실성을 집계합니다.
• 생성 품질: perplexity가 낮은 모델은 유창하지만 반복적이거나, 부정확하거나, 도움이 되지 않는 텍스트를 생성할 수 있습니다. Perplexity는 사실성이나 추론 능력을 직접 측정하지 않습니다.

실제 적용 사례#

• 예측 텍스트 및 시퀀스 생성: 개발자는 의도된 도메인의 보류 텍스트를 사용하여 키보드 제안, 전사 또는 자동완성에 대해 언어 모델을 비교할 수 있습니다. 예를 들어, 의료 용어에 대해 더 낮은 perplexity를 보이는 모델은 임상 구술에서 더 나은 다음 토큰 예측을 제공할 수 있습니다. 이 지표는 지연 시간과 사용자 수용 여부를 별도로 평가하기 전에 모델을 선택하는 데 도움을 줄 수 있습니다.

• 시각적 어텐션을 활용한 이미지 캡셔닝: 이미지 캡셔닝 시스템은 종종 시각 인코더와 그 뒤를 잇는 언어 디코더를 사용합니다. Perplexity는 디코더가 이미지 피처가 주어졌을 때 참조 캡션 토큰을 얼마나 잘 예측하는지 측정할 수 있습니다. 이는 비전 언어 모델과 관련이 있지만, 낮은 perplexity만으로는 캡션이 모든 객체를 올바르게 식별하는지 또는 환각된 세부 정보를 피하는지 판단할 수 없습니다.

확률 기반 평가는 특화된 진단도 지원할 수 있습니다. NVIDIA의 로그 확률 평가 지침에서는 자유 형식 생성을 요구하지 않고 토큰 확률을 perplexity와 같은 지표로 집계하는 방법을 설명합니다.

한계 및 모범 사례#

모델이 서로 다른 토큰화 방식을 사용할 때는 Perplexity 값을 비교해서는 안 됩니다. 단어 수준 모델, 문자 수준 모델, 서브워드 기반 대형 언어 모델은 동일한 문장을 다르게 나누며, 이로 인해 예측 단계의 수와 난이도가 변경됩니다.

평가 데이터셋도 타겟 도메인과 일치해야 합니다. 모델이 뉴스 기사에서는 낮은 perplexity를 달성하더라도 소스 코드나 기술 지원 대화에서는 저조한 성능을 보일 수 있습니다. 대표성 있고 분리된 평가 데이터와 일관된 전처리를 사용하여 정립된 머신 러닝 품질 지침을 따르십시오.

멀티모달 및 컴퓨터 비전 시스템에서는 Perplexity를 태스크 특정 측정값과 결합하십시오. Ultralytics의 모델 평가 및 파인튜닝 가이드는 시각적 예측을 위한 정밀도, 재현율, 평균 정밀도 같은 지표를 다룹니다. 언어 지표와 비전 지표를 함께 사용하면 Perplexity 단독보다 더 완벽한 평가를 제공할 수 있습니다.