Hallucination (in LLMs)

대규모 언어 모델 (LLM)의 생성된 콘텐츠가 유창하고 확신에 차 보이지만 거짓이거나, 모델의 출처로 뒷받침되지 않거나, 모델 자체의 입력과 일치하지 않는 경우 이를 환각이라고 합니다. 환각은 지어낸 인용이나 잘못된 날짜부터 원문에 없는 주장을 추가하는 요약까지 다양합니다. 잘못된 답변도 올바른 답변과 같은 어조로 제시되기 때문에 알아차리기 어렵습니다. 2023년 Mata v. Avianca 사건에서 미국 연방법원은 ChatGPT가 지어낸 판례 6건을 인용한 서면을 제출한 변호사 2명에게 제재를 가했습니다. 일부 연구자는 모델이 지식의 공백을 그럴듯한 텍스트로 채운다는 점에서 이를 선호해 환각의 동의어로 confabulation을 사용합니다.

환각의 유형#

• 내재적 환각: 요약에서 문서와 다른 승인 연도를 제시하는 경우처럼 제공된 출처와 모순되는 출력입니다. Ji 등의 조사 연구는 요약, 대화, 번역에서 발생하는 오류를 분류할 때 이 용어와 다음 용어를 사용합니다.
• 외재적 환각: 출처로 확인할 수 없는 정보를 추가하는 출력이며, 추가된 정보가 사실일 수도 있고 아닐 수도 있습니다.
• 개방형 답변의 사실 오류: 출처가 없는 상태에서 모델이 잘못된 사실을 말하거나, 참고 자료를 조작하거나, 여러 사람의 세부 정보를 한 사람의 전기로 뒤섞습니다.
• 패키지 환각: 코드 어시스턴트가 존재하지 않는 라이브러리를 가져옵니다. 16개 모델이 생성한 코드 샘플 576,000개를 조사한 연구에 따르면 상용 모델이 제안한 패키지의 최소 5.2%, 오픈소스 모델이 제안한 패키지의 21.7%가 환각으로 확인되었습니다. 공격자는 악성 코드를 포함해 등록할 수 있는 고유한 가짜 패키지 이름 205,474개가 발견되었습니다.
• 객체 환각: 비전 언어 모델 (VLM)이 이미지에 없는 객체를 설명합니다.

LLM이 환각을 일으키는 이유#

LLM은 사전 학습 중 학습한 확률을 바탕으로 다음 토큰을 예측해 텍스트를 생성하며, 사실 데이터베이스와 대조하는 기능은 내장되어 있지 않습니다. OpenAI의 Kalai 등 (2025)은 두 가지 통계적 요인이 환각을 유발한다고 설명합니다. 사전 학습에서는 잘 알려지지 않은 사람의 생일처럼 한 번만 등장한 사실을 안정적으로 학습할 수 없습니다. 학습 데이터에 생일 관련 사실의 20%가 정확히 한 번씩만 나타난다면, 기본 모델은 생일 질문의 최소 20%에서 환각을 일으킬 것으로 예상해야 합니다. 학습이 끝난 뒤에는 대부분의 벤치마크가 답변을 정답 또는 오답으로 평가하고 "모르겠습니다"에 0점을 부여합니다. 따라서 추측하는 모델이 답변을 유보하는 모델보다 높은 점수를 얻고, 사후 학습은 모델을 확신에 찬 추측자로 조정합니다.

다른 요인도 영향을 미칩니다. 높은 temperature나 넓은 핵 샘플링으로 샘플링하면 확률이 낮은 후속 내용을 선택할 수 있으며, 긴 입력에서 관련 사실이 묻히면 정확도가 떨어집니다 (컨텍스트 로트). 또한 사람의 승인을 받도록 학습된 모델은 질문의 잘못된 전제를 받아들이는 경향이 있는데, 이는 AI 아첨 성향의 한 형태입니다.

환각 감지 및 감소#

• 검색 증강 생성 (RAG): 시스템이 신뢰할 수 있는 컬렉션에서 구절을 검색하고 모델이 이를 바탕으로 답하도록 지시합니다. 재순위 지정기는 프롬프트에 포함할 구절을 개선하지만, 모델이 해당 구절을 잘못 읽거나 무시할 가능성은 여전히 있습니다.
• 그라운딩 및 인용: 각 주장은 검색된 구절을 인용해야 하며, 보통 두 번째 모델인 검사기가 해당 구절이 주장을 뒷받침하는지 확인합니다.
• 의미 엔트로피: 모델이 동일한 질문에 여러 번 답하고, 답변을 의미에 따라 군집화한 뒤, 군집 간 엔트로피가 높으면 개연성 조작일 가능성이 크다고 판단합니다.
• 검증 사슬 (CoVe): 모델이 답변 초안을 작성하고, 자체 주장에 대한 검증 질문을 만든 뒤, 각 질문에 독립적으로 답하고 초안을 수정합니다.
• 답변 유보에 보상하기: RLHF 또는 기타 피드백을 사용해 "모르겠습니다"보다 확신에 찬 오류에 더 큰 불이익을 주고, 평가 점수도 같은 방식으로 책정하면 추측할 유인이 사라집니다.

그라운딩된 질의응답 시스템은 이러한 검사 여러 가지를 반복 과정으로 결합합니다.

환각과 관련 개념 비교#

• AI 편향: 특정 집단을 선호하는 경우처럼 출력에 체계적인 편향이 나타나는 현상입니다. 응답은 편향이 없으면서도 환각일 수 있고, 사실에 부합하면서도 편향될 수 있습니다.
• 과적합: 일반화 능력을 희생하면서 학습 예제를 암기하는 현상입니다. 환각은 모델이 너무 드물게 본 사실을 암기하지 못해 대신 추측하는 정반대의 상황에서 발생하는 경우가 많습니다.
• 모델 붕괴: 생성된 데이터로 모델을 학습할 때 드문 지식이 소실되는 현상으로, 후속 모델이 롱테일 사실에 대해 더 많은 환각을 일으킬 수 있습니다.

비전 언어 모델의 객체 환각#

VLM은 언어 사전 지식에 의존하므로 캡셔닝 모델은 훈련 캡션에서 포크가 접시 옆에 자주 등장하기 때문에 포크가 없는 식탁에도 포크가 있다고 언급할 수 있습니다. 이미지 캡셔닝의 객체 환각은 캡션에 언급된 객체 중 이미지의 정답 어노테이션에는 없는 객체의 비율인 CHAIR 지표로 측정합니다. VLM이 대신 박스를 그리면 환각으로 생성된 각 객체는 거짓 양성이 됩니다. VLM 벤치마크 결과는 실제 탐지 데이터셋에서 각 모델의 정밀도를 보고합니다. 이를 완화하는 한 가지 방법은 탐지기가 실제로 찾은 객체 목록을 언어 모델에 전달하는 것입니다. 아래 코드 조각은 이미지에서 YOLO26을 실행하고 탐지 결과를 프롬프트 제약 조건으로 변환합니다.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Per-class detection counts as text, used as facts the language model must stay within
detections = result.verbose()
prompt = f"Describe this image. Mention only these detected objects: {detections}"
print(prompt)

result.verbose()은 감지된 클래스별 개수를 반환하므로 프롬프트에 언급된 모든 객체에는 해당 바운딩 박스가 존재합니다. 따라서 다른 객체를 언급하는 답변은 사용자에게 전달되기 전에 표시할 수 있습니다.