Hallucination (in LLMs)

인공지능(AI) 분야에서 환각(Hallucination)이란 대규모 언어 모델(LLM)이 자신감 있고 문법적으로는 올바르지만, 사실과 다르거나 의미가 없거나 원본 입력과 맞지 않는 콘텐츠를 생성하는 현상을 의미합니다. 충돌이나 눈에 띄는 오류를 일으키는 일반적인 소프트웨어 오류와 달리, 환각을 일으키는 모델은 설득력 있는 위조자처럼 행동하며 잘못된 정보를 마치 유효한 사실인 것처럼 제시합니다. 이는 데이터 무결성이 매우 중요한 의료, 법률, 금융과 같은 민감한 분야에 생성형 AI를 도입하는 조직에게 상당한 과제를 안겨줍니다.

Link to this section환각 현상은 왜 발생하는가?#

To understand why models hallucinate, it is helpful to look at how they are built. LLMs are typically based on the Transformer architecture, which functions as a sophisticated prediction engine. Instead of querying a structured database of verified facts, the model predicts the next token in a sequence based on statistical probabilities derived from its training data.

이러한 행동을 유발하는 몇 가지 요인은 다음과 같습니다:

• 확률적 추측: 모델은 사실적 진실보다 유창함과 일관성을 우선시합니다. 특정 단어 시퀀스가 통계적으로 발생할 가능성이 높다면, 설령 사실적으로 틀렸더라도 모델은 이를 생성할 수 있습니다. 이 개념은 모델이 의미를 이해하지 못한 채 언어 패턴만을 모방한다는 확률적 앵무새(stochastic parrots) 관련 연구에서 자주 논의됩니다.
• 데이터 품질 문제: 학습에 사용된 방대한 텍스트 말뭉치에 모순, 구식 정보 또는 허구가 포함되어 있다면 모델이 이러한 부정확성을 재현할 수 있습니다.
• 출처 기억상실: LLM은 막대한 양의 정보를 모델 가중치로 압축합니다. 이 과정에서 모델은 종종 특정 출처와의 연결 고리를 잃어버리게 되며, 이로 인해 서로 다른 개념이나 사건이 잘못 병합되는 "조작(confabulation)" 현상이 발생합니다.

Link to this section환각 현상의 실제 사례#

환각 현상은 무해한 창의적 꾸며내기부터 심각한 사실 오류에 이르기까지 다양한 방식으로 나타날 수 있습니다:

• 법률적 날조: 법률 전문가가 AI를 사용하여 소송 준비 서면을 작성했는데, 모델이 주장을 뒷받침하기 위해 존재하지 않는 판례와 인용을 날조한 사례가 보고된 바 있습니다.
• 코드 생성: AI 어시스턴트를 사용하는 개발자는 모델이 표준 명명 규칙을 따른다는 이유만으로 실제로는 존재하지 않는 소프트웨어 라이브러리를 가져오거나 존재하지 않는 함수를 호출하라고 제안하는 "패키지 환각"을 경험할 수 있습니다.
• 전기적 오류: 덜 유명한 인물에 대해 질문하면 모델은 그들의 업적, 출생지 또는 경력 기록을 자신 있게 잘못 귀속시키거나, 여러 사람의 정보를 뒤섞어 생성할 수 있습니다.

Link to this section완화 전략#

환각 빈도를 줄이는 것은 AI 안전(AI Safety)의 주요 초점입니다. 엔지니어와 연구자들은 모델을 현실에 근거(grounding)시키기 위해 다음과 같은 여러 기술을 사용합니다:

• 검색 증강 생성(RAG): 이 방법은 LLM을 벡터 데이터베이스에 인덱싱된 외부의 신뢰할 수 있는 지식 베이스와 연결합니다. 답변을 생성하기 전에 관련 문서를 검색함으로써 모델은 실제 데이터에 제약을 받게 됩니다.
• 사고의 연쇄(Chain-of-Thought) 프롬프팅: 이 프롬프트 엔지니어링 기술은 모델이 복잡한 추론을 중간 단계로 나누어 "작업 과정을 보여주도록" 유도하며, 이는 종종 논리 오류를 줄여줍니다.
• 인간 피드백 기반 강화학습(RLHF): 미세 조정 단계에서 인간 평가자가 모델의 응답 순위를 매깁니다. 환각에 페널티를 주고 진실성에 보상을 함으로써, 모델은 인간의 기대치에 더 잘 부합하도록 학습합니다.

Link to this section컴퓨터 비전을 활용한 LLM의 근거 마련#

멀티모달 AI 시스템에서는 시각적 데이터를 사용하여 텍스트 생성을 근거 지울 수 있습니다. LLM에게 장면을 설명하라고 요청하면 모델은 존재하지 않는 객체를 환각으로 생성할 수 있습니다. YOLO26과 같은 고정밀 객체 탐지기를 통합함으로써, 개발자는 존재하는 객체의 사실적인 목록을 LLM에 제공하여 출력을 검증된 탐지 결과로 엄격하게 제한할 수 있습니다.

다음의 Python 예제는 ultralytics 패키지를 사용하여 검증된 객체 목록을 추출하고, 이를 언어 모델 프롬프트의 사실적 제약 조건으로 활용하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this section관련 개념 구별하기#

환각 현상을 다른 일반적인 AI 오류와 구별하는 것은 중요합니다:

• AI 편향(Bias in AI)과의 차이: 편향은 출력물에서 체계적인 편견(예: 특정 인구 통계를 선호하는 것)을 의미하며, 환각은 사실 정확도의 실패입니다. 응답이 편향되지 않았더라도 환각적일 수 있습니다(예: "달은 치즈로 만들어졌다").
• 과적합(Overfitting)과의 차이: 과적합은 모델이 학습 데이터를 너무 밀접하게 암기하여 새로운 입력에 일반화하지 못할 때 발생합니다. 환각은 종종 모델이 데이터가 부족한 영역까지 지나치게 일반화하려고 할 때 발생합니다.
• 오분류와의 차이: 객체 탐지에서 자동차를 트럭으로 레이블링하는 것은 분류 오류(정확도 문제)이며 환각이 아닙니다. 환각은 거짓 콘텐츠를 생성적으로 만들어내는 것에 국한됩니다.

데이터 무결성을 높여 하류 작업의 오류를 방지하고자 데이터셋을 관리하고 모델을 학습시키려는 사용자를 위해, Ultralytics Platform은 주석 및 데이터셋 관리를 위한 포괄적인 도구를 제공합니다. 또한 NIST AI 위험 관리 프레임워크의 지침은 프로덕션 환경에서 이러한 위험을 평가하고 완화하기 위한 표준을 제공합니다.