환각(LLM에서)

인공지능(AI) 분야에서 환각(hallucination)이란 대규모 언어 모델(LLM) 이 확신에 찬 문법적으로 올바른 내용을 생성하지만, 사실과 맞지 않거나 무의미하거나 원본 입력에 충실하지 않은 현상을 의미합니다. 일반적인 소프트웨어 오류가 시스템 충돌이나 눈에 띄는 결함을 일으키는 것과 달리, 환각을 보이는 모델은 거짓 정보를 유효한 사실과 동일한 권위로 제시하는 설득력 있는 허위 정보 생성자처럼 행동합니다. 이는 의료, 법률, 금융과 같이 데이터 무결성이 최우선인 민감한 분야에 생성형 AI를 도입하는 조직에게 상당한 도전 과제를 제기합니다.

왜 환각이 발생하는가?

모델이 왜 환각을 일으키는지 이해하려면 모델이 어떻게 구축되는지 살펴보는 것이 도움이 됩니다. 대규모 언어 모델(LLM)은 일반적으로 정교한 예측 엔진 역할을 하는 트랜스포머 아키텍처를 기반으로 합니다. 검증된 사실의 구조화된 데이터베이스를 조회하는 대신, 모델은 훈련 데이터에서 도출된 통계적 확률에 기반하여 시퀀스 내 다음 토큰을 예측합니다.

이러한 행동을 유발하는 몇 가지 요인은 다음과 같습니다:

• 확률적 추측: 모델은 사실적 정확성보다 유창성과 일관성을 우선시합니다. 특정 단어 순서가 통계적으로 가능성이 높다면—사실적으로 틀렸더라도—모델이 이를 생성할 수 있습니다. 이 개념은 의미 이해 없이 언어 패턴을 모방하는 모델을 다루는 '확률적 앵무새' 연구에서 자주 논의됩니다.
• 데이터 품질 문제: 훈련에 사용된 방대한 텍스트 코퍼스에 모순, 구식 정보 또는 허구가 포함된 경우, 모델이 이러한 부정확성을 재현할 수 있습니다.
• 출처 망각: 대규모 언어 모델(LLM)은 방대한 정보를 모델 가중치로 압축합니다. 이 과정에서 특정 출처와의 연결을 상실하는 경우가 많으며, 이로 인해 서로 다른 개념이나 사건이 잘못 결합되는 '허위 기억 생성(confabulation)' 현상이 발생합니다.

환각의 실제 예시

환각은 무해한 창의적 과장부터 심각한 사실 오류에 이르기까지 다양한 방식으로 나타날 수 있다:

• 법적 조작: 법률 전문가들이 AI를 활용해 서면을 작성한 사례가 기록된 바 있으나, 해당 모델이 논거를 뒷받침하기 위해 존재하지 않는 법원 판례와 인용문을 조작한 것으로 드러났다.
• 코드 생성: AI 어시스턴트를 사용하는 개발자는 "패키지 환각" 현상을 경험할 수 있습니다. 이는 모델이 실제로 존재하지 않는 소프트웨어 라이브러리를 임포트하거나 함수를 호출하도록 제안하는 경우로, 단순히 해당 이름이 표준 명명 규칙을 따르기 때문입니다.
• 전기적 오류: 덜 유명한 인물에 대해 질문받을 때 모델들은 자신 있게 그들에게 잘못된 업적, 출생지 또는 경력 이력을 부여할 수 있으며, 이는 사실상 여러 사람의 세부 사항을 혼합하는 효과를 낸다.

완화 전략

환각 발생 빈도를 줄이는 것은 인공지능 안전의 주요 초점입니다. 엔지니어와 연구원들은 모델을 현실에 기반시키기 위해 여러 기법을 활용합니다:

• 검색 강화 생성(RAG): 이 방법은 LLM을 외부 신뢰할 수 있는 지식 기반(대개 벡터 데이터베이스로 색인화됨)에 연결합니다. 답변을 생성하기 전에 관련 문서를 검색함으로써 모델은 실제 데이터에 의해 제약을 받습니다.
• 사슬형 사고 유도: 이 프롬프트 엔지니어링 기법은 복잡한 추론을 중간 단계로 분해하여 모델이 "과정"을 보여주도록 유도함으로써 논리적 오류를 줄이는 경우가 많습니다.
• 인간 피드백 기반 강화 학습(RLHF): 미세 조정 단계에서 인간 평가자가 모델의 응답을 순위화합니다. 환각을 처벌하고 진실성을 보상함으로써 모델은 인간의 기대와 더 잘 부합하도록 학습합니다.

컴퓨터 비전으로 LLM 접지하기

다중 모달 AI 시스템에서 텍스트 생성은 시각적 데이터를 기반으로 할 수 있습니다. 대규모 언어 모델(LLM)이 장면을 묘사하도록 요청받으면 존재하지 않는 물체를 환각할 수 있습니다. YOLO26과 같은 고정밀 객체 탐지기를 통합함으로써 개발자는 LLM에 존재하는 객체의 사실적인 목록을 제공하여 출력을 검증된 탐지 결과로 엄격히 제한할 수 있습니다.

다음 Python 사용 방법을 보여줍니다. ultralytics 검증된 객체 목록을 추출하는 패키지로, 이는 언어 모델 프롬프트에 대한 사실적 제약 조건으로 활용될 수 있습니다.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

관련 개념 차별화

환각을 다른 일반적인 AI 오류와 구분하는 것이 중요합니다:

• AI의 편향성 대 환각: 편향성은 출력 결과에 나타나는 체계적인 편견(예: 특정 인구통계학적 집단에 대한 우대)을 의미하는 반면, 환각은 사실적 정확성의 실패를 가리킨다. 응답은 편향되지 않았으면서도 환각적일 수 있다(예: "달은 치즈로 만들어졌다").
• 과적합 대비: 과적합은 모델이 훈련 데이터를 지나치게 세세하게 암기하여 새로운 입력에 일반화하지 못할 때 발생합니다. 환각 현상은 종종 모델이 데이터가 부족한 영역까지 지나치게 일반화하려 할 때 발생합니다.
• 오분류 대비: 객체 탐지에서 자동차를 트럭으로 라벨링하는 것은 분류 오류(정확도 문제)이지 환각이 아니다. 환각은 허위 콘텐츠의 생성적 창작에 특화된 개념이다.

데이터 무결성을 유지하여 하류 오류 발생을 방지하고 데이터셋을 관리하며 모델을 훈련하려는 사용자를 위해 Ultralytics 주석 작업 및 데이터셋 관리를 위한 포괄적인 도구를 제공합니다. 또한 NIST AI 위험 관리 프레임워크의 지침은 실제 운영 환경에서 이러한 위험을 평가하고 완화하기 위한 기준을 제시합니다.