Hallucination (in LLMs)

인공지능(AI) 분야에서 할루시네이션(환각)은 대규모 언어 모델(LLM)이 자신감 있고 구문상으로는 올바르지만 사실과 다르거나, 터무니없거나, 원본 입력에 충실하지 않은 콘텐츠를 생성하는 현상을 말합니다. 크래시나 눈에 띄는 글리치를 발생시키는 표준 소프트웨어 오류와 달리, 할루시네이션을 일으키는 모델은 설득력 있는 위조자처럼 행동하며 유효한 사실과 동일한 권위를 가지고 허위 정보를 제시합니다. 이는 데이터 무결성이 가장 중요한 의료, 법률, 금융과 같은 민감한 분야에 생성형 AI를 배포하는 조직에 상당한 과제를 제기합니다.

환각 현상은 왜 발생하는가?#

모델이 할루시네이션을 일으키는 이유를 이해하려면 모델의 구축 방식을 살펴보는 것이 도움이 됩니다. LLM은 일반적으로 정교한 예측 엔진으로 기능하는 Transformer 아키텍처를 기반으로 합니다. 검증된 사실의 구조화된 데이터베이스를 쿼리하는 대신, 모델은 학습 데이터에서 파생된 통계적 확률을 기반으로 시퀀스의 다음 토큰을 예측합니다.

이러한 행동을 유발하는 몇 가지 요인은 다음과 같습니다:

• 확률적 추측: 모델은 사실적 진실보다 유창성과 일관성에 우선순위를 둡니다. 특정 단어 시퀀스가 통계적으로 가능성 있는 경우(사실이 아니더라도), 모델은 이를 생성할 수 있습니다. 이 개념은 모델이 의미를 이해하지 못한 채 언어 패턴을 모방하는 확률적 앵무새와 관련된 연구에서 자주 논의됩니다.
• 데이터 품질 문제: 학습에 사용된 방대한 텍스트 말뭉치에 모순, 구식 정보 또는 허구가 포함되어 있다면 모델이 이러한 부정확성을 재현할 수 있습니다.
• 출처 기억상실: LLM은 방대한 양의 정보를 모델 가중치로 압축합니다. 이 과정에서 특정 출처와의 연결고리가 끊어지는 경우가 많으며, 이로 인해 서로 다른 개념이나 이벤트가 잘못 병합되는 "작화증(Confabulation)"으로 이어집니다.

환각 현상의 실제 사례#

환각 현상은 무해한 창의적 꾸며내기부터 심각한 사실 오류에 이르기까지 다양한 방식으로 나타날 수 있습니다:

• 법적 조작: 법률 전문가가 브리프를 작성하기 위해 AI를 사용했다가 모델이 주장을 뒷받침하기 위해 존재하지 않는 판례와 인용을 발명해 낸 것을 발견한 문서화된 사례가 있습니다.
• 코드 생성: AI 어시스턴트를 사용하는 개발자는 모델이 표준 명명 규칙을 따른다는 이유만으로 실제로는 존재하지 않는 소프트웨어 라이브러리를 가져오거나 존재하지 않는 함수를 호출하라고 제안하는 "패키지 환각"을 경험할 수 있습니다.
• 전기적 오류: 덜 유명한 인물에 대해 질문하면 모델은 그들의 업적, 출생지 또는 경력 기록을 자신 있게 잘못 귀속시키거나, 여러 사람의 정보를 뒤섞어 생성할 수 있습니다.

완화 전략#

할루시네이션의 빈도를 줄이는 것은 AI 안전성의 주요 초점입니다. 엔지니어와 연구자들은 모델을 현실에 기반시키기 위해 여러 가지 기법을 사용합니다.

• 검색증강 생성(RAG): 이 방법은 LLM을 벡터 데이터베이스에 인덱싱된 외부의 신뢰할 수 있는 지식베이스에 연결합니다. 답변을 생성하기 전에 관련 문서를 검색함으로써 모델은 실제 데이터로 제한됩니다.
• 생각의 사슬 프롬프팅: 이 프롬프트 엔지니어링 기법은 복잡한 추론을 중간 단계로 나누어 모델이 "작업 과정을 보여주도록" 장려하며, 이는 종종 논리 오류를 줄여줍니다.
• 인간 피드백 기반 강화학습(RLHF): 미세 조정 단계에서 인간 평가자가 모델의 응답 순위를 매깁니다. 환각에 페널티를 주고 진실성에 보상을 함으로써, 모델은 인간의 기대치에 더 잘 부합하도록 학습합니다.

컴퓨터 비전을 활용한 LLM의 근거 마련#

외래 멀티모달 AI 시스템에서는 시각적 데이터를 사용하여 텍스트 생성을 기반화할 수 있습니다. LLM이 장면에 대해 설명하도록 요청받았을 때 존재하지 않는 객체를 환각해 낼 수 있습니다. YOLO26과 같은 고정밀 객체 검출기를 통합함으로써 개발자는 현재 존재하는 객체의 사실적인 목록을 LLM에 제공하여 출력을 검증된 검출로 엄격하게 제한할 수 있습니다.

다음 Python 예제는 ultralytics 패키지를 사용하여 검증된 객체 목록을 추출하는 방법을 보여주며, 이는 언어 모델 프롬프트의 사실적 제약 조건 역할을 할 수 있습니다.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

관련 개념 구별하기#

환각 현상을 다른 일반적인 AI 오류와 구별하는 것은 중요합니다:

• AI의 편견 대: 편견은 출력에서의 체계적인 편견(예: 한 인구통계학적 그룹을 다른 그룹보다 선호하는 것)을 의미하는 반면, 할루시네이션은 사실적 정확성의 실패입니다. 응답은 편견이 없으면서도 할루시네이션을 포함할 수 있습니다(예: "달은 치즈로 만들어졌다").
• 과적합 대: 과적합은 모델이 학습 데이터를 너무 가깝게 기억하여 새로운 입력에 일반화하지 못할 때 발생합니다. 할루시네이션은 모델이 데이터가 부족한 영역으로 너무 많이 일반화하려고 할 때 자주 발생합니다.
• 오분류 대: 객체 검출에서 자동차를 트럭으로 라벨링하는 것은 분류 오류(정확성 문제)이며 할루시네이션이 아닙니다. 할루시네이션은 허위 콘텐츠의 생성적 생성에 특유합니다.

다운스트림 오류를 방지하기 위해 높은 데이터 무결성으로 데이터셋을 관리하고 모델을 학습시키고자 하는 분들을 위해 Ultralytics 플랫폼은 주석 및 데이터셋 관리를 위한 종합적인 도구를 제공합니다. 또한 NIST AI 위험 관리 프레임워크의 지침은 프로덕션 환경에서 이러한 위험을 평가하고 완화하기 위한 표준을 제공합니다.