환각(LLM에서)

대규모 언어 모델(LLM) 환경에서 환각은 모델이 자신감 있고 그럴듯하게 들리지만 사실과 다르거나, 무의미하거나, 제공된 소스 데이터에 근거하지 않은 텍스트를 생성하는 현상을 의미합니다. 고급 텍스트 생성을 위해 설계된 이러한 모델은 때때로 사실, 출처 또는 세부 정보를 날조하여 마치 사실인 것처럼 제시할 수 있습니다. 이는 LLM의 주요 목표가 정보의 진실성을 확인하는 것이 아니라 일관성 있는 문장을 형성하기 위해 시퀀스에서 다음 단어를 예측하는 것이기 때문에 발생합니다. 환각을 이해하고 완화하는 것은 생성형 AI를 더욱 안정적으로 만드는 데 있어 중요한 과제입니다.

LLM은 왜 환각을 경험하는가?

Hallucination은 의도적인 기만이 아니라 LLM이 구축되고 훈련되는 방식의 부산물입니다. 주요 원인은 다음과 같습니다.

• 학습 데이터 불완전성: GPT-3 및 GPT-4와 같은 모델은 인터넷의 방대한 텍스트 볼륨에서 학습하며, 여기에는 필연적으로 오류, 오래된 정보 및 알고리즘 편향이 포함됩니다. 모델은 진실에 대한 고유한 이해 없이 학습 데이터에서 이러한 패턴을 학습합니다.
• 아키텍처 설계: 기본 Transformer 아키텍처는 사실적 기억이나 논리적 추론이 아닌 패턴 매칭 및 언어 모델링에 최적화되어 있습니다. 이로 인해 일부 연구자들이 "확률적 앵무새"라고 부르는, 의미를 이해하지 못하고 언어를 흉내낼 수 있는 개체가 될 수 있습니다.
• 추론 시간 모호성: 생성 중에 모델이 다음에 가장 적합한 토큰에 대해 확신이 없으면 그럴듯하지만 조작된 정보로 "간극을 메울" 수 있습니다. 온도와 같은 추론 매개변수를 조정하면 이 문제를 줄일 수 있지만 여전히 핵심 과제로 남아 있습니다. 기술 개요는 arXiv의 LLM 환각에 대한 설문 조사를 참조하십시오.

환각의 실제 예시

• 법률 연구: 사건 연구를 위해 AI 도우미를 사용하는 변호사가 법적 선례를 찾도록 요청했습니다. 챗봇은 사건 이름과 법적 분석을 포함하여 완전히 조작된 여러 법원 사건을 인용했는데, 이는 그럴듯하지만 존재하지 않았습니다. 이 실제 사건은 강력한 사실 확인 없이 LLM을 위험도가 높은 분야에 배포할 때의 심각한 위험을 강조했습니다.
• 제품 추천: 사용자가 챗봇에 "내장형 태양광 패널이 있는 최고의 하이킹 배낭"을 요청합니다. LLM은 특정 모델을 자신 있게 추천하고 해당 기능에 대해 자세히 설명할 수 있지만, 해당 특정 제품 또는 기능 조합이 존재하지 않더라도 마찬가지입니다. 이 모델은 학습 데이터의 개념을 결합하여 그럴듯하지만 가상의 제품을 만듭니다.

환각(Hallucination) 감소 방법

연구자 및 개발자는 여러 가지 완화 전략을 적극적으로 연구하고 있습니다.

• 검색 증강 생성(RAG): 이 기술은 LLM에 답변을 생성하기 전에 외부의 신뢰할 수 있는 지식 베이스(벡터 데이터베이스와 같은)에서 정보를 검색하는 기능을 제공합니다. 모델을 검증 가능한 사실에 기반함으로써 RAG는 허위 정보를 크게 줄입니다. IBM Research에서 RAG 작동 방식에 대해 자세히 알아볼 수 있습니다.
• 더 나은 프롬프트 기법: Chain-of-Thought 프롬프트와 같은 방법은 모델이 추론을 단계별로 나누도록 장려하여 보다 정확한 결과를 얻을 수 있습니다. Chain-of-Thought에 대한 원래 연구 논문은 그 효과를 보여줍니다.
• 인간 피드백을 통한 강화 학습(RLHF): 모델은 인간 검토자가 다양한 모델 응답을 평가하는 RLHF를 사용하여 개선됩니다. 이 피드백은 모델이 진실하고 유용한 답변을 선호하도록 훈련하며, 이 과정은 OpenAI 및 Anthropic과 같은 조직에서 자세히 설명합니다.
• Fact-Checking and Verification Layers: LLM이 사용자에게 출력을 제공하기 전에 신뢰할 수 있는 소스를 통해 LLM이 주장하는 내용을 교차 검사하는 별도의 프로세스를 구현합니다. 이는 책임감 있는 AI 개발 계층을 추가합니다.
• High-Quality Datasets and Fine-Tuning: 훈련에 사용되는 데이터의 품질을 지속적으로 개선하고 특정 고품질 데이터 세트에서 미세 조정을 수행하면 기반 모델을 사실적 정확도에 맞추는 데 도움이 될 수 있습니다.

Hallucination과 다른 AI 오류 비교

• AI의 편향: AI의 편향은 모델의 출력이 특정 그룹에 불공정하게 유리하게 작용하는 체계적인 오류를 의미하며, 이는 일반적으로 사회적 또는 데이터 세트 편향을 반영합니다. 환각은 사실적 부정확성과 관련된 문제이며, 반드시 편견을 의미하지는 않습니다. 두 가지 모두 AI 윤리에서 심각하게 고려해야 할 문제입니다.
• 컴퓨터 비전 오류: 환각(hallucination)이라는 개념은 주로 자연어 처리(NLP)와 관련이 있습니다. 컴퓨터 비전(CV)에서 오류는 일반적으로 Ultralytics YOLO와 같은 모델이 객체 탐지에서 실수(예: 고양이를 개로 잘못 분류)하거나 객체를 탐지하지 못하는 것을 의미하며, 이는 모델의 정확도와 관련됩니다. 이는 정보의 창작이 아닌 인식의 오류입니다. 그러나 시각과 언어를 결합한 멀티모달 모델이 더욱 보편화됨에 따라 이미지에 대한 부정확한 설명을 '환각'할 수도 있습니다. 두 유형의 모델 관리는 Ultralytics HUB와 같은 플랫폼에서 간소화할 수 있습니다.