환각(LLM에서)

대규모 언어 모델(LLM)의 맥락에서 환각은 모델이 자신 있고 그럴듯하게 들리지만 사실과 다르거나 무의미하거나 제공된 소스 데이터에 근거하지 않은 텍스트를 생성하는 현상을 말합니다. 고급 텍스트 생성을 위해 설계된 이러한 모델은 사실, 출처 또는 세부 사항을 사실인 것처럼 꾸며낼 수 있습니다. 이는 LLM의 주요 목적이 생성된 정보의 진실성을 검증하는 것이 아니라 일관된 문장을 형성하기 위해 시퀀스에서 다음 단어를 예측하는 것이기 때문에 발생합니다. 환각을 이해하고 완화하는 것은 생성 AI의 신뢰성을 높이기 위한 핵심 과제입니다.

LLM이 환각을 일으키는 이유는 무엇인가요?

환각은 의도적인 속임수가 아니라 LLM이 구축되고 훈련되는 과정에서 발생하는 부산물입니다. 주요 원인은 다음과 같습니다:

• 학습 데이터의 불완전성: GPT-3 및 GPT-4와 같은 모델은 인터넷의 방대한 양의 텍스트로부터 학습하는데, 여기에는 오류, 오래된 정보 및 알고리즘 편향이 포함될 수밖에 없습니다. 이 모델은 진실에 대한 본질적인 이해 없이 학습 데이터에서 이러한 패턴을 학습합니다.
• 아키텍처 설계: 기본 트랜스포머 아키텍처는 사실 기억이나 논리적 추론이 아닌 패턴 매칭과 언어 모델링에 최적화되어 있습니다. 이로 인해 일부 연구자들은'확률적 앵무새'라고 부르는, 언어의 의미를 이해하지 못한 채 언어를 모방할 수 있는 개체를 만들 수 있습니다.
• 추론-시간 모호성: 생성 과정에서 모델이 차선책에 대해 불확실한 경우, 그럴듯하지만 조작된 정보로 '공백을 메울' 수 있습니다. 온도와 같은 추론 매개변수를 조정하면 이러한 문제를 줄일 수 있지만, 여전히 핵심 과제로 남아 있습니다. 기술적인 개요는 arXiv의 LLM 환각에 관한 설문조사를 참조하세요.

환각의 실제 사례

• 법률 연구: 한 변호사가 판례 연구를 위해 AI 어시스턴트를 사용하는 챗봇에게 법적 판례를 찾아달라고 요청했습니다. 챗봇은 그럴듯하지만 존재하지 않는 판례 이름과 법적 분석을 포함하여 완전히 조작된 여러 판례를 인용했습니다. 이 실제 사건은 철저한 사실 확인 없이 인공지능 챗봇을 고위험 분야에 배치할 경우 얼마나 심각한 위험이 따르는지를 잘 보여줍니다.
• 제품 추천: 사용자가 챗봇에게 "태양열 패널이 내장된 최고의 하이킹 배낭"을 추천해 달라고 요청합니다. LLM은 특정 제품이나 기능 조합이 존재하지 않더라도 그 특징을 자세히 설명하면서 특정 모델을 자신 있게 추천할 수 있습니다. 이 모델은 학습 데이터의 개념을 결합하여 그럴듯하지만 가상의 제품을 만들어냅니다.

환각을 줄이는 방법

연구자와 개발자들은 몇 가지 완화 전략을 적극적으로 연구하고 있습니다:

• 검색 증강 생성(RAG): 이 기술은 LLM이 답변을 생성하기 전에 외부의 권위 있는 지식 기반(예: 벡터 데이터베이스)에서 정보를 검색할 수 있는 기능을 갖추게 해줍니다. RAG는 모델을 검증 가능한 사실에 근거함으로써 조작을 크게 줄여줍니다. RAG의 작동 방식에 대한 자세한 내용은 IBM Research에서 확인할 수 있습니다.
• 더 나은 프롬프트 기법: 연쇄적 사고 프롬프트와 같은 방법은 모델이 추론을 단계별로 세분화하도록 유도하여 보다 정확한 결과를 도출할 수 있도록 합니다. 연쇄적 사고에 대한 원본 연구 논문에서 그 효과를 확인할 수 있습니다.
• 인간 피드백을 통한 강화 학습(RLHF): 인간 리뷰어가 다양한 모델 응답을 평가하는 RLHF를 사용하여 모델을 개선합니다. 이 피드백은 모델이 진실하고 유용한 답변을 선호하도록 훈련시키는데, 이 과정은 OpenAI 및 Anthropic과 같은 조직에서 자세히 설명합니다.
• 사실 확인 및 검증 계층: 사용자에게 결과를 제시하기 전에 신뢰할 수 있는 출처에 대해 LLM의 주장을 교차 확인하는 별도의 프로세스를 구현합니다. 이를 통해 책임감 있는 AI 개발의 한 층이 추가됩니다.
• 고품질 데이터 세트 및 미세 조정: 학습에 사용되는 데이터의 품질을 지속적으로 개선하고 특정 고품질 데이터 세트에 대한 미세 조정을 수행하면 기초 모델을 실제 정확도에 맞추는 데 도움이 될 수 있습니다.

환각 대 기타 AI 오류

• 인공지능의 편향성: 인공지능의 편 향성은 모델의 결과가 특정 집단에 부당하게 유리하게 나타나는 체계적인 오류를 말하며, 일반적으로 사회적 또는 데이터 세트 편향성을 반영합니다. 편향은 편견이 아닌 사실적 부정확성에 관한 것입니다. 두 가지 모두 AI 윤리에서 심각한 문제입니다.
• 컴퓨터 비전 오류: 환각의 개념은 주로 자연어 처리(NLP)와 관련이 있습니다. 컴퓨터 비전(CV)에서 오류란 일반적으로 Ultralytics YOLO와 같은 모델이 객체 감지 (예: 고양이를 개로 잘못 분류)에서 실수를 하거나 객체를 감지하지 못하는 것을 의미하며, 이는 정확도와 관련이 있습니다. 이는 정보의 발명이 아니라 인식의 오류입니다. 그러나 시각과 언어를 결합하는 다중 모드 모델이 보편화되면서 이미지에 대한 잘못된 설명을 '착각'할 수도 있습니다. 두 가지 유형의 모델을 모두 관리하는 것은 Ultralytics HUB와 같은 플랫폼에서 간소화할 수 있습니다.