환각(LLM에서)

의 맥락에서 대규모 언어 모델(LLM)에서 환각은 생성 모델이 자신감 있고 구문론적으로 유창하지만 사실적으로 부정확하거나, 무의미하거나, 소스 자료에 충실하지 않은 콘텐츠를 생성할 때 발생합니다. 표준 데이터베이스 검색 오류와는 다릅니다, 환각 생성 AI 의 환각은 그럴듯하게 들리는 경우가 많기 때문에 사용자가 직접 검증하지 않으면 detect 어렵습니다. 이러한 현상은 은 이러한 모델의 기본 설계에서 비롯된 것으로, 다음 사항을 우선시합니다. 텍스트 생성 텍스트 생성을 우선시하는 통계적 확률에 기반한 텍스트 생성을 우선시하는 기본 설계에서 비롯됩니다. 환각을 이해하는 것은 안전한 AI 시스템을 구축하는 데 있어 매우 중요합니다. 시스템을 구축하려면 환각을 이해하는 것이 중요합니다. 특히 의료, 금융, 법률 서비스와 같은 고위험 산업에서는 더욱 그렇습니다.

LLM이 환각에 빠지는 이유

환각의 주요 원인은 다음과 같습니다. 트랜스포머 아키텍처와 기초 모델을 구축하는 데 사용되는 훈련 목표에 있습니다. 이러한 시스템은 다음을 예측하도록 훈련됩니다. 토큰 패턴을 기반으로 다음 토큰을 방대한 양의 트레이닝 데이터. "사실" 또는 "허구"라는 고유한 개념을 가지고 있는 것이 아니라, 단어가 함께 나타날 단어가 함께 나타날 가능성을 모델링합니다.

이 동작에는 여러 가지 요인이 있습니다:

• 데이터 제한: 훈련 말뭉치에 상충되거나 오래되었거나 잘못된 정보가 포함되어 있는 경우, 모델이 이러한 오류를 재현할 수 있습니다. 이는 종종 다음과 관련된 연구에서 논의됩니다. 확률적 앵무새에 관한 연구에서 종종 논의되는데, 이는 모델이 의미를 이해하지 못한 채 언어 형태를 모방하는 경우입니다.
• 압축 아티팩트: LLM은 인터넷에 대한 지식을 고정된 매개변수 집합으로 압축합니다. 이 압축 과정에서 뉘앙스가 손실되어 서로 다른 개념이 혼재될 수 있습니다.
• 추론 모호성: 모델이 자신의 지식 분포를 벗어난 프롬프트에 직면하면 기본적으로 무지를 인정하는 대신 통계적으로 가장 가능성이 높은 응답을 생성할 수 있는데, 이를 흔히 '컨패뷸레이션'이라고 합니다. "모호성"

환각의 실제 예시

환각은 미묘한 부정확성부터 완전한 조작에 이르기까지 다양한 형태로 나타날 수 있습니다:

• 법적 사건 조작: 널리 알려진 사건에서 한 법률 전문가가 LLM을 사용하여 판례 연구를 수행했습니다. 이 모델은 여러 판례를 인용한 법률 개요를 작성했습니다. 존재하지 않는 법원 판례 가상의 인용문과 판례 의견을 첨부하여 법률 보고서를 작성하여 제재를 초래했습니다.
• 코딩 라이브러리 발명: AI 코딩 어시스턴트를 사용하는 개발자는 때때로 실제로 존재하지 않는 소프트웨어 라이브러리 또는 API 메서드에 대해 실제로 존재하지 않는 소프트웨어 라이브러리 또는 API 메서드에 대한 권장 사항을 접하게 됩니다. 이 모델은 그럴듯한 함수 이름을 제시합니다. (예 ultralytics.detect_everything())의 이름을 표준 명명 규칙에 따라 지정합니다. 훈련 데이터에서 본 표준 이름 지정 규칙을 기반으로 합니다.

완화 전략

환각 감소는 다음과 같은 주요 초점입니다. AI 안전 연구의 초점입니다. 현재 몇 가지 기술 이 현재 현실의 모델에 적용되고 있습니다:

• 검색 증강 생성(RAG): 이 방법은 LLM을 신뢰할 수 있는 외부 지식 기반(예: 벡터 데이터베이스. 이 모델은 내부 메모리에만 의존하는 대신 답변을 생성하기 전에 관련 문서를 검색합니다. 자세한 내용은 RAG가 정확도를 향상시키는 방법 정확도를 향상시키는 방법에 대해 자세히 알아보세요.
• 프롬프트 엔지니어링: 다음과 같은 기술 생각의 연쇄 프롬프트 은 모델이 단계별로 추론을 설명하도록 유도하여 논리적 오류를 줄이고 사실적 일관성을 개선하는 것으로 나타났습니다. 사실의 일관성을 향상시키는 것으로 나타났습니다.
• 인간 피드백을 통한 강화 학습(RLHF): 개발자가 사용하는 인간 피드백을 통한 강화 학습(RLHF) 를 사용하여 미세 조정 단계에서 환각에 대해 모델에 불이익을 주고, 그 결과를 사람의 선호도에 맞게 조정합니다. 에 맞게 조정합니다.
• 다중 모드 접지: 시각 언어 작업에서는 구조화된 데이터에 대한 텍스트 출력을 구조화된 데이터와 비교하여 컴퓨터 비전(CV) 모델의 구조화된 데이터와 비교하여 텍스트 출력을 검증하면 환각을 줄일 수 있습니다.

컴퓨터 비전으로 LLM 접지하기

멀티모달 워크플로우에서 환각을 완화하는 효과적인 방법 중 하나는 정확도가 높은 객체 감지 모델을 사용하여 이미지의 물리적 내용을 LLM이 설명하기 전에 검증하는 것입니다. 검증된 오브젝트 목록을 LLM의 컨텍스트에 제공함으로써 컨텍스트에 공급함으로써 존재하지 않는 요소를 생성하는 것을 방지할 수 있습니다.

다음 예는 사용 방법을 보여줍니다. Ultralytics YOLO11 을 사용하여 객체의 실측 데이터 목록을 생성하는 방법을 보여줍니다. 이 목록은 생성 모델에 대한 사실적 제약 조건으로 사용될 수 있습니다.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

환각과 다른 용어

환각을 다른 유형의 AI 오류와 구별하는 것이 중요합니다:

• 대 편견: AI의 편향성 는 출력의 체계적 편견(예: 고정관념)을 의미하며, 환각은 사실에 근거하지 않은 부정확성을 의미합니다. 진술은 편견이 없으나 환각이 있거나 사실이지만 편견이 있을 수 있습니다.
• 대 정확도 오류: 분류 작업에서 잘못된 예측(예: 개를 고양이로 분류하는 것)은 다음과 같습니다. 환각이 아닌 정확도 오류입니다. 환각은 생성적 새로운 콘텐츠를 만드는 콘텐츠를 생성하는 과정과 관련이 있습니다.
• 과잉 적합성: 동안 과적합 은 학습 데이터를 학습 데이터를 너무 가깝게 암기하는 반면, 모델이 학습 데이터를 넘어 일반화하려고 할 때 종종 환각이 발생합니다. 일반화하려다가 실패할 때 종종 발생합니다.

생성 모델 평가에 대한 자세한 내용은 다음을 참조하세요. NIST AI 위험 관리 프레임워크 을 살펴보면 신뢰성 및 안전 표준에 대한 포괄적인 내용을 확인할 수 있습니다. 또한 연구자들은 계속해서 사실 확인 알고리즘 을 지속적으로 개발하여 환각적인 콘텐츠를 실시간으로 자동으로 detect 플래그를 지정하고 있습니다.