Hallucination (in LLMs)

В сфере искусственного интеллекта (AI) галлюцинация — это явление, при котором большая языковая модель (LLM) генерирует контент, который звучит уверенно и грамматически корректно, но фактически недостоверен, бессмысленен или не соответствует исходным данным. В отличие от стандартных программных ошибок, которые могут привести к сбою или заметному дефекту, галлюцинирующая модель ведёт себя как убедительный выдумщик, представляя ложную информацию с той же уверенностью, что и достоверные факты. Это создаёт значительные трудности для организаций, внедряющих генеративный ИИ в таких чувствительных областях, как здравоохранение, право и финансы, где целостность данных имеет первостепенное значение.

Почему возникают галлюцинации?#

Чтобы понять, почему модели галлюцинируют, полезно рассмотреть, как они устроены. LLM обычно основаны на архитектуре Transformer, которая работает как сложный механизм прогнозирования. Вместо обращения к структурированной базе проверенных фактов модель предсказывает следующий токен в последовательности на основе статистических вероятностей, выведенных из её обучающих данных.

Такое поведение обусловлено несколькими факторами:

• Вероятностное угадывание: Модель отдаёт приоритет беглости и связности речи, а не фактической достоверности. Если определённая последовательность слов статистически вероятна — даже если она фактически неверна, — модель может её сгенерировать. Эта концепция часто обсуждается в исследованиях, посвящённых стохастическим попугаям, когда модели имитируют языковые шаблоны, не понимая их смысла.
• Проблемы качества данных: Если огромный корпус текстов, использованный для обучения, содержит противоречия, устаревшую информацию или вымысел, модель может воспроизводить эти неточности.
• Забывание источников: LLM сжимают огромные объёмы информации в весах модели. В процессе этого они часто теряют связь с конкретными источниками, что приводит к «конфабуляции», когда отдельные понятия или события неправильно объединяются.

Реальные примеры галлюцинаций#

Галлюцинации могут проявляться по-разному — от безобидных творческих приукрашиваний до серьёзных фактических ошибок:

• Юридические выдумки: Известны случаи, когда юристы использовали ИИ для подготовки судебных документов, но обнаруживали, что модель выдумала несуществующие судебные дела и ссылки на источники в поддержку аргумента.
• Генерация кода: Разработчики, использующие помощников на базе ИИ, могут столкнуться с «галлюцинациями пакетов», когда модель предлагает импортировать библиотеку или вызвать функцию, которых на самом деле не существует, просто потому, что их названия соответствуют стандартным соглашениям об именовании.
• Биографические ошибки: Если спросить о малоизвестных людях, модели могут уверенно приписать им неверные достижения, места рождения или сведения о карьере, фактически смешав детали биографий нескольких людей.

Стратегии снижения предвзятости#

Снижение частоты галлюцинаций — одна из главных задач безопасности ИИ. Инженеры и исследователи применяют несколько методов, чтобы привязать модели к реальности:

• Генерация с дополнением извлечёнными данными (RAG): Этот метод подключает LLM к внешней доверенной базе знаний, часто проиндексированной в векторной базе данных. Извлекая релевантные документы перед формированием ответа, модель ограничивается фактическими данными.
• Подсказки с пошаговым рассуждением: Этот метод проектирования промптов побуждает модель «показывать ход работы», разбивая сложное рассуждение на промежуточные шаги, что часто снижает количество логических ошибок.
• Обучение с подкреплением на основе обратной связи от людей (RLHF): На этапе дообучения люди-оценщики ранжируют ответы модели. Наказывая модель за галлюцинации и поощряя правдивость, можно научить её лучше соответствовать ожиданиям людей.

Привязка LLM к компьютерному зрению#

В системах мультимодального ИИ генерацию текста можно основывать на визуальных данных. Если попросить LLM описать сцену, она может «увидеть» объекты, которых там нет. Интегрируя высокоточный детектор объектов, такой как YOLO26, разработчики могут передать LLM фактический список присутствующих объектов и жёстко ограничить её вывод проверенными обнаружениями.

В следующем примере на Python показано, как использовать пакет ultralytics для извлечения проверенного списка объектов, который затем может служить фактическим ограничением для промпта языковой модели.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Различия между связанными понятиями#

Важно отличать галлюцинации от других распространённых ошибок ИИ:

• В отличие от предвзятости в ИИ: Предвзятость — это систематическое искажение результатов (например, предпочтение одной демографической группы другой), тогда как галлюцинация — это нарушение фактической достоверности. Ответ может быть непредвзятым, но при этом галлюцинационным (например: «Луна сделана из сыра»).
• В отличие от переобучения: Переобучение возникает, когда модель слишком точно запоминает обучающие данные и не может обобщать информацию на новые входные данные. Галлюцинации часто возникают, когда модель пытается слишком сильно обобщить информацию в областях, где ей не хватает данных.
• В отличие от ошибочной классификации: В обнаружении объектов маркировка автомобиля как грузовика — это ошибка классификации (проблема точности), а не галлюцинация. Галлюцинация характерна именно для генеративного создания ложного контента.

Если ты хочешь управлять наборами данных и обучать модели с высокой целостностью данных, чтобы предотвращать последующие ошибки, платформа Ultralytics предлагает комплексные инструменты для аннотирования и управления наборами данных. Кроме того, рекомендации из структуры управления рисками ИИ NIST содержат стандарты для оценки этих рисков и их снижения в производственных средах.