Hallucination (in LLMs)

В сфере искусственного интеллекта (ИИ) галлюцинация — это явление, при котором большая языковая модель (LLM) генерирует контент, который выглядит уверенным и синтаксически верным, но является фактической неточностью, бессмыслицей или не соответствует исходным данным. В отличие от обычных программных ошибок, которые могут привести к сбою или видимым неполадкам, галлюцинирующая модель ведет себя как убедительный выдумщик, преподнося ложную информацию с той же уверенностью, что и достоверные факты. Это создает серьезные проблемы для организаций, внедряющих генеративный ИИ в чувствительных областях, таких как медицина, юриспруденция и финансы, где целостность данных имеет решающее значение.

Link to this sectionПочему возникают галлюцинации?#

Чтобы понять, почему модели галлюцинируют, полезно посмотреть на то, как они устроены. LLM обычно базируются на архитектуре Transformer, которая работает как сложный механизм прогнозирования. Вместо обращения к структурированной базе данных проверенных фактов модель предсказывает следующий токен в последовательности на основе статистических вероятностей, полученных из обучающих данных.

Это поведение обусловлено несколькими факторами:

• Вероятностное угадывание: Модель отдает приоритет беглости и связности, а не фактической истине. Если определенная последовательность слов статистически вероятна — даже если она фактически неверна — модель может её сгенерировать. Эта концепция часто обсуждается в исследованиях, посвященных стохастическим попугаям, где модели имитируют языковые паттерны, не понимая смысла.
• Проблемы качества данных: Если массивный корпус текста, использованный для обучения, содержит противоречия, устаревшую информацию или вымысел, модель может воспроизвести эти неточности.
• Амнезия источников: LLM сжимают огромные объемы информации в веса модели. В этом процессе они часто теряют связь с конкретными источниками, что приводит к «конфабуляции», при которой различные понятия или события объединяются неверно.

Link to this sectionРеальные примеры галлюцинаций#

Галлюцинации могут проявляться по-разному: от безобидных творческих приукрашиваний до серьезных фактических ошибок:

• Юридический вымысел: Задокументированы случаи, когда юристы использовали ИИ для составления кратких изложений, и обнаруживали, что модель выдумала несуществующие судебные дела и цитаты для подтверждения аргумента.
• Генерация кода: Разработчики, использующие ИИ-помощников, могут столкнуться с «пакетными галлюцинациями», когда модель предлагает импортировать библиотеку или вызвать функцию, которой на самом деле не существует, просто потому что название соответствует стандартным правилам именования.
• Биографические ошибки: При вопросах о менее известных людях модели могут уверенно приписывать им неверные достижения, места рождения или истории карьеры, фактически смешивая детали из жизней нескольких человек.

Link to this sectionСтратегии минимизации#

Снижение частоты галлюцинаций является основной задачей безопасности ИИ. Инженеры и исследователи применяют несколько методов, чтобы приземлить модели к реальности:

• Retrieval-Augmented Generation (RAG): Этот метод подключает LLM к внешней доверенной базе знаний, часто индексируемой в векторной базе данных. Получая релевантные документы перед генерацией ответа, модель ограничивается реальными данными.
• Chain-of-Thought Prompting: Эта техника промпт-инжиниринга побуждает модель «показывать ход мыслей», разбивая сложные рассуждения на промежуточные шаги, что часто снижает логические ошибки.
• Обучение с подкреплением на основе отзывов людей (RLHF): На этапе дообучения оценщики-люди ранжируют ответы модели. Наказывая за галлюцинации и поощряя правдивость, модель учится лучше соответствовать ожиданиям человека.

Link to this sectionПриземление LLM с помощью компьютерного зрения#

В системах мультимодального ИИ генерация текста может быть подкреплена визуальными данными. Если попросить LLM описать сцену, она может нагаллюцинировать объекты, которых нет. Интегрируя высокоточный детектор объектов, такой как YOLO26, разработчики могут предоставить LLM фактический список присутствующих объектов, строго ограничивая её вывод проверенными детекциями.

Следующий пример на Python показывает, как использовать пакет ultralytics для извлечения проверенного списка объектов, который затем может служить фактическим ограничением для промпта языковой модели.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Link to this sectionРазграничение связанных понятий#

Важно отличать галлюцинации от других распространенных ошибок ИИ:

• Против предвзятости в ИИ: Предвзятость относится к систематическим искажениям в результатах (например, предпочтение одной демографической группы перед другой), тогда как галлюцинация — это провал в фактической точности. Ответ может быть непредвзятым, но галлюцинаторным (например, «Луна сделана из сыра»).
• Против переобучения: Переобучение происходит, когда модель слишком тесно запоминает обучающие данные и не может обобщать их на новые входные данные. Галлюцинации часто возникают, когда модель пытается обобщать слишком сильно в областях, где ей не хватает данных.
• Против неверной классификации: В детекции объектов маркировка автомобиля как грузовика — это ошибка классификации (проблема точности), а не галлюцинация. Галлюцинация специфична для генеративного создания ложного контента.

For those looking to manage datasets and train models with high data integrity to prevent downstream errors, the Ultralytics Platform offers comprehensive tools for annotation and dataset management. Furthermore, guidance from the NIST AI Risk Management Framework provides standards for evaluating and mitigating these risks in production environments.