Hallucination (in LLMs)

В сфере Artificial Intelligence (AI) галлюцинация означает явление, при котором Large Language Model (LLM) генерирует контент, который звучит уверенно и синтаксически корректно, но является фактически неточным, бессмысленным или не соответствующим исходным данным. В отличие от стандартных программных ошибок, которые могут приводить к сбою или видимому сбою, галлюцинирующая модель ведет себя как убедительный выдумщик, преподнося ложную информацию с такой же уверенностью, как и достоверные факты. Это создает серьезные проблемы для организаций, внедряющих Generative AI в таких чувствительных областях, как здравоохранение, юриспруденция и финансы, где целостность данных имеет первостепенное значение.

Почему возникают галлюцинации?#

Чтобы понять, почему модели галлюцинируют, полезно посмотреть на то, как они устроены. LLMs обычно основаны на архитектуре Transformer, которая работает как сложный движок предсказаний. Вместо запросов к структурированной базе данных проверенных фактов модель предсказывает следующий token в последовательности на основе статистических вероятностей, полученных из ее training data.

Это поведение обусловлено несколькими факторами:

• Вероятностное угадывание: Модель ставит на первое место плавность и связность, а не фактическую правду. Если определенная последовательность слов статистически вероятна — даже если она фактически неверна — модель может ее сгенерировать. Эта концепция часто обсуждается в исследованиях, касающихся stochastic parrots, где модели имитируют языковые паттерны без понимания смысла.
• Проблемы качества данных: Если массивный корпус текста, использованный для обучения, содержит противоречия, устаревшую информацию или вымысел, модель может воспроизвести эти неточности.
• Амнезия источников: LLMs сжимают огромные объемы информации в model weights. В этом процессе они часто теряют связь с конкретными источниками, что приводит к «конфабуляции», при которой различные концепции или события объединяются некорректно.

Реальные примеры галлюцинаций#

Галлюцинации могут проявляться по-разному: от безобидных творческих приукрашиваний до серьезных фактических ошибок:

• Юридическая выдумка: Зафиксированы случаи, когда специалисты в области права использовали ИИ для составления кратких справок, а затем обнаруживали, что модель выдумала non-existent court cases и цитаты в поддержку аргумента.
• Генерация кода: Разработчики, использующие ИИ-помощников, могут столкнуться с «пакетными галлюцинациями», когда модель предлагает импортировать библиотеку или вызвать функцию, которой на самом деле не существует, просто потому что название соответствует стандартным правилам именования.
• Биографические ошибки: При вопросах о менее известных людях модели могут уверенно приписывать им неверные достижения, места рождения или истории карьеры, фактически смешивая детали из жизней нескольких человек.

Стратегии минимизации#

Снижение частоты галлюцинаций является ключевым фокусом в AI Safety. Инженеры и исследователи используют несколько методов, чтобы привязать модели к реальности:

• Генерация с дополненным поиском (RAG): Этот метод связывает LLM с внешней, надежной базой знаний, часто индексируемой в vector database. Извлекая релевантные документы перед генерацией ответа, модель ограничивается реальными данными.
• Промптинг с цепочкой рассуждений (Chain-of-Thought): Эта техника prompt engineering поощряет модель «показывать свою работу», разбивая сложные рассуждения на промежуточные шаги, что часто снижает количество логических ошибок.
• Обучение с подкреплением на основе отзывов людей (RLHF): На этапе дообучения оценщики-люди ранжируют ответы модели. Наказывая за галлюцинации и поощряя правдивость, модель учится лучше соответствовать ожиданиям человека.

Приземление LLM с помощью компьютерного зрения#

В системах Multimodal AI генерация текста может основываться на визуальных данных. Если у LLM попросить описать сцену, она может сгаллюцинировать объекты, которых там нет. Интегрируя высокоточный детектор объектов, такой как YOLO26, разработчики могут предоставить LLM фактический список присутствующих объектов, строго ограничивая ее вывод проверенными обнаружениями.

Следующий пример на Python показывает, как использовать пакет ultralytics для извлечения проверенного списка объектов, который затем может служить фактическим ограничением для промпта языковой модели.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Разграничение связанных понятий#

Важно отличать галлюцинации от других распространенных ошибок ИИ:

• По сравнению с Bias in AI: Предвзятость относится к систематической предвзятости в результатах (например, предпочтение одной демографической группы другой), в то время как галлюцинация — это сбой фактической точности. Ответ может быть непредвзятым, но содержать галлюцинацию (например, «Луна сделана из сыра»).
• По сравнению с Overfitting: Переобучение происходит, когда модель слишком близко запоминает обучающие данные и не может обобщать их на новые входы. Галлюцинации часто происходят, когда модель пытается обобщить слишком сильно в областях, где ей не хватает данных.
• По сравнению с неверной классификацией: В object detection обозначение машины как грузовика является ошибкой классификации (проблемой точности), а не галлюцинацией. Галлюцинация специфична для генеративного создания ложного контента.

Для тех, кто стремится управлять датасетами и обучать модели с высокой целостностью данных для предотвращения ошибок на последующих этапах, Ultralytics Platform предлагает комплексные инструменты для аннотирования и управления датасетами. Кроме того, рекомендации из NIST AI Risk Management Framework предоставляют стандарты для оценки и снижения этих рисков в производственных средах.