Галлюцинации (в LLM)

В контексте больших языковых моделей (LLM) галлюцинация относится к явлению, когда модель генерирует текст, который звучит уверенно и правдоподобно, но является фактически неверным, бессмысленным или не основанным на предоставленных исходных данных. Эти модели, предназначенные для продвинутой генерации текста, могут иногда выдумывать факты, источники или детали, представляя их так, как если бы они были правдой. Это происходит потому, что основной целью LLM является прогнозирование следующего слова в последовательности для формирования связных предложений, а не проверка правдивости информации, которую она генерирует. Понимание и смягчение галлюцинаций является центральной задачей в повышении надежности генеративного ИИ.

Почему LLM галлюцинируют?

Галлюцинации не являются преднамеренным обманом, а являются побочными продуктами того, как создаются и обучаются LLM. Основные причины включают в себя:

• Несовершенства обучающих данных: Модели, такие как GPT-3 и GPT-4, учатся на огромных объемах текста из Интернета, которые неизбежно содержат ошибки, устаревшую информацию и алгоритмические искажения. Модель изучает эти закономерности из своих обучающих данных без присущего понимания истины.
• Архитектурный дизайн: Базовая архитектура Transformer оптимизирована для сопоставления с образцом и моделирования языка, а не для фактического воспроизведения или логических рассуждений. Это может привести к тому, что некоторые исследователи называют "стохастическим попугаем", сущностью, которая может имитировать язык, не понимая его значения.
• Неоднозначность во время инференса: Во время генерации, если модель не уверена в следующем наилучшем токене, она может "заполнить пробелы" правдоподобной, но сфабрикованной информацией. Настройка параметров инференса, таких как температура, иногда может уменьшить это, но это остается основной проблемой. Технический обзор можно найти в этом обзоре галлюцинаций LLM из arXiv.

Примеры галлюцинаций в реальном мире

• Юридическое исследование: Юрист, использующий помощника ИИ для исследования дел, попросил его найти юридические прецеденты. Чат-бот процитировал несколько полностью сфабрикованных судебных дел, включая названия дел и юридические анализы, которые были правдоподобными, но несуществующими. Этот реальный инцидент высветил серьезные риски развертывания LLM в областях с высокими ставками без надежной проверки фактов.
• Рекомендации продуктов: Пользователь просит чат-бота порекомендовать «лучший походный рюкзак со встроенной солнечной панелью». LLM может уверенно порекомендовать конкретную модель, подробно описывая ее характеристики, даже если такого продукта или комбинации функций не существует. Модель объединяет концепции из своих обучающих данных для создания правдоподобного, но вымышленного продукта.

Как уменьшить галлюцинации

Исследователи и разработчики активно работают над несколькими стратегиями смягчения последствий:

• Генерация, дополненная поиском (Retrieval-Augmented Generation, RAG): Этот метод позволяет LLM извлекать информацию из внешней, авторитетной базы знаний (например, из векторной базы данных) перед генерацией ответа. Благодаря использованию проверенных фактов, RAG значительно снижает вероятность ошибок. Подробнее о том, как работает RAG, можно узнать из исследования IBM.
• Улучшенные методы запросов: Такие методы, как подсказки Chain-of-Thought, побуждают модель разбивать свои рассуждения шаг за шагом, что может привести к более точным результатам. Оригинальная исследовательская работа по Chain-of-Thought показывает ее эффективность.
• Обучение с подкреплением на основе обратной связи от человека (RLHF): Модели совершенствуются с использованием RLHF, где люди-рецензенты оценивают различные ответы модели. Эта обратная связь обучает модель отдавать предпочтение правдивым и полезным ответам, процесс, подробно описанный такими организациями, как OpenAI и Anthropic.
• Уровни проверки фактов и подтверждения: Внедрение отдельного процесса перекрестной проверки утверждений, сделанных LLM, по отношению к надежным источникам, прежде чем представлять результат пользователю. Это добавляет уровень ответственной разработки ИИ.
• Высококачественные наборы данных и тонкая настройка: Постоянное улучшение качества данных, используемых для обучения, и выполнение тонкой настройки на конкретных, высококачественных наборах данных может помочь привести базовую модель в соответствие с фактической точностью.

Галлюцинации в сравнении с другими ошибками ИИ

• Предвзятость в ИИ: Предвзятость в ИИ относится к систематическим ошибкам, когда результаты модели несправедливо благоприятствуют определенным группам, обычно отражая социальные или предубеждения набора данных. Галлюцинация — это фактическая некорректность, а не обязательно предрассудок. И то, и другое являются серьезными проблемами в этике ИИ.
• Ошибки компьютерного зрения: Концепция галлюцинаций в основном связана с обработкой естественного языка (NLP). В компьютерном зрении (CV) ошибка обычно означает, что модель, такая как Ultralytics YOLO, совершает ошибку в обнаружении объектов (например, неправильно классифицирует кошку как собаку) или не обнаруживает объект, что связано с ее точностью. Это ошибка восприятия, а не изобретение информации. Однако, поскольку мультимодальные модели, объединяющие зрение и язык, становятся все более распространенными, они также могут «галлюцинировать» неверные описания изображений. Управление обоими типами моделей можно упростить на платформах, таких как Ultralytics HUB.