Галлюцинации (в LLM)

В области искусственного интеллекта (ИИ) галлюцинация означает явление, при котором большая языковая модель (LLM) генерирует контент, который выглядит достоверным и синтаксически правильным, но на самом деле является неточным, бессмысленным или неверным по отношению к исходному вводу. В отличие от стандартных ошибок программного обеспечения, которые могут привести к сбою или видимому сбою, галлюцинирующая модель ведет себя как убедительный фальсификатор, представляя ложную информацию с той же авторитетностью, что и достоверные факты. Это создает серьезные проблемы для организаций, использующих генеративный ИИ в таких чувствительных областях, как здравоохранение, право и финансы, где целостность данных имеет первостепенное значение.

Почему возникают галлюцинации?

Чтобы понять, почему модели галлюцинируют, полезно посмотреть, как они построены. LLM обычно основаны на архитектуре Transformer, которая функционирует как сложный механизм прогнозирования. Вместо запроса к структурированной базе данных проверенных фактов, модель предсказывает следующий токен в последовательности на основе статистических вероятностей , полученных из ее обучающих данных.

Это поведение обусловлено несколькими факторами:

• Вероятностное угадывание: модель ставит беглость и связность выше фактической правды. Если определенная последовательность слов статистически вероятна — даже если она фактически неверна — модель может ее сгенерировать. Эта концепция часто обсуждается в исследованиях, касающихся стохастических попугаев, где модели имитируют языковые паттерны, не понимая их значения.
• Проблемы с качеством данных: если массивный корпус текста, используемый для обучения, содержит противоречия, устаревшую информацию или вымысел, модель может воспроизвести эти неточности
• Источник амнезии: LLM сжимают огромные объемы информации в веса модели. В этом процессе они часто теряют связь с конкретными источниками, что приводит к «конфабуляции», когда отдельные концепции или события объединяются неправильно.

Примеры галлюцинаций в реальном мире

Галлюцинации могут проявляться по-разному, от безобидных творческих приукрашиваний до серьезных фактических ошибок:

• Юридическая фальсификация: были задокументированы случаи, когда юристы использовали ИИ для составления брифингов, но в итоге обнаруживали, что модель придумала несуществующие судебные дела и цитаты для обоснования аргументов.
• Генерация кода: разработчики, использующие ИИ-помощников, могут столкнуться с «галлюцинациями пакетов», когда модель предлагает импортировать программную библиотеку или вызвать функцию, которая на самом деле не существует, просто потому что ее название соответствует стандартным соглашениям об именовании.
• Биографические ошибки: когда моделей спрашивают о менее известных личностях, они могут с уверенностью приписывать им неверные достижения, места рождения или карьерные истории, фактически смешивая детали из биографий нескольких человек.

Стратегии смягчения последствий

Снижение частоты галлюцинаций является основной задачей безопасности ИИ. Инженеры и исследователи используют несколько методов для привязки моделей к реальности:

• Поисковое расширение генерации (RAG): этот метод связывает LLM с внешней, надежной базой знаний, часто индексируемой в векторной базе данных. Получая соответствующие документы перед генерацией ответа, модель ограничивается фактическими данными.
• Подсказка «Цепочка мыслей»: эта техника разработки подсказок побуждает модель «показать свою работу», разбивая сложные рассуждения на промежуточные шаги, что часто снижает количество логических ошибок.
• Обучение с подкреплением на основе обратной связи от человека (RLHF): на этапе тонкой настройки человеческие оценщики ранжируют ответы модели. Штрафуя галлюцинации и поощряя правдивость, модель учится лучше соответствовать ожиданиям человека.

Основы компьютерного зрения для магистров

В мультимодальных системах искусственного интеллекта генерация текста может быть основана на визуальных данных. Если LLM попросить описать сцену, он может галлюцинировать объекты, которых нет. Благодаря интеграции высокоточного детектора объектов, такого как YOLO26, разработчики могут предоставить LLM фактический список присутствующих объектов, строго ограничивая его вывод проверенными обнаружениями.

Следующий Python показывает, как использовать ultralytics пакет для извлечения проверенного списка объектов, который затем может служить фактическим ограничением для подсказки языковой модели.

from ultralytics import YOLO

# Load the YOLO26n model (latest generation, efficient and accurate)
model = YOLO("yolo26n.pt")

# Run inference on an image to get ground-truth detections
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of actually detected objects
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This factual list prevents the LLM from hallucinating items
print(f"Verified Objects for Prompt Context: {detected_objects}")
# Output example: ['bus', 'person', 'person', 'person', 'person']

Дифференциация смежных понятий

Важно отличать галлюцинации от других распространенных ошибок ИИ:

• Vs. Предвзятость в ИИ: Предвзятость относится к систематическим предубеждениям в результатах (например, предпочтение одной демографической группы другой), тогда как галлюцинация — это неточность фактов . Ответ может быть беспристрастным, но при этом галлюцинационным (например, «Луна сделана из сыра»).
• Противоположность переобучению: переобучение происходит, когда модель слишком точно запоминает обучающие данные и не может обобщать новые входные данные. Галлюцинации часто возникают, когда модель пытается слишком сильно обобщать в областях, где ей не хватает данных.
• Против неправильной классификации: при обнаружении объектов обозначение автомобиля как грузовика является ошибкой классификации (проблемой точности), а не галлюцинацией. Галлюцинация характерна для генеративного создания ложного контента.

Для тех, кто хочет управлять наборами данных и обучать модели с высокой целостностью данных, чтобы предотвратить ошибки на последующих этапах, Ultralytics предлагает комплексные инструменты для аннотирования и управления наборами данных. Кроме того, руководство NIST AI Risk Management Framework предоставляет стандарты для оценки и снижения этих рисков в производственных средах.