Галлюцинации (в LLM)

В контексте Большие языковые модели (БЯМ)галлюцинация возникает, когда генеративная модель производит контент, который уверенно и синтаксически бегло, но но фактологически неверный, нелепый или неверный исходному материалу. В отличие от стандартных ошибок поиска в базе данных, галлюцинации в генеративный ИИ являются часто звучат правдоподобно, что затрудняет их detect пользователями без независимой проверки. Этот феномен обусловлено фундаментальным дизайном этих моделей, в которых приоритет отдается генерация текста на основе статистической вероятности, а не на проверке истинности. Понимание галлюцинаций имеет решающее значение для внедрения безопасных систем искусственного интеллекта особенно в таких ответственных отраслях, как здравоохранение, финансы и юридические услуги.

Почему магистранты галлюцинируют

Основная причина галлюцинаций кроется в Трансформер архитектуре и Цели обучения, используемые для построения базовых моделей. Эти системы обучаются предсказывать следующий лексема в последовательности на основе шаблонов полученных из огромного количества обучающие данные. Они не обладают врожденной концепцией "факта" или "вымысла"; скорее, они моделируют вероятность того, что слова будут встречаться вместе.

Такое поведение обусловлено несколькими факторами:

• Ограничения данных: Если обучающий корпус содержит противоречивую, устаревшую или неверную информацию, модель может воспроизвести эти ошибки. Это часто обсуждается в исследованиях, касающихся стохастических попугаевв которых модели имитируют языковые формы, не понимая смысла.
• Артефакты сжатия: LLM сжимают знания интернета до фиксированного набора параметров. При таком сжатии могут быть утеряны нюансы, что приводит к смешению разных понятий.
• Неоднозначность выводов: Когда модель сталкивается с подсказкой, выходящей за рамки ее распределения знаний, она может по умолчанию сгенерировать наиболее статистически вероятный ответ, а не признать свое незнание, такое поведение часто называют "конфабуляцией".

Примеры галлюцинаций в реальном мире

Галлюцинации могут проявляться в различных формах, начиная от тонких неточностей и заканчивая полными выдумками:

• Фабрикация юридических дел: В широко освещенном инциденте один из юристов использовал степень магистра права для для изучения судебного дела. Модель создала юридическую справку, в которой было приведено несколько несуществующих судебных дел с вымышленными ссылками и судебными заключениями, что привело к санкциям.
• Изобретение библиотеки кодирования: Разработчики, использующие помощников по кодированию с искусственным интеллектом, иногда сталкиваются с рекомендациями программных библиотек или методов API, которых на самом деле не существует. Модель галлюцинирует правдоподобное название функции (например, ultralytics.detect_everything()), основываясь на стандартных соглашениях об именовании, которые он видел в своих обучающих данных, даже если эта конкретная функция никогда не была реализована.

Стратегии смягчения последствий

Уменьшение галлюцинаций является одним из основных направлений исследования в области безопасности искусственного интеллекта исследований. Несколько методов в настоящее время используется несколько методов, чтобы приземлить модели в реальность:

• Поколение с дополненным извлечением (RAG): Этот метод соединяет LLM с доверенной внешней базой знаний. базой знаний, например векторная база данных. Вместо того чтобы полагаться только на внутреннюю память, модель извлекает соответствующие документы перед генерацией ответа. Вы можете прочитать больше о о том, как RAG повышает точность в корпоративных приложениях.
• Оперативное проектирование: Техники как Побуждение к цепочке мыслей побуждают модель объяснять свои рассуждения шаг за шагом, что, как было показано, уменьшает количество логических ошибок и улучшает последовательность фактов.
• Reinforcement Learning from Human Feedback (RLHF): Разработчики используют Reinforcement Learning from Human Feedback (RLHF) чтобы наказать модель за галлюцинации на этапе тонкой настройки, выравнивая ее результаты с предпочтениями человека правдивости.
• Мультимодальное обоснование: В задачах "зрение-язык" галлюцинации могут быть уменьшены путем проверки текста по структурированным данным из компьютерного зрения (КВ) модели.

Основы компьютерного зрения для магистров

Одним из эффективных способов уменьшения галлюцинаций в мультимодальных рабочих процессах является использование высокоточного обнаружение объектов модель для проверки физического содержимого изображения до того, как LLM его опишет. Подача проверенного списка объектов в контекст LLM контекст, вы не позволите ему изобрести элементы, которых там нет.

Следующий пример демонстрирует, как использовать Ultralytics YOLO11 для создания список объектов, который затем может служить фактическим ограничением для генеративной модели.

from ultralytics import YOLO

# Load the official YOLO11 model
model = YOLO("yolo11n.pt")

# Run inference on an image to get factual data
results = model("https://ultralytics.com/images/bus.jpg")

# Extract the class names of detected objects to ground the LLM
detected_objects = [model.names[int(c)] for c in results[0].boxes.cls]

# This list prevents the LLM from hallucinating objects not present
print(f"Verified Objects: {detected_objects}")
# Output: Verified Objects: ['bus', 'person', 'person', 'person', 'person']

Галлюцинация в сравнении с другой терминологией

Важно отличать галлюцинации от других типов ошибок ИИ:

• против предвзятости: Предвзятость в искусственном интеллекте относится к систематическим предрассудками (например, стереотипами), в то время как галлюцинации относятся к фактической неверности. Высказывание может быть непредвзятым, но галлюцинированным, или фактическим, но предвзятым.
• По сравнению с ошибками точности: В задачах классификации неверное предсказание (например, обозначение собаки как кошки) является ошибка точности, а не галлюцинация. Галлюцинация характерна для генеративной процессу создания нового содержания.
• В сравнении с чрезмерной подгонкой: В то время как оверфиттинг включает в себя запоминание обучающие данные слишком близко, галлюцинации часто возникают, когда модель пытается обобщить за пределами своих и терпит неудачу.

Чтобы узнать больше об оценке генеративных моделей, изучите NIST AI Risk Management Framework содержит исчерпывающий обзор стандартов надежности и безопасности. Кроме того, исследователи продолжают разрабатывать алгоритмы проверки фактов для автоматического detect и отметки галлюцинаторного контента в режиме реального времени.