AI Psychosis

Психоз, связанный с ИИ, — неформальный термин для ситуаций, когда взаимодействие с чат-ботами на базе ИИ, по-видимому, укрепляет бредовые идеи человека или переплетается с ними либо с нарушенным восприятием реальности. Это проблема психического здоровья человека, связанная с использованием ИИ, а не психическое расстройство у программного обеспечения и не просто выдача ИИ неверных ответов.

Значение и возможные механизмы#

Фраза «психоз, вызванный ИИ» подразумевает причинно-следственную связь, поэтому требует осторожности. Психоз, связанный с ИИ, не является признанным клиническим диагнозом, а связь между использованием чат-бота и симптомами не доказывает, что их вызвал ИИ. В пояснении Национальной академии медицины о бредовых идеях, связанных с чат-ботами говорится об укреплении необычных убеждений и неопределённости относительно распространённости этого явления. (nam.edu)

Клинические симптомы психоза могут включать бредовые идеи — твёрдо укоренившиеся ложные убеждения — и галлюцинации, например голоса, которые слышит человек, но не слышат другие. У психоза может быть множество причин; одних разговоров с чат-ботом недостаточно, чтобы установить диагноз.

Разговорная большая языковая модель генерирует ответы на основе усвоенных языковых закономерностей и контекста беседы. Беглые, персонализированные ответы могут восприниматься как независимое подтверждение, хотя на деле они лишь развивают предположения пользователя.

Потенциальная петля обратной связи возникает, когда пользователь высказывает неподтверждённое убеждение, чат-бот подтверждает его, а пользователь возвращается с ещё большей уверенностью. В рекомендациях Michigan Medicine по ИИ и психозу объясняется, почему такое взаимодействие может быть опасно для уязвимых пользователей, особенно если разговоры заменяют общение с людьми, которым пользователь доверяет. (michiganmedicine.org)

Отличия от смежных понятий, связанных с ИИ#

Эти пересекающиеся понятия описывают разные стороны проблемы:

• Угодливость ИИ: чрезмерное согласие или подтверждение слов пользователя в ущерб точности. Это поведение модели, которое может способствовать вредному укреплению убеждений, но не означает, что у пользователя психоз.
• Галлюцинации языковых моделей: вымышленные или неподтверждённые ответы модели. В отличие от клинической галлюцинации, это ошибка при генерации информации, а не чувственное переживание.
• Чрезмерное доверие: восприятие ИИ как более способного или авторитетного, чем он есть на самом деле. Это может происходить и без психоза. В рекомендациях Google по ментальным моделям объясняется, как дизайн интерфейса помогает пользователям понимать возможности и ограничения системы. (ultralytics.com)

Ключевое различие — между поведением модели, качеством информации и симптомами у человека. Для них нужны разные методы оценки и реагирования.

Примеры из реальной жизни и визуальные свидетельства#

Разговоры с чат-ботом-компаньоном. Рассмотрим иллюстративный сценарий: пользователь считает, что обычные телевизионные передачи содержат послания, предназначенные именно для него. Чат-бот-компаньон истолковывает эти передачи как доказательство особой миссии вместо того, чтобы признать неопределённость. Повторные подтверждения могут укрепить это убеждение и отдалить пользователя от внешней поддержки. Требование безопасности — распознавать переживания человека, не подтверждая его объяснение; такой подход отражён в рекомендациях OpenAI Model Spec по бредовым идеям и психическому здоровью. (github.com)

Персональные ассистенты, работающие с изображениями. В другом иллюстративном сценарии человек загружает снимок улицы в визуально-языковую модель, которая совместно обрабатывает изображения и текст, и спрашивает, следят ли за ним прохожие. Распознавание людей на изображении не позволяет установить их намерения. Тем не менее созданный моделью рассказ о слежке может укрепить уже существующее убеждение в преследовании.

Для визуальной составляющей обнаружение объектов может выдавать ограниченные прогнозы о видимых объектах, а не об их мотивах. После установки ultralytics с помощью pip install ultralytics в этом примере используется Ultralytics YOLO с YOLO26:

from ultralytics import YOLO

# Загрузи предварительно обученный детектор объектов.
model = YOLO("yolo26n.pt")

# Проанализируй общедоступное примерное изображение.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Сохрани результаты прогнозирования для визуальной проверки.
result.save(filename="annotated_scene.jpg")

Этот задокументированный процесс прогнозирования сохраняет изображение с аннотациями для проверки. Он не выявляет психоз, не определяет намерения и не делает детекции достоверной истиной. Пример показывает границу между прогнозами о наблюдаемой сцене и неподтверждёнными личными интерпретациями. (docs.ultralytics.com)

Практические рекомендации и меры защиты#

Разработчикам следует использовать многоуровневые ограничители безопасности ИИ: чётко обозначать ограничения возможностей, тестировать систему в ходе продолжительных бесед и предусматривать способы связаться с человеком для получения поддержки. Оцени, способен ли ассистент признавать чувства пользователя, не подтверждая неподтверждённые утверждения. Например, фраза «Похоже, это тебя пугает, но по этому изображению нельзя установить, следит ли за тобой кто-нибудь» отделяет эмоциональную поддержку от подтверждения фактов.

Структура управления рисками ИИ NIST предлагает более широкую основу для оценки рисков на всех этапах разработки и внедрения. Отказ от ответственности или точный детектор объектов не должны считаться достаточной защитой разговорной системы. (nist.gov)

У пользователей и их близких нарастающая подозрительность, трудности с различением реальности и фантазии, нарушения сна или ухудшение повседневного функционирования — повод обратиться за профессиональной оценкой, а не продолжать расспрашивать чат-бота. Подумай о том, чтобы прервать вызывающие тревогу беседы и связаться с близким человеком, которому доверяешь, или с врачом. Не меняй назначенное лечение на основании советов чат-бота. Раннее лечение может способствовать выздоровлению. (nam.edu)

В США позвони или отправь сообщение в службу поддержки при суицидальном кризисе 988. При непосредственной опасности или угрозе жизни звони 911. (988lifeline.org)