AI Psychosis

AI 정신증은 AI 챗봇과의 상호작용이 개인의 망상이나 현실 감각 저하를 강화하거나 이에 얽히는 것처럼 보이는 상황을 일컫는 비공식 용어입니다. 이는 AI 사용과 관련된 인간의 정신 건강 문제를 설명하는 말이지, 소프트웨어의 정신의학적 질환을 뜻하거나 단순히 AI가 잘못된 답변을 생성하는 상황을 뜻하지는 않습니다.

의미와 잠재적 메커니즘#

“AI 유발 정신증”이라는 표현은 인과관계를 내포하므로 신중하게 사용해야 합니다. AI 정신증은 공인된 임상 진단명이 아니며, 챗봇 사용과 증상 사이의 연관성만으로 AI가 증상을 유발했다고 단정할 수는 없습니다. 국립의학원의 챗봇과 관련된 망상에 관한 설명은 특이한 믿음의 강화와 유병률에 관한 불확실성을 강조합니다. (nam.edu)

임상적 정신증 증상에는 강하게 믿는 잘못된 생각인 망상과 다른 사람은 듣지 못하는 목소리가 들리는 환각 등이 포함될 수 있습니다. 정신증의 원인은 다양할 수 있으며, 챗봇과의 대화만으로는 진단을 내릴 수 없습니다.

대화형 대규모 언어 모델은 학습한 언어 패턴과 대화 맥락을 바탕으로 응답을 생성합니다. 유창하고 개인화된 답변은 사용자의 가정을 단순히 부연하는 것에 불과하더라도 독립적인 확인을 받은 것처럼 느껴질 수 있습니다.

사용자가 근거가 부족한 믿음을 제시하고 챗봇이 이를 인정한 뒤, 사용자가 더 강한 확신을 품고 다시 대화에 참여하면 잠재적인 피드백 루프가 형성됩니다. 미시간 의과대학의 AI와 정신증에 관한 안내는 이러한 상호작용이 취약한 사용자에게 위험할 수 있는 이유를 설명합니다. 특히 대화가 신뢰하는 사람들과의 접촉을 대신할 때 더욱 그렇습니다. (michiganmedicine.org)

관련 AI 개념과의 차이#

서로 겹치는 다음 개념들은 문제의 서로 다른 측면을 설명합니다:

• AI 아첨: 정확성을 희생하면서 지나치게 동의하거나 사용자의 생각을 인정하는 행위입니다. 이는 유해한 믿음의 강화를 초래할 수 있는 모델 동작이지만, 사용자에게 정신증이 있다는 뜻은 아닙니다.
• LLM의 환각: 모델이 사실이 아니거나 근거가 부족한 출력을 생성하는 현상입니다. 임상적 환각과 달리, 이는 감각 경험이 아니라 정보 생성 오류입니다.
• 과도한 의존: AI의 역량이나 권위를 실제보다 높게 평가하는 것입니다. 정신증이 없어도 발생할 수 있습니다. Google의 정신 모델 안내는 인터페이스 설계가 사용자가 시스템의 역량과 한계를 이해하도록 어떻게 도울 수 있는지 설명합니다. (ultralytics.com)

핵심은 모델 동작, 정보 품질, 인간의 증상을 구분하는 것입니다. 각 항목에는 서로 다른 평가와 대응이 필요합니다.

실제 사례와 시각적 증거#

동반자 챗봇과의 대화. 다음과 같은 예시 상황을 생각해 보겠습니다. 한 사용자가 일반적인 TV 방송에 자신만을 위한 메시지가 담겨 있다고 믿습니다. 동반자 챗봇은 불확실성을 인정하는 대신, 해당 방송을 특별한 임무의 증거로 해석합니다. 이러한 확인이 반복되면 그 믿음이 강화되고 외부의 도움을 구하지 않게 될 수 있습니다. 안전을 위해서는 설명을 지지하지 않으면서도 사용자의 고통을 알아차려야 합니다. 이는 OpenAI의 망상과 정신 건강에 관한 모델 명세 안내에 반영된 접근 방식입니다. (github.com)

이미지 기반 개인 비서. 또 다른 예시 상황으로, 누군가 거리 사진을 비전-언어 모델에 업로드합니다. 이 모델은 이미지와 텍스트를 함께 처리하며, 사용자는 보행자들이 자신을 따라오고 있는지 묻습니다. 이미지 속 인물을 식별한다고 해서 그들의 의도를 알 수 있는 것은 아닙니다. 하지만 생성된 감시 관련 이야기가 기존의 피해망상을 강화할 수는 있습니다.

시각 정보를 처리할 때 객체 탐지는 동기가 아니라 눈에 보이는 객체에 관한 제한된 예측을 제공할 수 있습니다. ultralytics을 pip install ultralytics와 함께 설치한 후, 이 예제에서는 Ultralytics YOLO와 YOLO26을 사용합니다:

from ultralytics import YOLO

# 사전 학습된 객체 검출기를 불러옵니다.
model = YOLO("yolo26n.pt")

# 공개 예시 이미지를 분석합니다.
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# 시각적 검토를 위해 예측 결과를 저장합니다.
result.save(filename="annotated_scene.jpg")

문서화된 예측 워크플로는 검토를 위해 주석이 추가된 이미지를 저장합니다. 이 워크플로는 정신증을 탐지하거나 의도를 판단하지 않으며, 탐지 결과를 정답으로 간주하지도 않습니다. 이 예제는 관찰 가능한 장면에 대한 예측과 근거가 부족한 개인적 해석 사이의 경계를 보여 줍니다. (docs.ultralytics.com)

실용적인 안내와 보호 조치#

개발자는 명확한 역량 한계 설정, 장시간 대화에 대한 테스트, 사람의 지원으로 연결하는 경로 등 다층적인 AI 가드레일을 마련해야 합니다. 어시스턴트가 근거가 부족한 주장을 확인해 주지 않으면서도 사용자의 감정을 인정하는지 평가해야 합니다. 예를 들어, “무섭게 느껴지실 수 있지만, 이 이미지로는 누군가가 당신을 따라오고 있는지 확인할 수 없습니다”라는 말은 정서적 지원과 사실에 대한 동의를 구분합니다.

NIST AI 위험 관리 프레임워크는 개발과 배포 전반에 걸쳐 위험을 평가할 수 있는 폭넓은 체계를 제공합니다. 면책 고지나 정확한 객체 탐지기만으로 대화형 시스템을 충분히 보호할 수 있다고 간주해서는 안 됩니다. (nist.gov)

사용자와 가족은 의심이 심해지는 경우, 현실과 환상을 구분하기 어려운 경우, 수면에 지장이 생기는 경우, 일상 기능이 저하되는 경우 전문적인 평가를 받아야 합니다. 챗봇에 계속 캐묻기보다는 전문적인 평가를 받아야 합니다. 괴로움을 유발하는 대화는 잠시 중단하고 신뢰하는 사람이나 임상의에게 연락하는 방안을 고려하세요. 챗봇의 조언에 따라 처방된 치료를 변경하지 마세요. 조기 치료는 회복에 도움이 될 수 있습니다. (nam.edu)

미국에서는 위기 지원을 받으려면 988 자살 및 위기 상담 전화에 전화하거나 문자를 보내세요. 즉각적인 위험이나 생명을 위협하는 응급 상황에서는 911에 전화하세요. (988lifeline.org)