Shadow AI

Теневой ИИ — это использование инструментов, моделей и сервисов искусственного интеллекта в организации без ведома или разрешения ИТ-отдела, команды безопасности или отдела нормативного соответствия. Типичные примеры: сотрудники вставляют рабочие материалы в личный аккаунт помощника на основе генеративного ИИ, разработчики вызывают непроверенный API модели или команды включают функции ИИ в уже используемом ими программном обеспечении. Теневой ИИ — разновидность теневых ИТ, то есть давней проблемы с несанкционированными приложениями и облачными сервисами. Он распространяется по той же причине: инструменты бесплатны или недороги, внедряются за считаные минуты и помогают людям работать быстрее.

Чем теневой ИИ отличается от теневых ИТ#

Сервисы ИИ не только хранят полученные данные, но и обрабатывают их. Каждый запрос к крупной языковой модели (LLM) покидает организацию, а пользовательские тарифы могут хранить переписку или использовать её как обучающие данные, если пользователь не откажется от этого. В 2023 году инженеры Samsung вставили в ChatGPT конфиденциальный исходный код и заметки со встреч, после чего компания ограничила использование инструментов генеративного ИИ на своих устройствах.

Риски существуют и в обратном направлении. Ответ непроверенного помощника может содержать галлюцинации, небезопасный код или текст с неясной лицензией, которые попадут в продукты и решения без какой-либо проверки. Веса моделей, загруженные из общедоступных репозиториев, например Hugging Face, могут при загрузке выполнять произвольный код, если используют формат pickle из Python. Поэтому в формате safetensors хранятся только тензоры. ИИ-агенты, подключённые к электронной почте, календарям или репозиториям кода с помощью личного токена сотрудника, могут выполнять действия в системах компании, а вредоносная веб-страница или документ способны направлять их действия с помощью инъекции промпта.

Масштаб проблемы виден по статистике утечек. В отчёте IBM за 2026 год о стоимости утечек данных говорится, что в 43% исследованных организаций, пострадавших от утечки, были инциденты, связанные с теневым ИИ, по сравнению с 20% годом ранее. Средняя стоимость таких утечек составила $5.39 млн, тогда как средняя стоимость всех утечек — $4.99 млн.

Распространённые формы теневого ИИ#

• Чат-боты и помощники по написанию текстов: личные аккаунты, используемые для обобщения договоров, отладки проприетарного кода или подготовки ответов, содержащих данные клиентов.
• Встроенные функции ИИ: поставщик добавляет расшифровку речи, обобщение или заметки о встречах в одобренный инструмент, и эта функция начинает отправлять данные новому субподрядчику по обработке данных без повторной проверки.
• Непроверенные модели и API: разработчики отправляют изображения во внешний API компьютерного зрения или развёртывают скачанные веса, лицензию, происхождение и безопасность которых никто не проверял.
• Расширения браузера и агенты: инструменты, которые читают каждую страницу, открытую сотрудником, или действуют от его имени в подключённых аккаунтах.

Обнаружение и сокращение использования теневого ИИ#

Для обнаружения используются несколько сигналов: сетевые журналы и журналы DNS, показывающие трафик к конечным точкам ИИ; брокеры безопасности облачного доступа и средства предотвращения утечки данных, проверяющие загружаемые файлы; списки расширений браузера; отчёты о расходах на подписки ИИ и ключи API; а также опросы или программы амнистии, в рамках которых команды сообщают, какими инструментами пользуются. Затем каждый обнаруженный инструмент проходит описанную ниже сортировку и попадает в инвентарный список, от которого зависит управление ИИ.

В программах по сокращению использования теневого ИИ чёткие правила о том, какие данные можно передавать в те или иные инструменты, сочетаются с одобренными и не менее удобными альтернативами: корпоративными аккаунтами с отключённым обучением на данных клиентов, шлюзом ИИ, который регистрирует и фильтрует весь трафик моделей, и моделями с самостоятельным размещением для самых чувствительных задач. Обучение грамотному использованию ИИ объясняет, зачем нужны эти правила и какие инструменты одобрены.

В проектах по компьютерному зрению проблема проявляется, когда изображения людей, продуктов или помещений хранятся в личных аккаунтах онлайн-инструментов для разметки и обучения. В командном рабочем пространстве Ultralytics Platform наборы данных, модели и развёртывания, созданные любым участником, принадлежат команде и доступны всем её участникам, а роли Owner, Admin, Editor и Viewer определяют, кто может вносить изменения.

Теневой ИИ — это проблема видимости, которая приводит к инцидентам, связанным с конфиденциальностью данных и безопасностью данных: команда безопасности не может оценивать, защищать или отслеживать неизвестный ей инструмент. Структура управления рисками ИИ NIST рассматривает эту проблему в подкатегории GOVERN 1.6, которая призывает создать механизмы инвентаризации систем ИИ с учётом приоритетов организации в области рисков.