Agent Sandboxing

Песочница для агентов — это практика запуска AI агента, его инструментов или сгенерированного кода в ограниченной среде выполнения. Песочница ограничивает доступ агента к файлам, сетям, учетным данным, процессам и вычислительным ресурсам. Если агент принимает небезопасное решение или обрабатывает вредоносные инструкции, эти границы снижают потенциальное влияние на производственные системы и конфиденциальные данные.

Как работает песочница для агентов#

Агент часто действует через обвязку агента, которая связывает модель с инструментами, памятью, API и циклами выполнения. Песочница добавляет уровень принудительного контроля вокруг этих возможностей. Вместо того чтобы доверять модели следование подсказке вроде «не обращайся к личным файлам», операционная среда технически предотвращает такой доступ.

Практичная песочница может сочетать в себе:

• Эфемерный контейнер или виртуальную машину, уничтожаемую после выполнения задачи.
• Базовую файловую систему только для чтения с небольшим доступным для записи рабочим пространством.
• Правила исходящего сетевого трафика, разрешающие только одобренные домены или внутренние службы.
• Краткосрочные учетные данные, ограниченные текущим пользователем и задачей.
• Ограничения на процессор, память, хранилище, процессы и время выполнения.
• Журналы аудита, охватывающие вызовы инструментов, изменения файлов, сетевые запросы и нарушения политик.

Элементы управления Linux, такие как профиль seccomp по умолчанию в Docker, могут ограничивать системные вызовы, в то время как ограничения ресурсов Docker ограничивают потребление ресурсов. В масштабе кластера NetworkPolicies в Kubernetes могут управлять тем, с какими службами взаимодействует рабочая нагрузка агента.

Почему песочница для агентов имеет значение#

Агенты могут выполнять действия посредством вызова функций и использования инструментов, что делает их сбои более серьезными, чем некорректный ответ чат-бота. Агент-программист может выполнять команды оболочки, в то время как операционный агент может обновлять записи или инициировать развертывания.

В руководстве по безопасности AI агентов OWASP определены такие риски, как злоупотребление инструментами, эскалация привилегий, отравление памяти и утечка данных. Песочница помогает сдерживать эти риски, особенно когда агент сталкивается с инъекцией промптов, скрытой на веб-странице, в документе, метаданных изображения или ответе инструмента. Руководство OWASP по предотвращению инъекций промптов рекомендует многоуровневую защиту, поскольку простая фильтрация ввода не может надежно распознать каждую враждебную инструкцию.

Песочница также решает проблему избыточной автономности. Агент с ненужными инструментами, широкими учетными данными и неограниченной автономностью может совершить разрушительные действия после ошибки модели или измененного ввода. Руководство OWASP по избыточной автономности рекомендует минимизировать функциональность инструментов, разрешения и автономность, а не полагаться только на поведение модели.

Песочница и сопутствующие средства контроля#

Песочница для агентов дополняет другие механизмы безопасности, но не заменяет их:

• Защитные экраны AI: Защитные экраны проверяют входные, выходные данные или предлагаемые действия. Песочница обеспечивает соблюдение экологических ограничений даже тогда, когда защитный экран пропускает угрозу.
• Контроль доступа: Авторизация определяет, разрешено ли действие. Песочница ограничивает ресурсы, доступные в случае обхода логики авторизации. Рекомендации AWS по управлению идентификацией и доступом подчеркивают важность временных учетных данных и разрешений с наименьшими привилегиями.
• Контейнеризация: Контейнеры упаковывают и изолируют процессы, но настройки контейнеров по умолчанию не обязательно являются надежной границей безопасности. Быстрый старт с Docker в Ultralytics поддерживает стабильные изолированные среды компьютерного зрения, в то время как производственные песочницы требуют дополнительных ограничений файловой системы, возможностей, сети и ресурсов.
• Тестовые среды: «Песочница» для разработки — это непроизводственная копия системы. Песочница для агентов целенаправленно ограничивает выполнение и может применяться как в разработке, так и в производстве.

Навыки агентов Ultralytics предоставляют повторно используемые инструкции для агентов-программистов, но навыки не создают границу изоляции. Их скрипты и зависимости все равно должны проверяться и выполняться с соответствующими разрешениями.

Реальные приложения#

Корпоративные агенты-программисты: Агент-программист может изучать репозиторий, изменять файлы и запускать тесты в рамках временного рабочего пространства. Песочница монтирует только назначенный репозиторий, блокирует производственные учетные данные, ограничивает исходящий трафик утвержденными реестрами пакетов и требует одобрения человека перед слиянием или развертыванием. Таким образом, скомпрометированная зависимость или внедренная инструкция не могут свободно сканировать внутреннее хранилище или передавать исходный код.

Операционные агенты с поддержкой компьютерного зрения: Складской агент может анализировать изображения с камер с помощью Ultralytics YOLO26, выявлять заблокированные проходы и открывать заявки на техническое обслуживание. Его песочница может предоставлять доступ только для чтения к входящим изображениям и сетевой доступ только к API вывода и тикетинга. Он не должен получать неограниченное администрирование камер, записи сотрудников или учетные данные развертывания.

Шаг восприятия может использовать задокументированный рабочий процесс предсказания Ultralytics YOLO:

from pathlib import Path

from ultralytics import YOLO

source = "https://ultralytics.com/images/bus.jpg"
output_path = Path("sandbox_result.jpg")

# Run visual inference inside the restricted workspace
model = YOLO("yolo26n.pt")
results = model(source)

result = results[0]
result.save(filename=str(output_path))

Код Python выполняет обычный вывод; окружающая среда выполнения обеспечивает песочницу за счет ограничения файлов, работы в сети, учетных данных и ресурсов.

Практические рекомендации по проектированию#

Начни с отсутствия какого-либо доступа и явно разрешай только то, что требуется для каждой задачи. Используй временные рабочие пространства, кратковременные учетные данные, монтирования только для чтения, списки разрешенных исходящих сетевых подключений, тайм-ауты и квоты ресурсов. Требуй одобрения для необратимых действий и держи проверки авторизации вне модели.

Логируй каждое попытавшееся выполниться действие, включая заблокированные операции, не раскрывая секреты в журналах. Команды могут использовать мониторинг развертывания платформы Ultralytics для наблюдения за запросами конечных точек компьютерного зрения, задержкой, ошибками и работоспособностью в рабочих процессах агентов. Наконец, протестируй всю систему на предмет вредоносных файлов, косвенных подсказок, повторяющихся вызовов инструментов и попыток исчерпания ресурсов. Руководство по фреймворку управления рисками AI от NIST предоставляет более широкую структуру для управления, измерения и непрерывного контроля этих рисков.