Data Security

Безопасность данных — это защита цифровых данных от несанкционированного доступа, кражи, подмены и потери на всём протяжении их жизненного цикла: от сбора и хранения до обработки, передачи и удаления. Обычно её цели описывают триадой CIA: конфиденциальность — читать данные могут только люди и системы с соответствующими правами; целостность — данные остаются точными и неизменёнными; доступность — данные можно использовать, когда они нужны. Опубликованная в феврале 2024 года версия 2.0 «Структуры кибербезопасности» NIST организует эту работу вокруг шести функций: управление, идентификация, защита, обнаружение, реагирование и восстановление. В машинном обучении защищать нужно обучающие данные и их метки, веса модели, в которых закодированы результаты обучения на этих данных, изображения и запросы, отправляемые для инференса, а также журналы, в которых они фиксируются.

Основные меры контроля#

Безопасность данных обеспечивается несколькими уровнями защиты, чтобы сбой одного механизма не раскрывал всё сразу:

• Шифрование: данные в состоянии покоя шифруются такими алгоритмами, как AES-256, а при передаче проходят по защищённым каналам TLS.
• Контроль доступа: каждый человек и сервис получает только минимально необходимые права благодаря ролям, многофакторной аутентификации и краткосрочным учётным данным вместо общих паролей.
• Управление ключами и секретами: ключи шифрования хранятся отдельно от данных — в сервисе управления ключами или аппаратном модуле безопасности — и регулярно ротируются. Ключи API нельзя хранить в исходном коде и ноутбуках.
• Проверка целостности и резервные копии: контрольные суммы и цифровые подписи позволяют обнаружить изменённые файлы, а версионируемые неизменяемые резервные копии помогают восстановиться после атаки программ-вымогателей или случайного удаления.
• Журналирование аудита: фиксируется каждое чтение, изменение и изменение разрешений, чтобы обнаруживать и расследовать необычный доступ, например загрузку целого набора данных одной учётной записью ночью.

Аутентифицированное шифрование одновременно обеспечивает конфиденциальность и целостность. В этом примере для шифрования строки файла меток и обнаружения изменения одного бита используется Fernet из пакета Python cryptography:

import base64

from cryptography.fernet import Fernet, InvalidToken

# В промышленной эксплуатации ключ берётся из сервиса управления ключами и никогда не хранится вместе с данными
cipher = Fernet(Fernet.generate_key())

label = b"0 0.48 0.63 0.21 0.37\n"  # Одна строка аннотации YOLO
token = cipher.encrypt(label)  # Шифротекст AES-128-CBC с тегом HMAC-SHA256
print(cipher.decrypt(token) == label)

# Изменим один бит сохранённого шифротекста, как это могло бы произойти при подмене или повреждении диска
raw = bytearray(base64.urlsafe_b64decode(token))
raw[30] ^= 1
try:
    cipher.decrypt(base64.urlsafe_b64encode(bytes(raw)))
except InvalidToken:
    print("Integrity check failed: decryption refused")

Первая строка выводит True, потому что неповреждённый токен расшифровывается обратно в исходную метку. После изменения одного бита шифротекста тег HMAC перестаёт совпадать, поэтому decrypt вызывает InvalidToken и выводит Integrity check failed: decryption refused, не возвращая изменённые данные.

Безопасность данных в машинном обучении#

У ИИ-систем есть поверхности для атак, которых нет у обычных баз данных:

• Отравление данных: злоумышленник, получивший доступ на запись в набор данных, очередь разметки или источник данных, собранных в интернете, добавляет примеры, из-за которых обученная модель начинает работать некорректно, часто только при появлении скрытого триггера.
• Небезопасные файлы моделей: контрольные точки, сохранённые с помощью pickle в Python, при загрузке могут выполнять произвольный код. В PyTorch 2.6 для torch.load по умолчанию задано значение weights_only=True, которое разрешает только тензоры и простые типы; формат safetensors хранит только тензоры.
• Атаки с определением принадлежности: запросы к обученной модели могут показать, входила ли конкретная запись в обучающую выборку, поэтому веса, обученные на конфиденциальных данных, нужно защищать так же, как сами данные.
• Инъекция промпта: инструкции, скрытые в документах или веб-страницах, могут заставить приложение на базе LLM раскрыть данные из контекста или передать их злоумышленнику через свои инструменты.
• Теневой ИИ: сотрудники вставляют конфиденциальные данные в инструменты ИИ, не одобренные организацией и не охваченные её механизмами контроля доступа и журналированием.

Данные компьютерного зрения требуют особого внимания: на изображениях людей, домов, транспортных средств и пациентов часто содержится личная информация. В здравоохранении снимки, которые больницы США используют для анализа медицинских изображений, подпадают под действие правила безопасности HIPAA, требующего административных, физических и технических мер защиты электронной медицинской информации. Обработка кадров на камере с помощью периферийного ИИ полностью исключает передачу исходного видео по сети; федеративное обучение позволяет обучать общую модель, сохраняя данные на каждой площадке; а конфиденциальный ИИ выполняет обучение или инференс на конфиденциальных данных внутри зашифрованных аппаратных анклавов в облаке. Если наборы данных должны оставаться внутри сети компании, интеграция On Premise Ultralytics Platform выполняет приём наборов данных, предварительный просмотр и обучение на собственном компьютере компании: рабочий узел подключает папку с набором данных только для чтения и устанавливает исходящее HTTPS-соединение без открытия входящих портов, а пиксели изображений не передаются в Platform — туда поступают только метки, метрики и лучшая контрольная точка.

Безопасность данных и конфиденциальность данных#

Конфиденциальность данных касается того, собираются ли, используются, передаются и хранятся ли персональные данные законно и в соответствии с тем, что сообщили людям, например согласно GDPR. Безопасность данных обеспечивает техническую и организационную защиту, на которой основаны обязательства по конфиденциальности, и охватывает все ценные данные, включая коммерческие тайны, исходный код и веса моделей, не содержащие персональной информации. Методы повышения конфиденциальности, например дифференциальная приватность, связывают эти понятия, ограничивая объём информации об отдельном человеке, которую раскрывает опубликованная модель или статистика. Утечка становится инцидентом, связанным с конфиденциальностью, если в результате нарушения безопасности раскрываются персональные данные: согласно статье 33 GDPR, контролёр данных должен уведомить надзорный орган в течение 72 часов с момента, когда ему стало известно об утечке, если только она вряд ли создаст угрозу правам и свободам людей.