Differential Privacy

Дифференциальная приватность (DP) — это математическое определение приватности для алгоритмов, анализирующих данные: алгоритм удовлетворяет этому определению, если распределение его выходных данных почти не меняется при добавлении или удалении записи любого человека. Всё, что наблюдатель узнаёт из результата, он почти так же узнал бы и без данных этого человека, поэтому результат почти ничего не раскрывает именно о нём. Этот метод применяется для публикации результатов аналитики данных и обучения моделей машинного обучения на конфиденциальных данных, например медицинских изображениях и вводе с клавиатуры. Синтия Дворк, Фрэнк МакШерри, Кобби Ниссим и Адам Смит предложили это определение в своей статье 2006 года «Калибровка шума с учётом чувствительности при анализе конфиденциальных данных»; эта работа принесла им премию Гёделя в 2017 году. Гарантия действует даже против атакующих, располагающих любым объёмом дополнительной информации, — именно в этом состоит слабость традиционной анонимизации: по очищенным записям можно установить личности, связав их с другими базами данных.

Эпсилон, чувствительность и бюджет приватности#

Рандомизированный алгоритм M является ε-дифференциально приватным, если для любых двух наборов данных D и D′, различающихся одной записью, и любого множества выходных значений S выполняется Pr[M(D) ∈ S] ≤ e^ε × Pr[M(D′) ∈ S]. Параметр эпсилон (ε) ограничивает степень влияния одного человека на результат: чем меньше значение, тем выше приватность и сильнее шум. Ослабленная версия (ε, δ) допускает нарушение этого ограничения с крошечной вероятностью δ, обычно намного меньшей, чем единица, делённая на число записей.

Уровень шума рассчитывается с учётом чувствительности — максимального изменения результата из-за одной записи. Счётчик может измениться не более чем на 1, поэтому механизм Лапласа возвращает истинное значение счётчика с добавленным шумом Лапласа масштаба 1/ε. Потери приватности также накапливаются: ответы на k запросов при ε для каждого расходуют в сумме до k × ε, поэтому организации задают бюджет приватности для набора данных и прекращают отвечать после его исчерпания. Приведённый ниже фрагмент кода возвращает значение одного счётчика при трёх уровнях приватности и измеряет ошибку, а также то, как часто атакующий, видящий результат, может определить, присутствовал ли в данных конкретный человек:

import numpy as np

rng = np.random.default_rng(0)

# A count over 1,000 records, and a neighboring dataset with one person removed
true_count = 412
neighbor_count = true_count - 1

for epsilon in (0.1, 1.0, 10.0):
    # Laplace mechanism: a count has sensitivity 1, so the noise scale is 1 / epsilon
    released = true_count + rng.laplace(scale=1 / epsilon, size=100_000)
    released_neighbor = neighbor_count + rng.laplace(scale=1 / epsilon, size=100_000)

    # Utility: average error. Privacy: accuracy of guessing whether the person is included
    error = np.abs(released - true_count).mean()
    threshold = true_count - 0.5
    attack = ((released > threshold).mean() + (released_neighbor <= threshold).mean()) / 2
    print(f"epsilon={epsilon:<4} mean error={error:6.2f}  attacker accuracy={attack:.1%}")

При ε = 0,1 средняя ошибка составляет 9,98, а атакующий угадывает в 52,5% случаев — едва лучше подбрасывания монеты. При ε = 1 ошибка снижается до 1,00, а доля правильных ответов атакующего возрастает до 69,5%; при ε = 10 ошибка составляет 0,10, а атакующий добивается успеха в 99,7% случаев. Максимальная точность атакующего против результата, обеспеченного ε-дифференциальной приватностью, равна e^ε / (1 + e^ε): 52,5% при ε = 0,1 и 73,1% при ε = 1.

Обучение с дифференциальной приватностью#

DP-SGD, предложенный Мартином Абади и коллегами из Google в 2016 году, обеспечивает дифференциальную приватность глубокого обучения, изменяя стохастический градиентный спуск. Градиент каждого обучающего примера ограничивается максимальной нормой, чтобы ни один пример не мог слишком сильно изменить веса модели; к сумме градиентов каждого пакета добавляется гауссовский шум, а специальный механизм учёта приватности отслеживает общий расход ε за время обучения. Это ограничивает объём информации об отдельном примере, который может запомнить обученная модель, и напрямую сдерживает атаки с определением принадлежности. За это приходится платить снижением точности и дополнительными вычислениями, поэтому для DP-моделей обычно нужны более крупные пакеты и наборы данных. Выпущенная в 2025 году VaultGemma от Google — это большая языковая модель с 1 миллиардом параметров, полностью предварительно обученная с помощью DP-SGD при ε ≤ 2,0 и δ ≤ 1,1e-10.

Библиотеки вроде Opacus от Meta для PyTorch вычисляют градиенты для каждого примера, необходимые DP-SGD, и отклоняют слои, которые смешивают информацию между примерами. Типичный пример — пакетная нормализация: нормализованное значение каждого примера зависит от остальных примеров в пакете. Такому свёрточному детектору, как Ultralytics YOLO26, блоки свёртки которого применяют пакетную нормализацию после каждой свёртки, перед обучением с DP-SGD необходимо заменить эти слои на групповую нормализацию; Opacus автоматически выполняет такую замену с помощью ModuleValidator.fix().

Где применяется дифференциальная приватность#

• Официальная статистика: перепись населения США 2020 года стала первой переписью, результаты которой публиковались с использованием дифференциальной приватности.
• Локальная дифференциальная приватность: RAPPOR от Google в Chrome (2014) и функции iOS от Apple (2016) добавляют шум на устройстве до отправки данных, поэтому компания узнаёт общие тенденции, например популярность эмодзи, не собирая истинные значения отдельных пользователей.
• Федеративное обучение: сохраняет данные на устройствах, а добавление DP к обновлениям общей модели ограничивает объём информации о данных отдельных пользователей, которую эти обновления раскрывают.
• Синтетические данные: генераторы, обученные с DP, создают наборы данных, которыми можно делиться, сохраняя ту же гарантию ε для людей из исходных данных.

Дифференциальная приватность — один из методов в более широкой области конфиденциальности данных; она дополняет безопасность данных и конфиденциальный ИИ, защищающие данные от несанкционированного доступа при хранении и обработке. Документ NIST SP 800-226, утверждённый в марте 2025 года, содержит рекомендации по оценке гарантий дифференциальной приватности и предупреждает: заявление о значении ε имеет смысл только вместе с указанием защищаемой единицы приватности, например отдельного события или человека.