Differential Privacy

Quyền riêng tư vi sai (DP) là định nghĩa toán học về quyền riêng tư dành cho các thuật toán phân tích dữ liệu: một thuật toán được gọi là có quyền riêng tư vi sai nếu phân phối đầu ra hầu như không thay đổi khi thêm hoặc xóa hồ sơ của bất kỳ cá nhân nào khỏi dữ liệu đầu vào. Bất kể người quan sát học được gì từ đầu ra, họ gần như cũng đã biết được từng ấy thông tin nếu không có dữ liệu của cá nhân đó; do vậy, kết quả hầu như không tiết lộ thông tin cụ thể về người đó. Kỹ thuật này được dùng để công bố kết quả phân tích dữ liệu và huấn luyện model machine learning trên dữ liệu nhạy cảm như ảnh y tế và dữ liệu nhập bàn phím. Cynthia Dwork, Frank McSherry, Kobbi Nissim và Adam Smith giới thiệu định nghĩa này trong bài báo năm 2006 Hiệu chỉnh nhiễu theo độ nhạy trong phân tích dữ liệu riêng tư, công trình giúp họ nhận Giải thưởng Gödel năm 2017. Cam kết này có hiệu lực trước kẻ tấn công sở hữu mọi lượng thông tin bên ngoài; đây là điểm mà phương pháp ẩn danh hóa truyền thống thất bại: các bản ghi đã loại bỏ thông tin nhận dạng vẫn có thể bị nhận diện lại bằng cách liên kết với cơ sở dữ liệu khác.

Epsilon, độ nhạy và ngân sách quyền riêng tư#

Thuật toán ngẫu nhiên M được gọi là có quyền riêng tư vi sai ε nếu với mọi cặp tập dữ liệu D và D′ khác nhau ở một bản ghi, và mọi tập đầu ra S, Pr[M(D) ∈ S] ≤ e^ε × Pr[M(D′) ∈ S]. Tham số epsilon (ε) giới hạn mức độ một cá nhân có thể làm thay đổi đầu ra: giá trị nhỏ hơn đồng nghĩa với quyền riêng tư cao hơn và kết quả nhiễu hơn. Phiên bản nới lỏng (ε, δ) cho phép giới hạn này không được đáp ứng với xác suất rất nhỏ δ, thường nhỏ hơn nhiều so với một chia cho số bản ghi.

Nhiễu được hiệu chỉnh theo độ nhạy, tức mức tối đa mà một bản ghi có thể làm thay đổi kết quả. Một phép đếm thay đổi tối đa 1, vì vậy cơ chế Laplace trả về số đếm thực cộng với nhiễu Laplace có scale 1/ε. Tổn thất quyền riêng tư cũng tích lũy: trả lời k truy vấn với mức ε cho mỗi truy vấn tiêu tốn tổng cộng tối đa k × ε, do đó các tổ chức đặt ngân sách quyền riêng tư cho tập dữ liệu và ngừng trả lời khi ngân sách đã dùng hết. Đoạn mã dưới đây công bố một số đếm ở ba mức quyền riêng tư và đo cả sai số lẫn tần suất kẻ tấn công nhìn thấy đầu ra có thể đoán đúng việc dữ liệu có chứa một cá nhân hay không:

import numpy as np

rng = np.random.default_rng(0)

# A count over 1,000 records, and a neighboring dataset with one person removed
true_count = 412
neighbor_count = true_count - 1

for epsilon in (0.1, 1.0, 10.0):
    # Laplace mechanism: a count has sensitivity 1, so the noise scale is 1 / epsilon
    released = true_count + rng.laplace(scale=1 / epsilon, size=100_000)
    released_neighbor = neighbor_count + rng.laplace(scale=1 / epsilon, size=100_000)

    # Utility: average error. Privacy: accuracy of guessing whether the person is included
    error = np.abs(released - true_count).mean()
    threshold = true_count - 0.5
    attack = ((released > threshold).mean() + (released_neighbor <= threshold).mean()) / 2
    print(f"epsilon={epsilon:<4} mean error={error:6.2f}  attacker accuracy={attack:.1%}")

Ở ε = 0.1, sai số trung bình là 9.98 và kẻ tấn công đoán đúng 52.5% số lần, chỉ nhỉnh hơn tung đồng xu. Ở ε = 1, sai số giảm còn 1.00 và kẻ tấn công đạt 69.5%; ở ε = 10, sai số là 0.10 trong khi kẻ tấn công thành công 99.7% số lần. Độ chính xác cao nhất mà kẻ tấn công có thể đạt được trước đầu ra có quyền riêng tư vi sai ε là e^ε / (1 + e^ε), tương ứng 52.5% khi ε = 0.1 và 73.1% khi ε = 1.

Huấn luyện có quyền riêng tư vi sai#

DP-SGD, do Martín Abadi và các cộng sự tại Google giới thiệu năm 2016, tạo quyền riêng tư vi sai cho deep learning bằng cách điều chỉnh stochastic gradient descent. Phương pháp này cắt gradient của từng ví dụ huấn luyện theo norm tối đa để không ví dụ riêng lẻ nào có thể làm thay đổi trọng số model quá nhiều, thêm nhiễu Gaussian vào tổng gradient của mỗi batch và dùng bộ tính toán quyền riêng tư để theo dõi tổng ε đã tiêu tốn trong quá trình huấn luyện. Kết quả giới hạn mức độ model đã huấn luyện có thể ghi nhớ bất kỳ ví dụ nào, qua đó trực tiếp hạn chế các cuộc tấn công suy luận tư cách thành viên. Đổi lại, phương pháp này làm giảm độ chính xác và tăng chi phí tính toán, nên các model DP thường cần batch và tập dữ liệu lớn hơn. VaultGemma của Google, phát hành năm 2025, là một large language model có 1 tỷ tham số, được tiền huấn luyện hoàn toàn bằng DP-SGD với ε ≤ 2.0 và δ ≤ 1.1e-10.

Các thư viện như Opacus của Meta dành cho PyTorch tính gradient cho từng ví dụ mà DP-SGD yêu cầu và từ chối các layer trộn thông tin giữa các ví dụ. Trường hợp phổ biến là batch normalization, vì giá trị đã chuẩn hóa của mỗi ví dụ phụ thuộc vào phần còn lại của batch. Detector tích chập như Ultralytics YOLO26, có các block tích chập áp dụng batch normalization sau mỗi lớp tích chập, cần thay các layer đó bằng group normalization trước khi huấn luyện bằng DP-SGD; Opacus tự động áp dụng phương án thay thế này.

Ứng dụng của quyền riêng tư vi sai#

• Thống kê chính thức: Điều tra dân số Hoa Kỳ năm 2020 là cuộc điều tra dân số 10 năm đầu tiên công bố kết quả theo cơ chế quyền riêng tư vi sai.
• Quyền riêng tư vi sai cục bộ: RAPPOR của Google trong Chrome (2014) và các tính năng iOS của Apple (2016) thêm nhiễu trên thiết bị trước khi dữ liệu rời khỏi thiết bị, giúp công ty biết các xu hướng tổng hợp, chẳng hạn emoji nào phổ biến, mà không thu thập giá trị thực của bất kỳ người dùng nào.
• Học liên kết: Giữ dữ liệu trên thiết bị; việc bổ sung DP vào các bản cập nhật model dùng chung giúp giới hạn lượng thông tin tiết lộ về dữ liệu của bất kỳ người dùng nào.
• Dữ liệu tổng hợp: Các bộ tạo được huấn luyện bằng DP tạo ra tập dữ liệu có thể chia sẻ, với cùng cam kết ε dành cho những người có dữ liệu gốc trong đó.

Quyền riêng tư vi sai là một kỹ thuật trong lĩnh vực rộng hơn về quyền riêng tư dữ liệu, đồng thời bổ trợ cho bảo mật dữ liệu và AI bảo mật, vốn bảo vệ dữ liệu khỏi truy cập trái phép trong quá trình lưu trữ và xử lý. SP 800-226 của NIST, hoàn thiện vào tháng 3 năm 2025, đưa ra hướng dẫn đánh giá các cam kết quyền riêng tư vi sai và cảnh báo rằng tuyên bố về ε chỉ có ý nghĩa khi đi kèm đơn vị quyền riêng tư được bảo vệ, chẳng hạn một sự kiện hoặc một cá nhân.