Adversarial Attacks

Các cuộc tấn công đối kháng là một danh mục kỹ thuật thao túng tinh vi được thiết kế để đánh lừa các mô hình machine learning (ML) đưa ra các dự đoán sai lệch với độ tin cậy cao. Các cuộc tấn công này hoạt động bằng cách đưa ra các nhiễu loạn tinh vi, thường không thể nhận thấy vào dữ liệu đầu vào—chẳng hạn như hình ảnh, âm thanh hoặc văn bản. Mặc dù những thay đổi này trông vô hại hoặc ngẫu nhiên đối với người quan sát, chúng khai thác các lỗ hổng toán học cụ thể trong decision boundaries của các mạng thần kinh đa chiều. Khi các hệ thống Artificial Intelligence (AI) trở thành một phần không thể thiếu của cơ sở hạ tầng an toàn trọng yếu, việc hiểu rõ cách thức hoạt động của các lỗ hổng này là điều cần thiết để phát triển các giao thức AI safety và cơ chế phòng thủ vững chắc.

Link to this sectionCách thức hoạt động của các cuộc tấn công đối kháng#

Trong quy trình huấn luyện deep learning (DL) điển hình, một mô hình tối ưu hóa các trọng số của nó để giảm thiểu sai số trên tập dữ liệu huấn luyện. Tuy nhiên, các mô hình này về cơ bản tạo ra các bản đồ phức tạp trong một không gian đa chiều. Một cuộc tấn công đối kháng tính toán "hướng" chính xác trong không gian này để đẩy dữ liệu đầu vào vượt qua ranh giới, làm thay đổi phân loại của mô hình. Ví dụ, trong computer vision (CV), việc thay đổi các giá trị pixel của hình ảnh một con gấu trúc bằng một lượng "nhiễu" được tính toán có thể khiến hệ thống phân loại sai một cách tự tin rằng đó là một con vượn, mặc dù mắt người nhìn vào hình ảnh đó vẫn thấy rõ ràng là một con gấu trúc.

Các chiến lược tấn công thường được phân loại dựa trên mức độ truy cập mà kẻ tấn công có đối với hệ thống mục tiêu:

• White-Box Attacks: Kẻ tấn công có toàn quyền minh bạch vào kiến trúc, gradient và model weights của mô hình. Điều này cho phép chúng tính toán một cách toán học các nhiễu loạn hiệu quả nhất, thường sử dụng các kỹ thuật như Fast Gradient Sign Method (FGSM).
• Black-Box Attacks: Kẻ tấn công không biết gì về các tham số mô hình bên trong và chỉ có thể quan sát đầu vào và đầu ra. Kẻ tấn công thường sử dụng một "mô hình thay thế" để tạo ra các ví dụ đối kháng có khả năng chuyển đổi hiệu quả sang hệ thống mục tiêu, một đặc tính được gọi là tính chuyển đổi (transferability).

Link to this sectionCác ứng dụng thực tiễn và rủi ro#

Mặc dù thường được thảo luận trong nghiên cứu lý thuyết, các cuộc tấn công đối kháng gây ra những rủi ro hữu hình cho các triển khai thực tế, đặc biệt là trong các hệ thống tự hành và bảo mật.

• Autonomous Vehicles: Xe tự lái phụ thuộc rất nhiều vào object detection để hiểu các biển báo giao thông. Nghiên cứu đã chứng minh rằng việc dán các nhãn dán hoặc băng keo được chế tạo cẩn thận lên biển báo dừng có thể đánh lừa hệ thống thị giác của xe, khiến nó nhận thức đó là biển báo giới hạn tốc độ. Loại tấn công trong thế giới vật lý này có thể dẫn đến những thất bại nguy hiểm trong các ứng dụng AI in automotive.
• Trình vượt qua Facial Recognition: Các hệ thống bảo mật kiểm soát quyền truy cập dựa trên sinh trắc học có thể bị tổn hại bởi các "miếng dán" đối kháng. Đây có thể là các mẫu in được đeo trên kính hoặc quần áo nhằm làm gián đoạn quá trình feature extraction. Điều này cho phép một cá nhân không được phép vượt qua sự phát hiện hoàn toàn hoặc mạo danh một người dùng cụ thể, qua mặt các security alarm systems.

Link to this sectionTạo các ví dụ đối kháng bằng Python#

To understand how fragile some models can be, it is helpful to see how easily an image can be perturbed. While standard inference with models like YOLO26 is robust for general use, researchers often simulate attacks to improve model monitoring and defense. The following conceptual example uses PyTorch to show how gradients are used to calculate an adversarial perturbation (noise) for an image.

import torch.nn.functional as F

# Assume 'model' is a loaded PyTorch model and 'image' is a normalized tensor
# 'target_class' is the correct label index for the image


def generate_adversarial_noise(model, image, target_class, epsilon=0.01):
    # Enable gradient calculation for the input image
    image.requires_grad = True

    # Forward pass: get prediction
    output = model(image)

    # Calculate loss based on the correct class
    loss = F.nll_loss(output, target_class)

    # Backward pass: calculate gradients of loss w.r.t input
    model.zero_grad()
    loss.backward()

    # Create perturbation using the sign of the data gradient (FGSM)
    # This pushes the image in the direction of maximizing error
    perturbation = epsilon * image.grad.data.sign()

    return perturbation

Link to this sectionCác khái niệm liên quan#

Điều quan trọng là phải phân biệt các cuộc tấn công đối kháng với các hình thức lỗi hoặc thao túng mô hình khác:

• Data Poisoning: Không giống như các cuộc tấn công đối kháng thao túng đầu vào trong quá trình suy luận (thời điểm kiểm thử), data poisoning liên quan đến việc làm hỏng chính training data trước khi mô hình được xây dựng, bằng cách nhúng các cửa sau hoặc các thiên kiến ẩn.
• Prompt Injection: Điều này đặc thù đối với Large Language Models (LLMs) và các giao diện văn bản. Mặc dù về mặt khái niệm tương tự—đánh lừa mô hình—nó dựa vào việc thao túng ngữ nghĩa ngôn ngữ thay vì nhiễu loạn toán học của dữ liệu pixel hoặc tín hiệu.
• Overfitting: Đây là một lỗi trong quá trình huấn luyện khi một mô hình học nhiễu trong dữ liệu huấn luyện thay vì các quy luật cơ bản. Các mô hình bị overfitting thường dễ bị tấn công đối kháng hơn vì các ranh giới quyết định của chúng quá phức tạp và dễ gãy đổ.

Phát triển khả năng phòng thủ chống lại các cuộc tấn công này là một thành phần cốt lõi của MLOps hiện đại. Các kỹ thuật như adversarial training—nơi các ví dụ bị tấn công được thêm vào tập huấn luyện—giúp các mô hình trở nên kiên cường hơn. Các nền tảng như Ultralytics Platform hỗ trợ các quy trình huấn luyện và xác thực nghiêm ngặt, cho phép các đội ngũ đánh giá độ vững chắc của mô hình trước khi triển khai tới các thiết bị biên.