Cấp phép YOLO
Quay lại Bảng thuật ngữ Ultralytics

AI Red Teaming

Red teaming AI tấn công các hệ thống AI bằng đối thủ mô phỏng và các hành vi sử dụng sai mục đích để phát hiện jailbreak, rò rỉ dữ liệu, đầu ra có hại và lỗi về độ bền vững.

Red teaming AI là hoạt động kiểm thử đối kháng có cấu trúc, trong đó con người và công cụ tự động đóng vai kẻ tấn công hoặc người sử dụng sai mục đích để tìm cách khiến một hệ thống trí tuệ nhân tạo (AI) thất bại, làm rò rỉ dữ liệu hoặc gây hại trước khi được phát hành. Tên gọi này bắt nguồn từ các cuộc diễn tập quân sự và an ninh mạng, trong đó đội đỏ tấn công hệ thống phòng thủ của một tổ chức. Các đội red team AI kiểm thử cả hành vi của model lẫn phần mềm xung quanh: liệu một mô hình ngôn ngữ lớn (LLM) có thể bị dụ đưa ra chỉ dẫn nguy hiểm hay không, liệu một AI agent có thể bị điều hướng để sử dụng sai công cụ hay không, hoặc liệu một model thị giác máy tính có thể bị đánh lừa bằng một miếng dán hay không. Theo Đạo luật AI của EU, nhà cung cấp các model AI đa dụng có rủi ro hệ thống phải tiến hành và lập hồ sơ kiểm thử đối kháng các model.

Cách hoạt động của đội red team AI#

Một cuộc diễn tập bắt đầu bằng mô hình mối đe dọa: ai có thể tấn công hoặc sử dụng sai hệ thống, họ có thể thu được gì và những tác hại nào quan trọng nhất trong ứng dụng đó. Sau đó, người kiểm thử tạo các cuộc tấn công, chạy chúng trên mục tiêu và chấm điểm phản hồi. Mỗi cuộc tấn công thành công trở thành một phát hiện để xây dựng biện pháp giảm thiểu, chẳng hạn như fine-tuning bổ sung, hàng rào bảo vệ AI mới hoặc quyền sử dụng công cụ chặt chẽ hơn; sau đó hệ thống đã được giảm thiểu lại bị tấn công.

Người tham gia red team mang đến sự sáng tạo và chuyên môn lĩnh vực. Các nhà nghiên cứu Anthropic phát hành bộ dữ liệu gồm 38,961 cuộc tấn công red team do cộng tác viên cộng đồng viết ra, nhắm vào các model có từ 2.7 đến 52 tỷ tham số; họ nhận thấy model được huấn luyện bằng học tăng cường từ phản hồi của con người (RLHF) ngày càng khó bị red team khi kích thước tăng lên, trong khi các loại model khác được thử nghiệm thì không. Tự động hóa mở rộng phạm vi tìm kiếm: các nhà nghiên cứu DeepMind dùng một model ngôn ngữ tạo ca kiểm thử cho model khác và phát hiện hàng chục nghìn phản hồi xúc phạm từ một chatbot có 280 tỷ tham số. Các công cụ mã nguồn mở như PyRIT của Microsoft và garak của NVIDIA tự động hóa các cuộc tấn công một lượt và nhiều lượt, đồng thời chấm điểm phản hồi; cơ sở tri thức MITRE ATLAS lập danh mục chiến thuật của đối thủ nhắm vào hệ thống AI theo phong cách của framework ATT&CK.

Red team tìm kiếm những gì#

  • Jailbreak: Prompt, nhập vai hoặc hội thoại dài khiến model tạo ra nội dung mà lẽ ra cơ chế huấn luyện an toàn phải từ chối.
  • Prompt injection: Chỉ dẫn ẩn trong tài liệu, trang web, email hoặc hình ảnh nhằm chiếm quyền điều khiển ứng dụng hoặc agent được xây dựng trên LLM.
  • Rò rỉ quyền riêng tư: Trích xuất dữ liệu cá nhân đã bị ghi nhớ hoặc system prompt ẩn, hay chứng minh rằng một bản ghi cụ thể có trong tập huấn luyện.
  • Thiên lệch có hại: Đầu ra rập khuôn về con người hoặc đối xử khác biệt giữa các nhóm.
  • Ảo giác: Những phát biểu sai nhưng được trình bày đầy tự tin trong các tình huống người dùng hành động dựa trên câu trả lời, chẳng hạn như câu hỏi pháp lý hoặc y tế.
  • Năng lực nguy hiểm: Hỗ trợ đáng kể cho các cuộc tấn công mạng hoặc vũ khí sinh học; chuyên gia lĩnh vực kiểm thử những năng lực này trước khi phát hành model tiên tiến.

Red teaming các model thị giác#

Các đội red team thị giác tìm kiếm tấn công đối kháng trong môi trường vật lý, chẳng hạn như miếng dán in khiến detector không nhận ra người; tìm điều kiện ánh sáng và thời tiết chưa có trong dữ liệu huấn luyện; và tìm trigger cửa hậu được cài thông qua đầu độc dữ liệu. Một phương pháp tự động đơn giản áp dụng danh sách phép biến đổi lên ảnh rồi đánh dấu những phép làm thay đổi đối tượng mà model nhận diện. Ví dụ dưới đây tấn công Ultralytics YOLO26 bằng cách mô phỏng ban đêm, sương mù, nhòe do chuyển động và camera lộn ngược thông qua chế độ predict, vốn nhận trực tiếp ảnh OpenCV, rồi đếm số người model vẫn phát hiện được trong cảnh đường phố:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

Trong lần chạy này, YOLO26 vẫn phát hiện đủ cả 4 người vào ban đêm, trong sương mù và khi ảnh bị lộn ngược, nhưng hiện tượng nhòe do chuyển động mạnh làm số người giảm xuống còn 2, còn độ phân giải thấp làm số người giảm xuống còn 3. Mỗi điều kiện khiến số lượng giảm so với ban đầu trở thành một phát hiện cần xử lý bằng tăng cường dữ liệu mô phỏng điều kiện đó trong quá trình huấn luyện, bổ sung ảnh huấn luyện mới hoặc ghi nhận giới hạn triển khai model.

Red teaming AI có những điểm giao thoa với một số hoạt động thường bị nhầm lẫn:

  • Kiểm thử xâm nhập: Thăm dò mạng và phần mềm để tìm lỗ hổng có thể bị khai thác. Red teaming AI cũng nhắm vào hành vi của model, vốn mang tính xác suất; do đó, một prompt thất bại ở lần thử đầu vẫn có thể thành công khi thử lại.
  • Benchmark: Chấm điểm model trên một tập kiểm thử cố định. Red team tìm kiếm lỗi theo hướng mở; các cuộc tấn công thành công thường trở thành tập kiểm thử cho những model sau này.
  • An toàn AI: Lĩnh vực rộng hơn nhằm ngăn hệ thống AI gây hại, trong đó red teaming được sử dụng cùng với huấn luyện an toàn, nghiên cứu khả năng diễn giải và giám sát các hệ thống đã triển khai.

Đội AI Red Team của Microsoft tổng hợp bài học từ hoạt động red teaming trên hơn 100 sản phẩm AI tạo sinh thành tám điểm, trong đó có nhận định “không cần tính gradient để phá vỡ một hệ thống AI”: các kỹ thuật cơ bản như prompt engineering thường hiệu quả ngang với tấn công dựa trên gradient, vốn đòi hỏi quyền truy cập đầy đủ vào model—điều mà hầu hết hệ thống AI thương mại không cung cấp.

Khám phá các giải pháp

Thị giác máy tính trong thể thao

Thị giác máy tính trong thể thao

Khám phá cách Ultralytics YOLO thúc đẩy thị giác máy tính trong thể thao với khả năng theo dõi cầu thủ và bóng, phân tích hiệu suất, cung cấp thông tin chuyên sâu cho huấn luyện và hỗ trợ phục hồi cho vận động viên.
Tìm hiểu thêm
Thị giác máy tính cho ảnh hàng không

Thị giác máy tính cho ảnh hàng không

Chuyển hình ảnh từ drone và ảnh hàng không thành thông tin chuyên sâu theo thời gian thực cho nông nghiệp, nuôi trồng thủy sản, bảo tồn và phân tích không gian địa lý với Ultralytics YOLO.
Tìm hiểu thêm
Thị giác máy tính trong hàng không vũ trụ

Thị giác máy tính trong hàng không vũ trụ

Ứng dụng computer vision trong ngành hàng không vũ trụ với Ultralytics YOLO cho kiểm tra máy bay, phát hiện dị vật trên đường băng (FOD), vận hành mặt đất tại sân bay và phát hiện lỗi vật liệu composite.
Tìm hiểu thêm
Computer vision trong lĩnh vực an ninh

Computer vision trong lĩnh vực an ninh

Bảo vệ mọi địa điểm bằng model Ultralytics YOLO. Vision AI hỗ trợ giám sát vành đai, phát hiện mối đe dọa, nhận dạng biển số và an toàn nơi làm việc.
Tìm hiểu thêm
Computer vision trong robotics

Computer vision trong robotics

Tăng cường năng lực cho máy móc thông minh bằng model Ultralytics YOLO. Vision AI trong lĩnh vực robotics hỗ trợ điều hướng tự động, nhận thức, theo dõi đối tượng và điều khiển theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong logistics

Thị giác máy tính trong logistics

Tinh giản hoạt động logistics với các model Ultralytics YOLO. Vision AI hỗ trợ kiểm tra kiện hàng, phân loại, theo dõi phương tiện và giám sát an toàn kho hàng theo thời gian thực.
Tìm hiểu thêm
Thị giác máy tính trong bán lẻ

Thị giác máy tính trong bán lẻ

Định hình lại hoạt động bán lẻ với các model Ultralytics YOLO. Vision AI hỗ trợ theo dõi hàng tồn kho, giám sát kệ hàng, quản lý hàng chờ và phân tích khách hàng thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong chăm sóc sức khỏe

Thị giác máy tính trong chăm sóc sức khỏe

Xây dựng các giải pháp chăm sóc sức khỏe với model Ultralytics YOLO. Vision AI trong chăm sóc sức khỏe hỗ trợ xử lý hình ảnh y tế nhanh hơn, chẩn đoán thông minh hơn và theo dõi bệnh nhân.
Tìm hiểu thêm
Thị giác máy tính trong sản xuất

Thị giác máy tính trong sản xuất

Tối ưu hóa sản xuất bằng các model Ultralytics YOLO. Vision AI thúc đẩy kiểm soát chất lượng, phát hiện lỗi, tuân thủ PPE và tự động hóa dây chuyền lắp ráp.
Tìm hiểu thêm
Thị giác máy tính trong ngành ô tô

Thị giác máy tính trong ngành ô tô

Ứng dụng thị giác máy tính trong ngành ô tô với các model Ultralytics YOLO. Vision AI nâng cao an toàn giao thông, hỗ trợ người lái và tự động hóa phương tiện để tạo nên những tuyến đường thông minh hơn.
Tìm hiểu thêm
Thị giác máy tính trong nông nghiệp

Thị giác máy tính trong nông nghiệp

Ứng dụng AI thị giác vào nông nghiệp thông minh với các model Ultralytics YOLO. Hỗ trợ giám sát cây trồng, theo dõi vật nuôi và canh tác chính xác để nâng cao năng suất một cách thông minh hơn.
Tìm hiểu thêm

Hãy cùng nhau kiến tạo tương lai của AI!

Bắt đầu hành trình hướng đến tương lai của machine learning