YOLO 라이선스 받기
Ultralytics 용어집으로 돌아가기

AI Red Teaming

AI 레드팀은 모의 공격자와 악용 시나리오로 AI 시스템을 공격해 탈옥, 데이터 유출, 유해한 출력, 견고성 실패를 찾아냅니다.

AI 레드팀 테스트는 사람과 자동화 도구가 공격자나 악용자의 역할을 맡아, 공개 전에 인공지능(AI) 시스템이 실패하거나 데이터를 유출하거나 피해를 일으킬 수 있는 방식을 찾는 체계적인 적대적 테스트입니다. 이 명칭은 조직의 방어를 공격하는 레드팀을 두는 군사 훈련과 사이버 보안에서 유래했습니다. AI 레드팀은 모델 동작뿐 아니라 주변 소프트웨어도 테스트합니다. 대규모 언어 모델(LLM)이 위험한 지침을 제공하도록 유도할 수 있는지, AI 에이전트를 조종해 도구를 오용하게 할 수 있는지, 또는 컴퓨터 비전 모델을 스티커로 속일 수 있는지 등을 확인합니다. EU AI Act에 따라 시스템적 위험이 있는 범용 AI 모델 제공자는 모델에 대한 적대적 테스트를 수행하고 문서화해야 합니다.

AI 레드팀의 운영 방식#

레드팀 훈련은 위협 모델부터 시작합니다. 누가 시스템을 공격하거나 악용할 수 있는지, 어떤 이득을 얻을 수 있는지, 해당 애플리케이션에서 어떤 피해가 가장 중요한지 파악합니다. 그런 다음 테스터가 공격을 생성해 대상 시스템에 적용하고 응답을 평가합니다. 공격에 성공하면 그 결과를 문제점으로 기록하고, 추가 미세 조정, 새로운 AI 가드레일, 더 엄격한 도구 권한 등의 완화 조치에 반영한 뒤 개선된 시스템을 다시 공격합니다.

사람으로 구성된 레드팀은 창의성과 도메인 전문성을 제공합니다. Anthropic 연구진은 크라우드워커가 27억~520억 개의 파라미터를 가진 모델을 대상으로 작성한 레드팀 공격 38,961건 데이터셋을 공개했습니다. 연구진은 인간 피드백 기반 강화 학습(RLHF)으로 학습한 모델은 규모가 커질수록 레드팀 공격에 더 잘 견뎠지만, 테스트한 다른 유형의 모델에서는 그렇지 않았다고 밝혔습니다. 자동화는 탐색 범위를 넓힙니다. DeepMind 연구진은 언어 모델 하나로 다른 모델의 테스트 사례를 생성해 2,800억 개 파라미터를 가진 챗봇에서 수만 건의 공격적인 답변을 찾아냈습니다. Microsoft의 PyRIT, NVIDIA의 garak 등 오픈 소스 도구는 단일 턴 및 다중 턴 공격을 자동으로 수행하고 응답을 평가합니다. MITRE ATLAS 지식 베이스는 ATT&CK 프레임워크와 유사한 방식으로 AI 시스템을 겨냥한 공격자 전술을 분류합니다.

레드팀이 확인하는 항목#

  • 탈옥: 모델이 안전성 학습에 따라 거부해야 하는 콘텐츠를 생성하게 만드는 프롬프트, 역할극, 장시간 대화입니다.
  • 프롬프트 인젝션: LLM을 기반으로 구축된 애플리케이션이나 에이전트를 탈취하는 문서, 웹 페이지, 이메일, 이미지 속 숨겨진 지침입니다.
  • 개인정보 유출: 기억된 개인 데이터나 숨겨진 시스템 프롬프트를 추출하거나 특정 레코드가 학습 데이터에 포함되었음을 입증하는 것입니다.
  • 유해한 편향: 사람들을 고정관념으로 묘사하거나 집단마다 다르게 대하는 출력입니다.
  • 환각: 법률이나 의료 질문처럼 사용자가 답변에 따라 행동하는 상황에서 나타나는 자신감 있는 허위 진술입니다.
  • 위험한 역량: 최첨단 모델 공개 전에 도메인 전문가가 테스트하는 사이버 공격 또는 생물학 무기와 관련된 실질적인 지원입니다.

비전 모델 레드팀 테스트#

비전 레드팀은 탐지기에서 사람을 숨기는 인쇄 패치와 같은 물리적 적대적 공격, 학습 데이터에 포함되지 않은 조명과 날씨 조건, 데이터 포이즈닝으로 심은 백도어 트리거를 조사합니다. 간단한 자동화 방식으로는 이미지에 여러 변환을 적용하고 모델의 인식을 바꾸는 변환을 표시합니다. 아래 예제는 예측 모드를 통해 야간, 안개, 모션 블러, 카메라 반전 상황을 시뮬레이션하여 Ultralytics YOLO26을 공격합니다. 예측 모드는 OpenCV 이미지를 직접 입력으로 받으며, 거리 장면에서 모델이 여전히 탐지하는 사람의 수를 계산합니다:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

이 실행에서 YOLO26은 야간, 안개, 화면 반전 상황에서도 사람 4명을 모두 탐지하지만, 강한 모션 블러가 적용되면 탐지 수가 2명으로, 해상도가 낮아지면 3명으로 감소합니다. 탐지 수가 원래보다 낮아지는 각 조건은 문제점으로 기록하고, 학습 중 이를 시뮬레이션하는 데이터 증강, 새 학습 이미지, 또는 모델 배포 위치에 대한 문서화된 제한으로 대응합니다.

AI 레드팀 테스트는 혼동하기 쉬운 여러 활동과 관련이 있습니다:

  • 침투 테스트: 네트워크와 소프트웨어를 조사해 악용 가능한 취약점을 찾습니다. AI 레드팀 테스트는 확률적인 모델 동작도 대상으로 삼으므로, 한 번 실패한 프롬프트가 다시 시도했을 때 성공할 수 있습니다.
  • 벤치마크: 고정된 테스트 세트에서 모델을 평가합니다. 레드팀은 범위를 제한하지 않고 실패 사례를 탐색하며, 성공한 공격은 후속 모델의 테스트 세트가 되는 경우가 많습니다.
  • AI 안전성: AI 시스템이 피해를 일으키지 않도록 하는 더 넓은 분야로, 안전성 학습, 해석 가능성 연구, 배포된 시스템 모니터링과 함께 레드팀 테스트를 활용합니다.

Microsoft AI 레드팀은 생성형 AI 제품 100개 이상을 대상으로 레드팀 테스트를 수행하며 얻은 교훈을 여덟 가지 항목으로 요약했습니다. 여기에는 "AI 시스템을 무너뜨리는 데 기울기를 계산할 필요는 없다"는 내용이 포함됩니다. 프롬프트 엔지니어링과 같은 기본 기법은 기울기 기반 공격만큼 효과적인 경우가 많았습니다. 기울기 기반 공격에는 대부분의 상용 AI 시스템이 제공하지 않는 모델 전체에 대한 접근 권한이 필요합니다.

솔루션 살펴보기

스포츠 분야의 컴퓨터 비전

스포츠 분야의 컴퓨터 비전

Ultralytics YOLO가 선수 및 공 추적, 경기력 분석, 코칭 인사이트, 선수 재활을 통해 스포츠 비전을 구현하는 방법을 알아보세요.
자세히 알아보기
항공 이미지 컴퓨터 비전

항공 이미지 컴퓨터 비전

Ultralytics YOLO를 활용해 드론 및 항공 이미지를 농업, 양식업, 보전, 지리 공간 분석을 위한 실시간 인사이트로 전환하세요.
자세히 알아보기
항공우주 분야의 컴퓨터 비전

항공우주 분야의 컴퓨터 비전

Ultralytics YOLO를 활용해 항공기 검사, 활주로 FOD 감지, 공항 지상 운영, 복합재 결함 감지 등 항공우주 분야에 컴퓨터 비전을 적용하세요.
자세히 알아보기
보안 분야의 컴퓨터 비전

보안 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 모든 시설을 보호하세요. Vision AI는 경계 모니터링, 위협 감지, 번호판 인식, 작업장 안전을 지원합니다.
자세히 알아보기
로보틱스 분야의 컴퓨터 비전

로보틱스 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 더 스마트한 머신을 구현하세요. 로보틱스 분야의 Vision AI는 자율 주행, 인식, 객체 추적, 실시간 제어를 지원합니다.
자세히 알아보기
물류 분야의 컴퓨터 비전

물류 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 물류를 간소화하세요. 비전 AI는 화물 검사, 분류, 차량 추적, 실시간 창고 안전 모니터링을 지원합니다.
자세히 알아보기
리테일 분야의 컴퓨터 비전

리테일 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 리테일의 새로운 가능성을 열어 보세요. 비전 AI는 재고 추적, 선반 모니터링, 대기열 관리, 더욱 심층적인 고객 인사이트를 지원합니다.
자세히 알아보기
의료 분야의 컴퓨터 비전

의료 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 의료 솔루션을 구축하세요. 의료 분야의 비전 AI는 의료 영상 판독을 가속화하고, 진단을 개선하며, 환자 모니터링을 지원합니다.
자세히 알아보기
제조 분야의 컴퓨터 비전

제조 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 제조 공정을 최적화하세요. 비전 AI는 품질 관리, 결함 탐지, PPE 규정 준수, 조립 라인 자동화를 지원합니다.
자세히 알아보기
자동차 분야의 컴퓨터 비전

자동차 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 자동차 분야에 컴퓨터 비전을 적용하세요. 비전 AI는 도로 안전, 운전자 지원, 차량 자동화를 개선해 더 스마트한 도로를 구현합니다.
자세히 알아보기
농업 분야의 컴퓨터 비전

농업 분야의 컴퓨터 비전

Ultralytics YOLO 모델로 스마트 농업에 비전 AI를 도입하세요. 작물 모니터링, 가축 추적, 정밀 농업을 지원하여 더 높은 수확량과 더 스마트한 농업을 실현합니다.
자세히 알아보기

함께 AI의 미래를 만들어 가세요!

머신러닝의 미래와 함께 여정을 시작하세요