Licenciar o YOLO
Voltar ao glossário da Ultralytics

AI Red Teaming

A equipa vermelha de IA testa sistemas de IA com adversários simulados e cenários de utilização indevida para encontrar jailbreaks, fugas de dados, resultados prejudiciais e falhas de robustez.

A equipa vermelha de IA consiste em testes adversariais estruturados nos quais pessoas e ferramentas automatizadas assumem o papel de atacantes ou utilizadores mal-intencionados para descobrir como um sistema de inteligência artificial (AI) pode falhar, divulgar dados ou causar danos antes de ser lançado. O nome vem de exercícios militares e da cibersegurança, em que uma equipa vermelha ataca as defesas de uma organização. As equipas vermelhas de IA testam tanto o comportamento do modelo como o software à sua volta: se é possível convencer um modelo de linguagem grande (LLM) a dar instruções perigosas, se um agente de IA pode ser levado a utilizar indevidamente as suas ferramentas ou se um modelo de visão computacional pode ser enganado por um autocolante. Nos termos do Regulamento da UE sobre IA, os fornecedores de modelos de IA de finalidade geral com risco sistémico têm de realizar e documentar testes adversariais dos seus modelos.

Como funciona uma equipa vermelha de IA#

O exercício começa com um modelo de ameaças: quem poderá atacar ou utilizar indevidamente o sistema, o que poderá ganhar com isso e quais os danos mais relevantes para a aplicação. Em seguida, os testadores criam ataques, executam-nos contra o alvo e avaliam as respostas. Cada ataque bem-sucedido transforma-se numa descoberta que orienta uma medida de mitigação, como ajustes finos adicionais, novas proteções para IA ou permissões mais restritas para as ferramentas; depois, volta-se a atacar o sistema mitigado.

Os membros humanos das equipas vermelhas contribuem com criatividade e experiência no domínio. Investigadores da Anthropic lançaram um conjunto de dados com 38 961 ataques de equipa vermelha escritos por colaboradores externos contra modelos com 2,7 a 52 mil milhões de parâmetros. Constataram que, à medida que cresciam, os modelos treinados com aprendizagem por reforço a partir de feedback humano (RLHF) se tornavam mais difíceis de testar com equipas vermelhas, ao contrário dos outros tipos de modelos avaliados. A automatização alarga a pesquisa: investigadores da DeepMind usaram um modelo de linguagem para gerar casos de teste para outro e descobriram dezenas de milhares de respostas ofensivas de um chatbot com 280 mil milhões de parâmetros. Ferramentas de código aberto, como o PyRIT da Microsoft e o garak da NVIDIA, automatizam ataques de uma ou várias interações e avaliam as respostas; a base de conhecimentos MITRE ATLAS cataloga táticas adversárias contra sistemas de IA segundo o modelo da estrutura ATT&CK.

O que procuram as equipas vermelhas#

  • Jailbreaks: Prompts, representação de papéis ou conversas longas que levam um modelo a produzir conteúdo que a sua formação de segurança deveria impedir.
  • Injeção de prompts: Instruções ocultas em documentos, páginas Web, e-mails ou imagens que sequestram uma aplicação ou um agente baseado num LLM.
  • Fugas de privacidade: Extração de dados pessoais memorizados ou de um prompt de sistema oculto, ou demonstração de que um registo específico fez parte do conjunto de treino.
  • Enviesamento prejudicial: Resultados que reforçam estereótipos sobre pessoas ou tratam grupos de forma diferente.
  • Alucinações: Afirmações falsas apresentadas com confiança em contextos onde os utilizadores agem com base na resposta, como questões jurídicas ou médicas.
  • Capacidades perigosas: Ajuda significativa em ciberataques ou armas biológicas, avaliada por especialistas no domínio antes do lançamento de um modelo de fronteira.

Testes de equipa vermelha em modelos de visão#

As equipas vermelhas de visão procuram ataques adversariais físicos, como autocolantes impressos que ocultam uma pessoa de um detetor; condições de iluminação e meteorológicas que os dados de treino nunca abrangeram; e acionadores de backdoor introduzidos por envenenamento de dados. Uma versão automatizada simples aplica a uma imagem uma lista de transformações e assinala as que alteram o que o modelo vê. O exemplo seguinte ataca o Ultralytics YOLO26 com simulações de noite, nevoeiro, desfocagem de movimento e uma câmara invertida através do modo de previsão, que aceita diretamente imagens OpenCV, e conta as pessoas que ainda deteta numa cena urbana:

import cv2
import numpy as np
from ultralytics import YOLO
from ultralytics.utils import ASSETS

model = YOLO("yolo26n.pt")
image = cv2.imread(str(ASSETS / "bus.jpg"))

# Each attack simulates a condition the detector may meet after deployment
attacks = {
    "original": image,
    "night": cv2.convertScaleAbs(image, alpha=0.2, beta=0),
    "fog": cv2.addWeighted(image, 0.3, np.full_like(image, 220), 0.7, 0),
    "motion blur": cv2.filter2D(image, -1, np.ones((1, 61)) / 61),
    "low resolution": cv2.resize(cv2.resize(image, None, fx=1 / 8, fy=1 / 8), image.shape[1::-1]),
    "upside down": cv2.flip(image, -1),
}

# Count the people YOLO26 still detects under each attack (class 0 is "person")
for name, attacked in attacks.items():
    result = model(attacked, verbose=False)[0]
    print(f"{name}: {int((result.boxes.cls == 0).sum())} people")

Nesta execução, o YOLO26 continua a encontrar as 4 pessoas à noite, no nevoeiro e com a imagem invertida, mas a desfocagem de movimento intensa reduz a contagem para 2 e a baixa resolução reduz-na para 3. Cada condição que faz a contagem ficar abaixo do valor original torna-se numa descoberta, que pode ser resolvida com aumento de dados que a simule durante o treino, novas imagens de treino ou uma limitação documentada dos contextos em que o modelo é implementado.

Os testes de equipa vermelha em IA sobrepõem-se a várias práticas com as quais são frequentemente confundidos:

  • Testes de penetração: Procuram vulnerabilidades exploráveis em redes e software. Os testes de equipa vermelha em IA também visam o comportamento do modelo, que é probabilístico; por isso, um prompt que falha uma vez pode funcionar numa nova tentativa.
  • Benchmarks: Avaliam um modelo num conjunto de teste fixo. As equipas vermelhas procuram falhas sem se limitarem a um conjunto predefinido, e os ataques bem-sucedidos tornam-se muitas vezes conjuntos de teste para modelos posteriores.
  • Segurança da IA: Área mais ampla dedicada a impedir que os sistemas de IA causem danos, que recorre a testes de equipa vermelha, treino de segurança, investigação de interpretabilidade e monitorização dos sistemas implementados.

A equipa vermelha de IA da Microsoft resumiu em oito pontos as suas lições dos testes de equipa vermelha a mais de 100 produtos de IA generativa, incluindo que «não é preciso calcular gradientes para quebrar um sistema de IA»: técnicas básicas, como a engenharia de prompts, funcionaram muitas vezes tão bem como os ataques baseados em gradientes, que exigem acesso total ao modelo, algo que a maioria dos sistemas comerciais de IA não oferece.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina