AI Safety

A segurança da IA é a área de pesquisa e engenharia que busca impedir que sistemas de inteligência artificial (IA) causem danos, seja por acidentes, uso indevido deliberado ou sistemas que perseguem objetivos não pretendidos por seus desenvolvedores. A área abrange sistemas de aprendizagem automática implantados, como a pilha de percepção de um veículo autônomo ou um chatbot de atendimento ao cliente, além dos mais capazes modelos de IA de fronteira e agentes que os laboratórios estão desenvolvendo. O trabalho inclui pesquisa técnica, práticas de teste e as estruturas que empresas e governos usam para decidir quando um sistema é seguro o bastante para ser lançado.

Problemas centrais da segurança da IA#

O artigo de 2016 Problemas concretos na segurança da IA, de pesquisadores do Google Brain, da OpenAI, de Stanford e da UC Berkeley, estruturou os acidentes em aprendizagem automática como cinco problemas de pesquisa, ilustrados com um robô de limpeza e ainda usados para organizar boa parte da área:

• Evitar efeitos colaterais negativos: um robô recompensado apenas por deixar o chão limpo não tem motivo para evitar derrubar um vaso no caminho.
• Manipulação de recompensas: cumprir ao pé da letra um objetivo ao mesmo tempo que se frustra sua finalidade, como cobrir a sujeira com um material que a câmera do robô não consegue atravessar.
• Supervisão escalável: treinar um bom comportamento quando verificar cada ação é caro demais, por exemplo, perguntando ocasionalmente a uma pessoa se o cômodo está limpo.
• Exploração segura: permitir que um agente de aprendizagem experimente novas ações sem tentar ações catastróficas, como enfiar um esfregão molhado em uma tomada elétrica.
• Robustez a mudanças na distribuição: reconhecer entradas diferentes das do ambiente de treinamento e agir com cautela, como um robô treinado em um escritório que passa a operar no chão de fábrica.

Cada problema se tornou uma área de pesquisa própria. A supervisão escalável tornou-se uma linha central de pesquisa em superalinhamento, que estuda como supervisionar sistemas mais capazes que seus supervisores; a exploração segura é uma restrição à aprendizagem por reforço; e as mudanças na distribuição aparecem em sistemas de produção como deriva de dados.

De onde vêm os riscos da IA#

O artigo de 2025 do Google DeepMind, Uma abordagem à segurança técnica e à proteção da AGI, classifica os riscos graves em quatro áreas, diferenciadas por quem ou pelo que é responsável pelos danos:

Cada área exige defesas diferentes. O uso indevido é combatido com treinamento para recusa, proteções de IA e acesso restrito a capacidades perigosas. O desalinhamento é difícil de testar, pois um modelo desalinhado pode se comportar bem enquanto está sendo observado: estudos encontraram fingimento de alinhamento durante o treinamento, desempenho deliberadamente inferior nas avaliações, agentes adormecidos com backdoors que resistem ao treinamento de segurança e desalinhamento emergente após o ajuste fino restrito. Os erros são reduzidos com robustez, testes e monitoramento; já os riscos estruturais, como danos decorrentes da concorrência entre muitos desenvolvedores ou das interações entre muitos agentes de IA, são principalmente uma questão de governança.

Métodos na prática#

O trabalho de segurança acompanha todo o ciclo de vida de um modelo. Durante o treinamento, a aprendizagem por reforço com feedback humano (RLHF) e a IA constitucional definem o que o modelo fará ou não. Antes do lançamento, a equipe vermelha de IA e as avaliações de capacidades perigosas investigam possíveis falhas, enquanto a interpretabilidade mecanística examina a computação interna em busca de objetivos que as saídas, por si só, não revelariam. Estruturas de segurança para IA de fronteira, como a Política de Escalonamento Responsável da Anthropic, definem limiares de capacidade a partir dos quais um modelo exige medidas mais rigorosas de segurança e proteção na implantação.

Após a implantação, o monitoramento do modelo detecta entradas às quais o modelo nunca foi submetido em testes. O monitoramento de implantação da Ultralytics Platform exibe a distribuição da confiança e a confiança média ao longo do tempo para um endpoint YOLO26 implantado; assim, uma queda após a mudança da câmera ou da iluminação sinaliza entradas que estão se afastando dos dados de treinamento. Sistemas que atuam no mundo físico também precisam de um mecanismo de contingência, como a condição de risco mínimo definida para veículos automatizados: uma parada segura que o veículo realiza quando seu sistema de condução automatizada não consegue mais prosseguir.

Segurança da IA e áreas relacionadas#

A segurança da IA se sobrepõe a várias áreas que muitas vezes são tratadas como sinônimos:

• Ética em IA: pergunta o que os sistemas de IA devem fazer e para quem, abrangendo equidade, privacidade e responsabilização. Danos como decisões enviesadas pertencem às duas áreas.
• Segurança cibernética da IA: protege os sistemas de IA contra atacantes, com defesas contra exemplos adversariais, envenenamento de dados, injeção de prompts e roubo de modelos.
• Alinhamento da IA: subárea da segurança da IA que busca fazer com que um sistema persiga os objetivos pretendidos por seus desenvolvedores, abordando a área de desalinhamento mencionada acima.
• Governança da IA: leis, normas e políticas internas que determinam como os sistemas de IA são desenvolvidos e lançados, como os níveis de risco da Lei de IA da UE.

As fronteiras mudam com as políticas: em fevereiro de 2025, o Reino Unido renomeou seu AI Safety Institute, órgão governamental que testa modelos de fronteira antes do lançamento, para AI Security Institute, a fim de se concentrar em riscos com implicações de segurança, como ciberataques, fraude e desenvolvimento de armas químicas e biológicas.