Segurança da IA

A segurança da IA é um domínio específico da Inteligência Artificial (IA) centrado em garantir que os sistemas de IA funcionam de forma fiável, previsível e sem causar danos não intencionais. À medida que os modelos de modelos de aprendizagem profunda (DL) se tornam mais autónomos e integrados em infra-estruturas críticas, as potenciais consequências de falhas do sistema aumentam significativamente. O O principal objetivo da segurança da IA é identificar, analisar e atenuar os riscos decorrentes de falhas técnicas, comportamentos comportamentos inesperados ou desalinhamento entre os objectivos da IA e os valores humanos. Esta disciplina engloba uma vasta gama de práticas, desde o teste rigoroso de modelos até ao desenvolvimento de garantias matemáticas para o comportamento do sistema.

Pilares fundamentais da segurança da IA

Para criar sistemas fiáveis, os investigadores e engenheiros centram-se em vários pilares fundamentais que garantem modelos de aprendizagem automática (ML) funcionem corretamente corretamente em condições variáveis.

• Robustez: Um sistema robusto deve manter o desempenho mesmo quando se depara com dados inesperados ou condições adversas. Isto implica a defesa contra ataques adversários, em que entradas maliciosas são criadas para enganar um modelo. Por exemplo, um sistema de sistema de visão por computador (CV) não deve classificar incorretamente um sinal de stop simplesmente por causa de um autocolante ou de má iluminação.
• Alinhamento: Refere-se ao desafio de conceber sistemas de IA cujos objectivos reflictam com precisão as intenções humanas. O desalinhamento pode ocorrer se um modelo encontrar um "atalho" para obter uma pontuação elevada na sua função de perda, violando simultaneamente as restrições de segurança, um conceito amplamente estudado pelo Center for Human-Compatible AI.
• Interpretabilidade: Também conhecido como IA explicável (XAI), este princípio enfatiza a criação de modelos que os humanos possam compreender. Se um sistema de tomada de decisões falhar, os engenheiros devem ser capazes de inspecionar os pesos internos do modelo ou os mapas de ativação ativação para diagnosticar o erro e evitar que se repita.
• Monitorização: A monitorização contínua monitorização contínua do modelo é essencial para detect desvio de dados, em que os dados que um modelo encontra no mundo real divergem dos seus dados de treino, potencialmente levando a previsões inseguras.

Aplicações no Mundo Real

A segurança da IA não é apenas teórica; é um requisito essencial para a implantação da IA nos sectores automóvel e da saúde.

1. Condução autónoma: Os veículos de condução autónoma dependem de modelos de deteção de objectos para identificar peões outros veículos e obstáculos. Os protocolos de segurança neste caso envolvem redundância - utilizando LiDAR e radar juntamente com câmaras - e "estimativa de incerteza", em que o carro abranda ou solicita a intervenção humana se a IA não tiver a certeza sobre um objeto. Organizações como a Waymo publicam metodologias de segurança pormenorizadas metodologias de segurança detalhadas para validar estes sistemas de perceção.
2. Diagnóstico médico: Na análise de imagens médicas, uma IA que auxilia radiologistas deve maximizar a precisão e minimizar os falsos negativos. Os mecanismos de segurança incluem frequentemente um fluxo de trabalho "human-in-the-loop", em que a IA apenas assinala potenciais problemas para análise do médico, em vez de fazer um diagnóstico final de forma autónoma, garantindo que a segurança do doente é dos doentes, conforme salientado em Soluções de IA nos cuidados de saúde.

Implementação de limiares de segurança no código

Um método básico para aumentar a segurança na implantação é a aplicação de limiares de confiança rigorosos. Ao ignorar as previsões de baixa confiança, os programadores podem impedir que um agente de IA actue com base em dados fracos ou ruidosos.

O exemplo a seguir demonstra como filtrar previsões usando o Ultralytics YOLO11 do Ultralytics, garantindo que apenas as detecções sejam processadas.

from ultralytics import YOLO

# Load the YOLO11 model for object detection
model = YOLO("yolo11n.pt")

# Perform inference on an image with a strict confidence threshold
# This ensures the model only reports objects it is at least 70% sure about
results = model.predict("https://ultralytics.com/images/bus.jpg", conf=0.70)

# Process only the safe, high-confidence detections
for result in results:
    print(f"Detected {len(result.boxes)} objects exceeding safety threshold.")

Segurança da IA vs. Ética da IA

Embora frequentemente utilizados de forma indistinta, estes termos abordam diferentes aspectos do desenvolvimento responsável da IA.

• A segurança da IA é essencialmente técnica. Pergunta: "Este sistema funcionará como foi concebido sem sem se despenhar ou causar acidentes físicos?" Trata-se de fiabilidade, controlo e prevenção de erros, semelhante à engenharia de segurança na aviação civil.
• A ética da IA é social e moral. Pergunta: "Este sistema é justo e devemos construí-lo?" Centra-se em questões como o enviesamento algorítmico, privacidade dos dados e o impacto socioeconómico da automação. Para obter informações mais detalhadas, explore a entrada do nosso glossário sobre Ética da IA.

Quadros como o NIST AI Risk Management Framework fornecem orientações para as organizações abordarem os riscos éticos e de segurança. medida que os modelos evoluem para a Inteligência Artificial Geral (AGI), a colaboração entre investigadores de segurança em institutos como o Future of Life Institute e os criadores da indústria torna-se cada vez mais vital para garantir que a tecnologia continua a ser benéfica para a humanidade.