Licenciar o YOLO
Voltar ao glossário da Ultralytics

Superalignment

O superalinhamento é o desafio de alinhar sistemas de IA mais inteligentes do que seus supervisores humanos, estudado por meio da generalização do fraco para o forte e da supervisão.

O superalinhamento é o problema de alinhar sistemas de IA muito mais capazes do que os humanos que os supervisionam, e também o nome do programa de investigação lançado pela OpenAI em 2023 para o resolver. Os métodos de alinhamento atuais, como a aprendizagem por reforço a partir do feedback humano (RLHF), dependem de pessoas para avaliar quais resultados do modelo são melhores. Quando um modelo escreve código, demonstrações ou planos que os supervisores não conseguem verificar com fiabilidade, essas avaliações deixam de ser um sinal de treino fiável, e o modelo pode aprender a produzir respostas que parecem corretas aos avaliadores, em vez de respostas corretas. A investigação sobre superalinhamento procura formas de supervisionar, testar e corrigir estes sistemas, apesar disso.

Origem do termo#

A OpenAI introduziu o superalinhamento em 5 de julho de 2023, com uma equipa codirigida pelo cientista-chefe Ilya Sutskever e pelo responsável pelo alinhamento Jan Leike. A empresa comprometeu 20% do poder computacional que tinha assegurado até então e definiu como objetivo resolver os principais desafios técnicos do alinhamento da superinteligência em quatro anos. O plano consistia em criar um investigador de alinhamento automatizado com capacidades aproximadamente humanas e, em seguida, ampliar a investigação com mais poder computacional. A OpenAI dissolveu a equipa em maio de 2024, depois de ambos os responsáveis terem deixado a empresa, e o termo continua a ser usado para designar o problema geral.

O superalinhamento é uma subárea do alinhamento de IA. O alinhamento abrange qualquer sistema que procure cumprir as intenções dos seus criadores, através de métodos como RLHF, IA constitucional e otimização direta de preferências, que pressupõem que um humano, ou regras escritas por um humano, consegue avaliar os resultados. O superalinhamento abrange os casos em que essa pressuposição falha, o que pode acontecer com sistemas acima do nível humano, como a futura inteligência artificial geral (AGI) e a superinteligência. Insere-se na segurança da IA, juntamente com o trabalho sobre utilização indevida e acidentes.

Generalização do fraco para o forte#

Como ainda não existem modelos sobre-humanos, o primeiro artigo da equipa, Generalização do fraco para o forte, de Collin Burns e colegas, publicado em dezembro de 2023, estudou uma analogia: um modelo pequeno desempenha o papel de supervisor humano e um grande modelo fundacional representa o aluno sobre-humano. Quando o GPT-4 foi ajustado apenas com rótulos produzidos por um supervisor ao nível do GPT-2, superou sistematicamente esse supervisor, mas ficou muito aquém das suas próprias capacidades máximas. A inclusão de uma perda auxiliar de confiança, que recompensa o aluno por previsões confiantes mesmo quando contradizem os rótulos fracos, recuperou um desempenho próximo do nível do GPT-3.5 em tarefas de processamento de linguagem natural (NLP).

O artigo mede o sucesso como a recuperação da diferença de desempenho (PGR): a proporção da diferença de precisão entre o supervisor fraco e um modelo forte treinado com rótulos verdadeiros que o aluno supervisionado de forma fraca consegue reduzir. A mesma experiência é executada em pequena escala com o scikit-learn, usando uma árvore de decisão pouco profunda como supervisor fraco e uma máquina de vetores de suporte (SVM) como aluno forte:

from sklearn.datasets import load_digits
from sklearn.model_selection import train_test_split
from sklearn.svm import SVC
from sklearn.tree import DecisionTreeClassifier

x, y = load_digits(return_X_y=True)
x_weak, x_rest, y_weak, y_rest = train_test_split(x, y, train_size=0.3, random_state=0)
x_strong, x_test, y_strong, y_test = train_test_split(x_rest, y_rest, train_size=0.6, random_state=0)

# Weak supervisor: a shallow decision tree trained on ground-truth labels
weak = DecisionTreeClassifier(max_depth=5, random_state=0).fit(x_weak, y_weak)
weak_labels = weak.predict(x_strong)

# Strong student learns only from the weak labels; the ceiling learns from the true labels
student = SVC().fit(x_strong, weak_labels)
ceiling = SVC().fit(x_strong, y_strong)

weak_acc, student_acc, ceiling_acc = (m.score(x_test, y_test) for m in (weak, student, ceiling))
pgr = (student_acc - weak_acc) / (ceiling_acc - weak_acc)
print(f"weak {weak_acc:.3f}, weak-to-strong {student_acc:.3f}, ceiling {ceiling_acc:.3f}, PGR {pgr:.2f}")

A árvore classifica corretamente 69.0% dos dígitos de teste, e a SVM treinada apenas com os respetivos rótulos atinge 81.9%, recuperando 45% da diferença até aos 97.4% de uma SVM treinada com rótulos verdadeiros. O aluno supera o supervisor porque os erros da árvore seguem divisões alinhadas com os eixos que a SVM regularizada ajusta mal, pelo que muitos não se refletem nas previsões da SVM. A Ultralytics Platform coloca a mesma questão em pequena escala: a anotação em lote rotula todo um conjunto de dados com um modelo, e um modelo YOLO26 treinado posteriormente com esses rótulos só consegue superar o modelo que os atribuiu se não copiar os erros deste.

Outras abordagens#

O treino do fraco para o forte é uma das várias linhas de investigação. A supervisão escalável dá apoio de IA aos supervisores humanos: no debate de IA, proposto por Geoffrey Irving, Paul Christiano e Dario Amodei em 2018, dois modelos defendem respostas opostas perante um juiz humano, com base na teoria de que é mais difícil mentir do que refutar uma mentira. As experiências de enquadramento testam métodos de supervisão em tarefas nas quais não especialistas, com a ajuda de um modelo, têm de igualar as avaliações de especialistas, que servem de referência.

Outros trabalhos tentam verificar o que um modelo calcula, em vez de apenas o que produz. A interpretabilidade mecanística e os autoencoders esparsos procuram características internas associadas ao engano, e os investigadores constroem deliberadamente modelos desalinhados, como agentes adormecidos com portas traseiras, para testar se os métodos de deteção os identificam. Já foram observados nos atuais modelos de linguagem de grande porte (LLMs) comportamentos que um modelo sobre-humano poderia explorar em grande escala, incluindo simulação de alinhamento durante o treino, desempenho deliberadamente inferior nas avaliações e manipulação da recompensa.

Burns e colegas identificam a imitação como uma lacuna importante na analogia. O GPT-4 nunca foi pré-treinado para imitar o GPT-2, e os alunos maiores tiveram mais dificuldade em imitar supervisores fracos; por outro lado, espera-se que um modelo sobre-humano pré-treinado com dados humanos imite muito bem os supervisores humanos, reproduzindo os seus erros e produzindo apenas respostas de nível humano.

Explore as soluções

Visão computacional no desporto

Visão computacional no desporto

Descubra como o Ultralytics YOLO impulsiona a visão computacional no esporte com rastreamento de jogadores e bolas, análise de desempenho, insights para treinadores e reabilitação de atletas.
Saiba mais
Visão computacional para imagens aéreas

Visão computacional para imagens aéreas

Transforma imagens de drones e aéreas em informações em tempo real para a agricultura, a aquacultura, a conservação e a análise geoespacial com Ultralytics YOLO.
Saiba mais
Visão computacional no setor aeroespacial

Visão computacional no setor aeroespacial

Aplica visão computacional na indústria aeroespacial com Ultralytics YOLO para inspecionar aeronaves, detetar objetos estranhos na pista (FOD), apoiar operações aeroportuárias em terra e detetar defeitos em materiais compósitos.
Saiba mais
Visão computacional na segurança

Visão computacional na segurança

Protege todas as instalações com os modelos Ultralytics YOLO. A IA visual permite monitorizar perímetros, detetar ameaças, reconhecer matrículas e melhorar a segurança no local de trabalho.
Saiba mais
Visão computacional na robótica

Visão computacional na robótica

Potencia máquinas mais inteligentes com os modelos Ultralytics YOLO. A IA visual na robótica permite navegação autónoma, perceção, rastreamento de objetos e controlo em tempo real.
Saiba mais
Visão computacional na logística

Visão computacional na logística

Otimize a logística com os modelos Ultralytics YOLO. A IA de visão permite inspecionar pacotes, fazer triagem, rastrear veículos e monitorar a segurança em tempo real nos armazéns.
Saiba mais
Visão computacional no varejo

Visão computacional no varejo

Reinvente o varejo com os modelos Ultralytics YOLO. A IA de visão permite rastrear o estoque, monitorar prateleiras, gerenciar filas e obter insights mais inteligentes sobre clientes.
Saiba mais
Visão computacional na área da saúde

Visão computacional na área da saúde

Desenvolva soluções de saúde com os modelos Ultralytics YOLO. A IA de visão na área da saúde permite obter imagens médicas mais rapidamente, diagnósticos mais inteligentes e monitoramento de pacientes.
Saiba mais
Visão computacional na manufatura

Visão computacional na manufatura

Otimize a manufatura com modelos Ultralytics YOLO. A IA visual impulsiona o controle de qualidade, a detecção de defeitos, a conformidade com o uso de EPI e a automação da linha de montagem.
Saiba mais
Visão computacional no setor automotivo

Visão computacional no setor automotivo

Aplique visão computacional no setor automotivo com modelos Ultralytics YOLO. A IA visual aumenta a segurança viária, aprimora a assistência ao condutor e viabiliza a automação de veículos para estradas mais inteligentes.
Saiba mais
Visão computacional na agricultura

Visão computacional na agricultura

Leve a IA de visão à agricultura inteligente com os modelos Ultralytics YOLO. Aprimore o monitoramento de plantações, o rastreamento de animais e a agricultura de precisão para obter safras maiores e mais inteligentes.
Saiba mais

Vamos construir juntos o futuro da IA!

Comece sua jornada rumo ao futuro do aprendizado de máquina