Transformer

Um Transformer é uma arquitetura de deep learning que se baseia em um mecanismo chamado self-attention para processar dados de entrada sequenciais, como linguagem natural ou características visuais. Originalmente introduzido por pesquisadores do Google no artigo marco Attention Is All You Need, o Transformer revolucionou o campo da inteligência artificial (IA) ao descartar as limitações de processamento sequencial das Redes Neurais Recorrentes (RNNs) anteriores. Em vez disso, os Transformers analisam sequências inteiras de dados simultaneamente, permitindo uma paralelização massiva e tempos de treinamento significativamente mais rápidos em hardware moderno, como GPUs.

Link to this sectionComo funcionam os Transformers#

A inovação central do Transformer é o mecanismo de self-attention. Isso permite que o modelo pondere a importância de diferentes partes dos dados de entrada em relação umas às outras. Por exemplo, em uma frase, o modelo pode aprender que a palavra "banco" se relaciona mais estreitamente com "dinheiro" do que com "rio" com base no contexto ao redor.

Esta arquitetura geralmente consiste em dois componentes principais:

• Encoder: Processa os dados de entrada em uma representação numérica rica ou embedding.
• Decoder: Usa a saída do encoder para gerar o resultado final, como uma frase traduzida ou uma bounding box prevista.

No campo da visão computacional (CV), os modelos geralmente empregam uma variação chamada Vision Transformer (ViT). Em vez de processar tokens de texto, a imagem é dividida em patches de tamanho fixo (por exemplo, 16x16 pixels). Esses patches são achatados e tratados como uma sequência, permitindo que o modelo capture "contexto global"—entendendo as relações entre partes distantes de uma imagem—de forma mais eficaz do que uma Rede Neural Convolucional (CNN) padrão.

Link to this sectionTransformers vs. Conceitos Relacionados#

É importante distinguir a arquitetura Transformer de termos relacionados:

• Mecanismo de Atenção: Este é o conceito geral de focar em partes específicas dos dados. O Transformer é uma arquitetura específica construída inteiramente em torno de camadas de atenção, enquanto outros modelos podem usar a atenção apenas como um pequeno complemento.
• Large Language Model (LLM): Termos como "GPT" referem-se a modelos específicos treinados em vastas quantidades de texto. Quase todos os LLMs modernos usam a arquitetura Transformer como seu motor subjacente.

Link to this sectionAplicações no Mundo Real#

A versatilidade dos Transformers levou à sua adoção em vários setores:

1. Imagens Médicas: Em IA na Saúde, os Transformers são usados para tarefas complexas como análise de imagens médicas. Sua capacidade de entender relações espaciais globais ajuda a detectar anomalias sutis em ressonâncias magnéticas ou tomografias de alta resolução que CNNs focadas em características locais podem perder.

2. Sistemas Autônomos: Para veículos autônomos, entender a trajetória de pedestres e outros veículos é crítico. Os Transformers se destacam na compreensão de vídeo ao rastrear objetos ao longo de quadros temporais, prevendo movimentos futuros para garantir uma navegação segura.

Link to this sectionDetecção de Objetos com Transformers#

Embora as CNNs tenham tradicionalmente dominado a detecção de objetos, modelos baseados em Transformer como o Real-Time Detection Transformer (RT-DETR) surgiram como alternativas poderosas. O RT-DETR combina a velocidade de backbones de CNN com a precisão de heads de decodificação de Transformer.

No entanto, modelos puramente Transformer podem ser computacionalmente pesados. Para muitas aplicações de ponta (edge), modelos híbridos altamente otimizados como o YOLO26—que integram mecanismos de atenção eficientes com processamento convolucional rápido—oferecem um equilíbrio superior de velocidade e precisão. Você pode gerenciar o treinamento e a implantação desses modelos facilmente através da Ultralytics Platform, que simplifica o fluxo de trabalho desde a anotação de conjuntos de dados até a exportação do modelo.

Link to this sectionExemplo em Python: Usando o RT-DETR#

O exemplo a seguir demonstra como realizar inferência usando um modelo baseado em Transformer dentro do pacote ultralytics. Este código carrega um modelo RT-DETR pré-treinado e detecta objetos em uma imagem.

from ultralytics import RTDETR

# Load a pre-trained Real-Time Detection Transformer (RT-DETR) model
model = RTDETR("rtdetr-l.pt")

# Run inference on an image URL
# The model uses self-attention to identify objects with high accuracy
results = model("https://ultralytics.com/images/bus.jpg")

# Display the detection results with bounding boxes
results[0].show()

Para mais leituras sobre as bases matemáticas, a documentação do PyTorch sobre camadas Transformer oferece profundidade técnica, enquanto o guia da IBM sobre Transformers oferece uma perspectiva de negócios de alto nível.