Token Merging (ToMe)

A Fusão de Tokens (ToMe) é uma técnica de vanguarda concebida para otimizar o desempenho e a eficiência de arquiteturas Transformer, reduzindo o número de tokens processados durante as passagens forward. Desenvolvida originalmente para acelerar modelos Transformer de Visão (ViT), a ToMe funciona identificando e combinando sistematicamente tokens redundantes na rede, sem exigir treino adicional. Como a complexidade computacional do mecanismo de autoatenção aumenta quadraticamente com o número de tokens, a fusão de tokens semelhantes reduz drasticamente o total de operações de ponto flutuante (FLOPs), permitindo uma inferência em tempo real significativamente mais rápida.

Compreender o processo de Fusão de Tokens#

A ToMe é fundamentalmente diferente da tokenização, que é a etapa inicial de pré-processamento que divide uma imagem ou texto em tokens individuais. Enquanto a tokenização cria os elementos discretos, a Fusão de Tokens atua como um mecanismo de redução dinâmica da amostragem durante a execução forward do modelo.

O algoritmo normalmente utiliza correspondência bipartida para avaliar a semelhança entre tokens, calculando frequentemente a similaridade do cosseno entre as chaves dos tokens nas camadas de atenção. Os tokens que partilham informação visual ou semântica muito semelhante são fundidos, muitas vezes através da média das suas características. Isto garante que a informação espacial ou contextual essencial seja preservada, eliminando simultaneamente a carga computacional desnecessária e permitindo que frameworks como o PyTorch processem modelos de visão complexos muito mais rapidamente.

Aplicações reais da Fusão de Tokens#

A Fusão de Tokens tornou-se uma estratégia de otimização essencial para implementar arquiteturas pesadas baseadas em atenção em ambientes com recursos computacionais limitados.

1. IA generativa e síntese de imagens: Nos populares modelos de difusão de texto para imagem, a ToMe é frequentemente utilizada para acelerar a geração de imagens. Ao fundir tokens de fundo ou de baixo detalhe, o processo de geração requer menos passos, poupando muitos recursos da GPU e reduzindo a latência para os utilizadores finais que dependem de modelos generativos. Podes saber mais sobre os processos de difusão na investigação fundamental disponível no arXiv.

2. Implementações de IA de edge: Implementar modelos massivos como o Segment Anything Model (SAM) em dispositivos móveis é notoriamente difícil devido às limitações de memória. A ToMe ajuda a reduzir dinamicamente a utilização de memória, permitindo que tarefas complexas de segmentação de imagens sejam executadas em hardware de edge. Em cenários onde a velocidade pura é crítica, os engenheiros recorrem frequentemente a arquiteturas sem atenção, otimizadas nativamente, como o Ultralytics YOLO26, para obter uma inferência de edge mais rápida e de ponta a ponta.

Exemplo em Python: cálculo da similaridade entre tokens#

Embora a integração da ToMe numa arquitetura completa exija a modificação dos blocos de atenção, o conceito central baseia-se na identificação de tokens semelhantes. O seguinte excerto de PyTorch demonstra como se pode calcular a similaridade do cosseno entre um conjunto de tokens para identificar quais são candidatos à fusão.

import torch
import torch.nn.functional as F

# Simulate a batch of 4 image patches (tokens) with 64-dimensional features
tokens = torch.randn(1, 4, 64)

# Normalize the tokens to easily compute cosine similarity via dot product
normalized_tokens = F.normalize(tokens, p=2, dim=-1)

# Compute the similarity matrix between all tokens (1 x 4 x 4)
similarity_matrix = torch.matmul(normalized_tokens, normalized_tokens.transpose(1, 2))

# Tokens with high similarity scores (close to 1.0) off the diagonal
# are prime candidates for Token Merging.
print("Similarity Matrix:", similarity_matrix)

Os pipelines modernos de machine learning exigem um equilíbrio cuidadoso entre precisão e velocidade. Quer utilizes a Fusão de Tokens para otimizar um ViT personalizado, quer dependas das eficiências de vanguarda do YOLO26, a gestão destes complexos fluxos de trabalho de dados é bastante simplificada pela Plataforma Ultralytics. A Plataforma fornece um ecossistema intuitivo para anotação de dados automatizada, treino na cloud sem interrupções e implementação robusta de modelos em diversos ambientes de hardware de computação de edge. As organizações que expandem as suas iniciativas de visão computacional dependem destas ferramentas para colocar modelos de vanguarda em produção de forma fiável e eficiente.