Incorporações (Embeddings)

Os embeddings são representações vectoriais densas, de baixa dimensão e contínuas de variáveis discretas, servindo como um formato de dados fundamental nas modernas inteligência artificial (IA). Ao contrário das representações esparsas, como a codificação de um ponto, que pode resultar em vectores maciços e ineficientes, Os embeddings captam as relações semânticas e o significado subjacente dos dados, mapeando mapeando entradas de elevada dimensão - como palavras, imagens ou áudio - para um espaço numérico compacto. Neste espaço vetorial aprendido, os itens que partilham caraterísticas ou contextos semelhantes estão localizados muito próximos uns dos outros, permitindo aprendizagem automática (ML) modelos compreendam e processem intuitivamente padrões complexos.

Como funcionam os Embeddings

O conceito central por detrás dos embeddings é a tradução de dados brutos numa forma matemática que os computadores podem processar processar eficientemente. Este processo envolve normalmente um rede neural (NN) que aprende a mapear as entradas para vectores de números reais. Durante o processo de treino do modelo a rede ajusta estes vectores estes vectores para que a distância entre eles corresponda à semelhança dos itens que representam.

Por exemplo, em processamento de linguagem natural (PNL)os encaixes para as palavras "rei" e "rainha" estariam matematicamente mais próximos um do outro do que de "maçã", reflectindo a sua relação semântica. Esta transformação é uma forma de redução da dimensionalidadeque preserva a informação essencial ao mesmo tempo que elimina o ruído, tornando as tarefas a jusante, como a classificação ou classificação ou agrupamento significativamente mais eficazes.

Criação e formação

Os embeddings são normalmente gerados como um subproduto da formação aprendizagem profunda (DL) em grandes conjuntos de dados. Estruturas como PyTorch e TensorFlow fornecem camadas especificamente concebidas para aprender estas representações.

1. Inicialização: Os vectores de incorporação são frequentemente inicializados com valores aleatórios.
2. Aprendizagem: À medida que o modelo é optimizado para um objetivo específico - como prever a palavra seguinte numa sequência ou identificar objectos numa imagem - o pesos do modelo associados à camada de camada de incorporação são actualizados.
3. Resultado: Os pesos finais aprendidos servem como tabela de pesquisa de incorporação, onde cada token ou objeto de entrada objeto de entrada corresponde a um vetor denso específico.

É possível gerar embeddings para imagens utilizando visão computacional (CV) padrão. O seguinte snippet Python demonstra como extrair embeddings de uma imagem usando um Ultralytics YOLO11 pré-treinado.

from ultralytics import YOLO

# Load a YOLO11 classification model
model = YOLO("yolo11n-cls.pt")

# Generate embeddings for an image from a URL
# The embed() method specifically returns the feature vector
embedding_vector = model.embed("https://ultralytics.com/images/bus.jpg")

# Output the shape of the embedding (e.g., a vector of length 1280)
print(f"Embedding shape: {embedding_vector[0].shape}")

Aplicações no Mundo Real

Os embeddings revolucionaram a forma como os sistemas lidam com dados não estruturados, potenciando capacidades que anteriormente eram impossíveis.

• Motores de pesquisa semânticos: Os motores de pesquisa tradicionais baseiam-se na correspondência de palavras-chave, que muitas vezes falha quando as consultas utilizam sinónimos. A pesquisa semântica utiliza para fazer corresponder a intenção de uma consulta ao conteúdo de documentos ou imagens. Ao comparar a distância vetorial vetorial entre a incorporação da consulta e a incorporação do documento, o sistema recupera resultados que são concetualmente relevantes, mesmo que não partilhem as palavras exactas.
• Sistemas de recomendação personalizados: Plataformas como a Netflix ou a Amazon utilizam embeddings para modelar as preferências dos utilizadores e as caraterísticas dos artigos. Se um utilizador vê um filme de ficção científica, o sistema de recomendação pode sugerir outros filmes com vectores de incorporação semelhantes. Esta abordagem, frequentemente implementada utilizando algoritmos de vizinhança mais próxima mais próximos numa base de dados vetorialé escalada de forma eficiente para milhões de itens.
• Aprendizagem Zero-Shot: Modelos avançados como CLIP aprendem a incorporação conjunta de texto e imagens. Isto permite que um sistema classify imagens que nunca viu durante o durante o treino, comparando a incorporação da imagem com a incorporação do texto dos nomes das classes, uma técnica conhecida como aprendizagem zero-shot.

Incorporações vs. Conceitos Relacionados

Compreender a distinção entre embeddings e termos relacionados é crucial para navegar no panorama da IA.

• Embeddings vs. Extração de caraterísticas: Embora ambos envolvam a transformação de dados em caraterísticas numéricas, extração de caraterísticas pode referir-se a técnicas manuais (como a deteção de bordos) ou automatizadas. Os embeddings são um tipo específico de extração de caraterísticas que resulta em vectores densos, frequentemente utilizados como entradas para outros modelos ou para tarefas de similaridade.
• Embeddings vs. Pesquisa Vetorial: Um embedding é a estrutura de dados (o próprio vetor). Pesquisa vetorial é o processo de consulta de uma coleção destes embeddings para encontrar itens semelhantes. Tecnologias como Pinecone ou Milvus são concebidos para armazenar embeddings e efetuar esta pesquisa eficazmente.
• Embeddings vs. Tokenização: No processamento de texto, tokenização é o passo de quebrar o texto em unidades menores chamadas tokens. Estes tokens são identificadores discretos (números inteiros) que procuram os vectores de incorporação correspondentes. Assim, a tokenização precede a recuperação dos embeddings no pipeline.

Ao converter conceitos abstractos em vectores matemáticos, os embeddings colmatam a lacuna entre a intuição humana e a e a lógica da máquina, permitindo a sofisticada reconhecimento de padrões de reconhecimento de padrões nas aplicações de IA mais avançadas da atualidade.