Embeddings

As incrustações são uma pedra angular da moderna aprendizagem automática (ML), representando um método poderoso para converter dados de elevada dimensão, como palavras, imagens ou mesmo utilizadores, em vectores numéricos significativos, densos e de baixa dimensão. O principal objetivo de uma incorporação é captar as relações semânticas e o contexto subjacente dos dados originais. Neste espaço vetorial, os itens com significados ou caraterísticas semelhantes são posicionados mais próximos uns dos outros. Isto permite que os modelos de IA executem tarefas complexas de raciocínio e semelhança que seriam impossíveis com dados brutos e não estruturados.

Como são criados os Embeddings

Os embeddings são normalmente aprendidos automaticamente por um modelo de aprendizagem profunda durante o processo de formação. Uma rede neural, frequentemente criada com estruturas como PyTorch ou TensorFlow, é treinada numa tarefa relevante, como a previsão da palavra seguinte numa frase ou a classificação de uma imagem. Uma das camadas ocultas desta rede é então utilizada como camada de incorporação. À medida que o modelo aprende a executar a sua tarefa, ajusta os pesos nesta camada, aprendendo efetivamente a mapear cada item de entrada para um vetor que encapsula as suas caraterísticas mais importantes. Este processo é uma forma de redução da dimensionalidade, comprimindo grandes quantidades de informação num formato compacto e útil.

Aplicações e exemplos

Os embeddings são fundamentais para uma vasta gama de aplicações de IA, desde o processamento de linguagem natural (PNL ) até à visão computacional.

• Motores de recomendação para o comércio eletrónico: Os sistemas de recomendação utilizam embeddings para representar tanto os utilizadores como os produtos. Se um utilizador compra ou visualiza frequentemente itens com embeddings semelhantes (por exemplo, vários tipos de equipamento de corrida), o sistema pode identificar outros produtos nessa vizinhança vetorial (como géis energéticos ou pacotes de hidratação) e recomendá-los. Isto é muito mais eficaz do que a simples correspondência de palavras-chave.
• Pesquisa semântica e recuperação de imagens: Em vez de se basearem em etiquetas ou metadados, os sistemas de pesquisa semântica utilizam incorporações para encontrar resultados com base no significado concetual. Um utilizador pode pesquisar "fotografias das férias de verão" e o sistema recuperará imagens de praias, montanhas e cenas de viagens, mesmo que essas palavras exactas não estejam na descrição da imagem. Isto é possível graças a modelos como o CLIP, que geram ligações alinhadas para texto e imagens, permitindo poderosas capacidades de modelos multimodais. Este mesmo princípio permite uma pesquisa visual poderosa, uma caraterística essencial em muitas aplicações modernas. Pode até criar a sua própria pesquisa com o nosso guia de pesquisa por semelhança.

Outras aplicações incluem a descoberta de medicamentos, em que as moléculas são incorporadas para prever interações, e serviços de streaming de música que recomendam canções com caraterísticas áudio semelhantes.

Embeddings vs. Conceitos relacionados

É útil distinguir os embeddings dos termos relacionados:

• Embeddings vs. Extração de caraterísticas: Os embeddings são uma forma sofisticada e frequentemente automatizada de extração de caraterísticas obtida através da aprendizagem profunda. Enquanto a engenharia de caraterísticas tradicional pode envolver a definição manual de caraterísticas (por exemplo, histogramas de cores para imagens), os embeddings aprendem caraterísticas relevantes diretamente a partir dos dados durante o treino.
• Embeddings vs. Pesquisa Vetorial / Bases de Dados Vectoriais: Os embeddings são as representações vectoriais dos itens de dados. A pesquisa de vectores é o processo de consulta de uma coleção de embeddings para encontrar os mais semelhantes (mais próximos) a um vetor de consulta, utilizando frequentemente algoritmos ANN (Approximate Nearest Neighbor ) para maior eficiência. As bases de dados vectoriais (como Pinecone ou Milvus) são bases de dados especializadas optimizadas para armazenar, indexar e efetuar pesquisas vectoriais rápidas em grandes volumes de embeddings.
• Embeddings vs. Tokenização: A tokenização é o processo de dividir o texto em unidades menores (tokens). Esses tokens são então mapeados para embeddings. Assim, a tokenização é um passo preliminar antes da criação ou recuperação da representação do embedding. Os modelos de PNL de referência, como o BERT e o GPT-4, baseiam-se neste processo de duas etapas.

Os embeddings são uma forma poderosa de representar dados para modelos de aprendizagem automática, permitindo-lhes compreender semelhanças semânticas e padrões complexos em diversos tipos de dados. São parte integrante das capacidades das modernas plataformas de aprendizagem automática, como o Ultralytics HUB, que simplifica a criação de modelos avançados de IA para tarefas como a deteção de objectos e a classificação de imagens.