Pesquisa semântica

Como funciona a pesquisa semântica

Na sua essência, a pesquisa semântica utiliza conceitos de PNL e aprendizagem automática (ML) para decifrar o significado incorporado no texto ou noutros tipos de dados. O processo envolve frequentemente a conversão de dados (como palavras, frases, documentos ou mesmo imagens) em representações numéricas denominadas " embeddings". Estas incorporações, normalmente vectores de elevada dimensão, captam a essência semântica dos dados. Os itens com significados, conceitos ou contextos semelhantes são posicionados mais próximos uns dos outros neste espaço vetorial.

Quando um utilizador efectua uma pesquisa, a sua consulta (que pode ser um texto em linguagem natural, uma imagem, etc.) é também convertida num embedding utilizando o mesmo modelo de ML. O sistema emprega então técnicas de pesquisa vetorial, muitas vezes alimentadas por bases de dados vectoriais especializadas como Pinecone ou Milvus, para encontrar eficientemente itens no seu índice cujas incorporações são mais próximas (mais semelhantes) à incorporação da consulta. Esta semelhança é normalmente medida utilizando métricas de distância como a semelhança cosseno ou a distância euclidiana. Os modelos avançados de aprendizagem profunda (DL), incluindo arquitecturas como transformadores (por exemplo, BERT), são frequentemente utilizados para gerar estas poderosas incorporações sensíveis ao contexto. Os principais motores de pesquisa, como a PesquisaGoogle , incorporaram a compreensão semântica durante anos para melhorar a qualidade dos resultados para além da simples frequência de palavras-chave.

Aplicações da pesquisa semântica

A pesquisa semântica melhora várias aplicações em que é crucial compreender a intenção do utilizador ou o contexto dos dados:

• Pesquisa Web melhorada: Ir além das palavras-chave para compreender o tópico e a intenção por detrás de uma pesquisa (por exemplo, pesquisar "melhor local para ver as luzes do norte no inverno" produz resultados sobre locais específicos e horas ideais, e não apenas páginas que contêm essas palavras exactas).
• Descoberta de produtos no comércio eletrónico: Permitir que os utilizadores procurem produtos utilizando linguagem descritiva e natural (por exemplo, encontrar "sapatos confortáveis para estar de pé todo o dia" em vez de precisarem de conhecer marcas ou nomes de produtos específicos). Integra-se frequentemente com sistemas de recomendação.
• Gestão do conhecimento interno: Permite que os funcionários de uma organização encontrem documentos, relatórios ou conhecimentos relevantes através de pesquisas baseadas em conceitos e significados, melhorando o acesso à informação em ferramentas como o Ultralytics HUB.
• Chatbots de apoio ao cliente: Potencializa os chatbots e os assistentes virtuais para compreenderem melhor as perguntas dos utilizadores e fornecerem respostas mais precisas ou artigos de ajuda relevantes, muitas vezes tirando partido de grandes modelos de linguagem (LLMs).
• Recomendação de conteúdo: Sugerir artigos, vídeos ou música com base na semelhança semântica com o conteúdo com o qual o utilizador interagiu anteriormente. Plataformas como o Spotify utilizam conceitos semelhantes.
• Exploração de dados: Ferramentas como o Ultralytics Explorer Dashboard podem utilizar a semelhança semântica para ajudar os utilizadores a navegar e a compreender grandes conjuntos de dados, incluindo conjuntos de dados de imagens utilizados na visão computacional (CV). Por exemplo, encontrar imagens semanticamente semelhantes a uma imagem selecionada num conjunto de dados como o COCO.

Pesquisa semântica vs. conceitos relacionados

É útil distinguir a pesquisa semântica dos termos relacionados:

• Pesquisa por palavras-chave: Esta abordagem tradicional faz corresponder as palavras ou frases literais de uma consulta aos documentos que contêm esses termos exactos. Não compreende os sinónimos, o contexto ou a intenção do utilizador. A pesquisa semântica pretende ultrapassar estas limitações.
• Pesquisa de vectores: Este é um método utilizado para encontrar itens semelhantes com base na proximidade das suas incorporações vectoriais. Embora a pesquisa vetorial seja um componente central de muitas implementações modernas de pesquisa semântica (tratando da parte da recuperação eficiente), a pesquisa semântica é o conceito mais amplo que inclui a compreensão do significado e do contexto da consulta e dos dados em primeiro lugar, muitas vezes através de modelos sofisticados de PNL.
• Gráfico de conhecimento: Um gráfico de conhecimento estrutura a informação como entidades e relações. Embora possa melhorar significativamente a pesquisa semântica, fornecendo um contexto estruturado e permitindo um raciocínio complexo(as consultas SPARQL são comuns neste caso), a pesquisa semântica também pode funcionar diretamente em dados não estruturados utilizando incorporações sem uma estrutura gráfica explícita. Trata-se de tecnologias complementares.
• Reconhecimento de entidades nomeadas (NER): O NER identifica entidades específicas (como nomes, locais, organizações) no texto. Pode ser um passo dentro de um pipeline de PNL que alimenta a pesquisa semântica extraindo conceitos-chave, mas não é a pesquisa semântica em si, que se concentra no significado geral e na semelhança.

A pesquisa semântica desempenha um papel vital na criação de sistemas de IA mais inteligentes e fáceis de utilizar, colmatando a lacuna entre a linguagem humana e a compreensão da máquina para um acesso à informação e uma interação mais eficazes em vários domínios, desde as pesquisas quotidianas na Web até às aplicações de IA especializadas, como as criadas com Ultralytics YOLO para pesquisa ou análise visual no Ultralytics HUB.