Conheça a solução de busca semântica de imagens da Ultralytics

Percorrer uma galeria com centenas de imagens pode tornar-se rapidamente avassalador, sobretudo quando procuras algo muito específico. Por exemplo, alguém à procura de um mapa da Roma antiga pode encontrar mapas aleatórios de cidades ou fotografias de viagens.

Estas situações ocorrem porque a maioria dos sistemas de pesquisa de imagens depende dos nomes dos ficheiros ou de etiquetas. Embora isto possa funcionar para pesquisas genéricas, muitas vezes não é suficiente quando são necessários precisão, detalhe e contexto.

Na verdade, muitas pessoas em áreas como design, marketing e pesquisa têm dificuldade para encontrar as imagens certas, já que as buscas por palavras-chave raramente capturam a ideia específica que procuram. Isso pode causar atrasos e prejudicar a produtividade.

No entanto, graças aos avanços recentes da inteligência artificial (IA), as limitações tradicionais das ferramentas de pesquisa de imagens estão a ser substituídas por sistemas mais inteligentes e intuitivos. Por exemplo, a visão computacional, um ramo da IA que se centra na interpretação e compreensão de dados visuais, permite pesquisas de imagens mais rápidas e precisas ao analisar o conteúdo efetivo das imagens.

Em particular, a pesquisa semântica de imagens vai além da correspondência de palavras-chave, compreendendo o significado por detrás de uma pesquisa. Permite-te utilizar linguagem natural para descrever o que procuras e encontrar imagens que correspondam à ideia, não apenas às etiquetas. Por exemplo, uma pesquisa por «animais num jardim zoológico» pode devolver imagens aleatórias de animais num sistema tradicional, enquanto uma pesquisa semântica compreende o contexto e encontra imagens de animais em ambientes de jardim zoológico.

Fig. 1. Exemplo de utilização da pesquisa semântica de imagens para encontrar imagens de animais num jardim zoológico.

Neste artigo, vamos explorar como funciona a busca semântica de imagens e discutir alguns casos de uso reais. Também vamos conhecer a solução de busca semântica de imagens da Ultralytics, que facilita a aplicação desse conceito em projetos do dia a dia.

Visão geral da solução de pesquisa semântica de imagens da Ultralytics#

O pacote Python da Ultralytics oferece uma variedade de soluções prontas para uso para aplicações comuns de visão computacional, incluindo gerenciamento de filas, contagem de objetos por região, cálculo de distância e busca semântica de imagens. Essas soluções foram projetadas para serem fáceis de usar, mesmo para quem não tem experiência em IA ou visão computacional.

Entre estas soluções, a pesquisa semântica de imagens permite aos utilizadores encontrar imagens relevantes através de descrições em linguagem natural, em vez de dependerem de nomes de ficheiros ou etiquetas manuais. Compreende o significado por detrás de uma consulta de pesquisa e devolve imagens que correspondem à ideia, sendo especialmente útil quando a precisão e o contexto são importantes.

Como funciona a solução de pesquisa semântica de imagens#

A solução de busca semântica de imagens da Ultralytics é baseada no modelo CLIP (Pré-treinamento Contrastivo de Linguagem e Imagem) da OpenAI. O CLIP converte texto e imagens em representações numéricas chamadas embeddings, que capturam seu significado e contexto. Em seguida, a solução classifica as imagens por similaridade de cosseno em relação ao embedding da sua consulta, para encontrar as mais relevantes. As versões anteriores da solução usavam a biblioteca FAISS (Facebook AI Similarity Search) da Meta nessa etapa da busca.

Além disso, uma interface Web simplificada, criada com Flask, facilita a utilização da solução. Os utilizadores podem introduzir consultas em linguagem natural e obter imagens correspondentes sem qualquer rotulagem manual ou preparação de dados.

Uma das principais vantagens desta solução é a sua capacidade de aprendizagem zero-shot. Isto significa que consegue interpretar e responder a consultas sobre objetos ou cenas com os quais não foi especificamente treinada. Graças à sua compreensão abrangente da linguagem e dos elementos visuais, pode devolver resultados relevantes mesmo para conteúdos desconhecidos ou sem etiquetas.

Por exemplo, se utilizares a solução para pesquisar um «ambiente de escritório», esta poderá devolver imagens de secretárias, salas de reuniões ou espaços de trabalho, mesmo que essas palavras não estejam associadas aos ficheiros. Isto faz da pesquisa semântica de imagens da Ultralytics uma ferramenta prática e flexível para projetos criativos, investigação e trabalho com grandes bibliotecas de imagens.

Fig. 2. Pesquisa de imagens de um ambiente de escritório com a solução de pesquisa semântica de imagens da Ultralytics.

Aplicações reais da solução de pesquisa semântica de imagens#

Agora que compreendemos melhor a solução de pesquisa semântica de imagens da Ultralytics, vejamos algumas aplicações reais e como diferentes setores podem integrá-la nos seus fluxos de trabalho visuais.

Utilização de ferramentas de pesquisa de imagens com IA para gerir conjuntos de dados#

Gerenciar conjuntos de dados de imagens enormes é uma das tarefas mais demoradas na criação de soluções de visão computacional. Na maioria dos casos, os desenvolvedores não precisam do conjunto de dados inteiro. Em vez disso, podem estar procurando tipos específicos de imagens para treinar modelos ou criar conjuntos de validação limpos. Mas encontrar exatamente essas imagens entre milhares pode ser complicado.

Imagina que estás a trabalhar num projeto que envolve imagens de equitação. Talvez só precises de fotografias em que o cavaleiro use capacete, esteja a cavalgar com outras pessoas ou tenha sido fotografado de lado a meio do movimento. Sem etiquetas adequadas, encontrar manualmente estas imagens pode exigir muito tempo e esforço.

A solução de pesquisa semântica de imagens, disponibilizada pela Ultralytics, pode resolver este problema ao permitir que os programadores utilizem consultas em linguagem natural para encontrar rapidamente o que precisam, mesmo em conjuntos de dados desorganizados ou sem etiquetas. Isto reduz o tempo dedicado à organização e permite que as equipas se concentrem em criar modelos melhores com maior eficiência.

Fig. 3. É fácil pesquisar imagens específicas em grandes conjuntos de dados.

Pesquisa de imagens zero-shot para produtos de comércio eletrónico#

Pesquisar produtos específicos online pode ser frustrante. Muitas vezes, os compradores descrevem o que procuram com as suas próprias palavras, mas os anúncios dos produtos podem utilizar termos ou etiquetas diferentes. Esta discrepância dificulta a localização dos artigos certos, especialmente em catálogos de grandes dimensões.

Imagina uma situação em que alguém está a comprar mobiliário e pesquisa um «conjunto de sofá, cadeira e mesa». O produto que procura pode estar listado com outra designação, como «conjunto de sala de três peças». Como os termos não correspondem exatamente, o artigo pode não aparecer nos resultados da pesquisa, apesar de ser exatamente aquilo de que o cliente precisa.

Fig. 4. A solução de pesquisa semântica de imagens da Ultralytics ajuda a associar a intenção do utilizador a imagens relevantes de produtos.

Indexação avançada de imagens para os meios de comunicação e a publicação#

Da mesma forma, em áreas como jornalismo, blogs e marketing digital, os recursos visuais são essenciais para contar histórias. A imagem certa pode reforçar uma mensagem, definir o tom e manter os leitores engajados. No entanto, encontrar a imagem perfeita muitas vezes significa vasculhar muitos arquivos.

Um bom exemplo é o de um blogger que escreve sobre tendências de decoração de interiores. Pode querer uma imagem de uma sala de estar luminosa e minimalista, com luz natural. No entanto, se as imagens disponíveis estiverem etiquetadas apenas com termos genéricos como «sala» ou «interior», encontrar a opção certa pode ser frustrante.

Com a pesquisa semântica de imagens, basta escrever uma frase descritiva, como «uma sala de estar luminosa e minimalista com janelas grandes», para obter instantaneamente imagens que correspondam à ideia. Não é necessário depender de etiquetas exatas ou nomes de ficheiros.

Fig. 5. As equipes de conteúdo podem usar a solução de busca semântica de imagens da Ultralytics para otimizar a seleção de imagens.

Busca semântica de imagens para inspiração em arte e design#

Normalmente, trabalhos criativos como criar um painel de referências ou reunir inspiração para um novo projeto envolvem pesquisar grandes coleções de imagens para encontrar elementos visuais que combinem com um estilo ou uma ideia específica. Um exemplo interessante são designers trabalhando no cenário de um filme. Eles podem precisar capturar um clima, período ou atmosfera específicos. Isso pode variar de uma cidade futurista a uma sala de estar aconchegante decorada no estilo dos anos 1980.

A busca semântica de imagens da Ultralytics facilita esse trabalho ao conectar a linguagem ao significado visual. Isso permite que as equipes explorem ideias rapidamente e mantenham o foco, sem perder tempo com buscas manuais.

Fig. 6. A solução de busca semântica de imagens da Ultralytics facilita a exploração visual em projetos criativos.

Vantagens e desvantagens da busca de imagens com IA#

Confira algumas das principais vantagens de usar a busca de imagens com IA para aprimorar os fluxos de trabalho visuais e tornar as buscas mais eficientes:

• Suporte à linguagem natural: As pessoas podem encontrar imagens descrevendo-as com suas próprias palavras, sem usar rótulos predefinidos.
• Suporte a formatos de imagem comuns: Esses sistemas geralmente funcionam com formatos padrão, como JPG e PNG, sem exigir a conversão ou reformatação dos arquivos.
• Integração com outras ferramentas: A busca de imagens com IA muitas vezes pode ser incorporada a pipelines, painéis ou softwares criativos mais amplos.

Embora as soluções de busca de imagens com IA ofereçam muitas vantagens, também há algumas limitações a considerar. Veja alguns fatores importantes:

• Precisão limitada em consultas de nicho: Se uma consulta for muito específica ou incomum, o sistema poderá retornar resultados menos relevantes devido a lacunas nos dados de treinamento do modelo.
• Viés nos dados de treinamento: Os modelos de IA podem refletir os vieses presentes nos conjuntos de dados usados para treiná-los, o que pode levar a resultados distorcidos ou incompletos.
• O desempenho depende da qualidade da imagem: Imagens com baixa resolução ou pouco nítidas podem reduzir a eficácia da geração de embeddings e a precisão da busca.

Principais conclusões#

A busca semântica de imagens muda o foco da correspondência de palavras-chave para a compreensão do significado, ajudando os usuários a encontrar imagens com base no contexto, e não apenas em tags ou nomes de arquivos. Isso torna a experiência de busca mais rápida, precisa e alinhada ao que os usuários realmente procuram.

Para equipes criativas e setores orientados por conteúdo, isso significa menos tempo organizando arquivos irrelevantes e mais tempo desenvolvendo ideias. Organizações que gerenciam grandes volumes de dados visuais podem usar soluções como a busca semântica de imagens da Ultralytics para agilizar a descoberta de conteúdo, reduzir a organização manual e tomar decisões melhores e mais rápidas com base no contexto visual.

Faça parte da nossa comunidade e explore nosso repositório no GitHub para descobrir mais sobre IA. Confira nossas páginas de soluções para saber mais sobre inovações como IA na logística e visão computacional na área da saúde. Confira nossas opções de licenciamento e comece hoje mesmo!