Uma análise da solução de pesquisa semântica de imagens da Ultralytics

Percorrer uma galeria com centenas de imagens pode rapidamente tornar-se avassalador, especialmente quando estás a tentar encontrar algo muito específico. Por exemplo, alguém que procure um mapa da Roma antiga pode deparar-se com mapas aleatórios de cidades ou fotografias de viagens.

Estas situações ocorrem porque a maioria dos sistemas de pesquisa de imagens depende de nomes de ficheiros ou etiquetas. Embora isto possa funcionar para pesquisas gerais, muitas vezes fica aquém quando são necessárias precisão, riqueza de pormenor e contexto.

Na verdade, muitas pessoas em áreas como design, marketing e investigação têm dificuldade em encontrar as imagens certas, uma vez que as pesquisas por palavras-chave raramente captam a ideia específica que procuram. Isto pode causar atrasos e prejudicar a produtividade.

No entanto, graças aos avanços recentes na inteligência artificial (AI), as limitações tradicionais das ferramentas de pesquisa de imagens estão a ser substituídas por sistemas mais inteligentes e intuitivos. Por exemplo, a visão computacional, um ramo da AI que se concentra na interpretação e compreensão de dados visuais, permite pesquisas de imagens mais rápidas e precisas ao analisar o conteúdo efetivo das imagens.

Em particular, a pesquisa semântica de imagens vai além da correspondência de palavras-chave ao compreender o significado por detrás de uma pesquisa. Permite-te usar linguagem natural para descrever o que procuras e encontra imagens que correspondem à ideia, e não apenas às etiquetas. Por exemplo, uma pesquisa por "animais num jardim zoológico" pode devolver imagens aleatórias de animais num sistema tradicional, enquanto uma pesquisa semântica compreende o contexto e encontra imagens de animais em ambientes de jardim zoológico.

Fig. 1. Um exemplo da utilização da pesquisa semântica de imagens para obter imagens de animais num jardim zoológico.

Neste artigo, vamos explorar como funciona a pesquisa semântica de imagens e analisar alguns casos de utilização no mundo real. Também veremos a solução de pesquisa semântica de imagens da Ultralytics, que facilita a aplicação deste conceito em projetos do dia a dia. Vamos começar!

Visão geral da solução de pesquisa semântica de imagens da Ultralytics#

O pacote Python da Ultralytics oferece várias soluções prontas a utilizar para aplicações comuns de visão computacional, incluindo gestão de filas, contagem de objetos baseada em regiões, cálculo de distâncias e pesquisa semântica de imagens. Estas soluções foram concebidas para serem fáceis de utilizar, mesmo por pessoas sem conhecimentos especializados de AI ou visão computacional.

Entre elas, a solução de pesquisa semântica de imagens permite aos utilizadores encontrar imagens relevantes através de descrições em linguagem natural, em vez de dependerem de nomes de ficheiros ou etiquetas manuais. Compreende o significado por detrás de uma consulta de pesquisa e devolve imagens que correspondem à ideia, sendo especialmente útil quando a precisão e o contexto são importantes.

Como funciona a solução de pesquisa semântica de imagens#

A solução de pesquisa semântica de imagens da Ultralytics é alimentada por dois modelos avançados de AI: o CLIP da OpenAI (Pré-treino contrastivo de linguagem e imagem) e o FAISS da Meta (Pesquisa de similaridade de AI do Facebook). O CLIP converte texto e imagens em representações numéricas designadas embeddings, que captam o seu significado e contexto. O FAISS pesquisa eficientemente milhões destes embeddings para encontrar os mais relevantes para a tua consulta.

Além disso, uma interface Web simplificada, criada com Flask, torna a solução fácil de utilizar. Os utilizadores podem introduzir consultas em linguagem natural e obter imagens correspondentes sem qualquer etiquetagem manual ou preparação de dados.

Uma das principais vantagens desta solução é a sua capacidade zero-shot. Isto significa que consegue interpretar e responder a consultas sobre objetos ou cenas com os quais não foi especificamente treinada. Ao tirar partido da sua ampla compreensão da linguagem e dos elementos visuais, consegue devolver resultados relevantes mesmo para conteúdos desconhecidos ou sem etiquetas.

Por exemplo, se utilizares a solução para pesquisar por um “ambiente de escritório”, esta pode devolver imagens de secretárias, salas de reuniões ou espaços de trabalho, mesmo que essas palavras não estejam associadas aos ficheiros. Isto torna a pesquisa semântica de imagens da Ultralytics uma ferramenta prática e flexível para projetos criativos, investigação e trabalho com grandes bibliotecas de imagens.

Fig. 2. Pesquisa de imagens de um ambiente de escritório utilizando a solução de pesquisa semântica de imagens da Ultralytics.

Aplicações no mundo real da solução de pesquisa semântica de imagens#

Agora que compreendemos melhor a solução de pesquisa semântica de imagens da Ultralytics, vamos analisar algumas aplicações no mundo real e ver como diferentes setores podem integrá-la nos seus fluxos de trabalho visuais.

Utilizar ferramentas de pesquisa de imagens com AI para a gestão de conjuntos de dados#

Gerir enormes conjuntos de dados de imagens é uma das tarefas mais demoradas na criação de soluções de visão computacional. Na maioria dos casos, os programadores não precisam do conjunto de dados completo. Em vez disso, podem estar à procura de tipos específicos de imagens para treinar modelos ou criar conjuntos de validação limpos. No entanto, encontrar essas imagens exatas entre milhares pode ser difícil.

Imagina que estás a trabalhar num projeto que envolve imagens de equitação. Podes precisar apenas de fotografias em que o cavaleiro usa capacete, cavalga com outras pessoas ou é captado em movimento de perfil. Sem etiquetas adequadas, encontrar manualmente estas imagens pode exigir muito tempo e esforço.

A solução de pesquisa semântica de imagens, disponibilizada pela Ultralytics, pode resolver este problema ao permitir que os programadores utilizem consultas em linguagem natural para encontrar rapidamente o que precisam, mesmo em conjuntos de dados desorganizados ou sem etiquetas. Isto reduz o tempo gasto na organização e permite que as equipas se concentrem em criar modelos melhores de forma mais eficiente.

Fig. 3. Podes pesquisar facilmente imagens específicas em grandes conjuntos de dados.

Pesquisa de imagens zero-shot para produtos de comércio eletrónico#

Pesquisar produtos específicos online pode ser frustrante. Os compradores descrevem frequentemente o que procuram com as suas próprias palavras, mas as listagens de produtos podem utilizar termos ou etiquetas diferentes. Esta incompatibilidade dificulta a localização dos artigos certos, especialmente em catálogos grandes.

Considera uma situação em que alguém está a comprar mobiliário e pesquisa por um “conjunto de sofá, cadeira e mesa”. O produto que procura pode estar listado com uma etiqueta diferente, como “conjunto de sala de três peças”. Como os termos não correspondem exatamente, o artigo pode não aparecer nos resultados da pesquisa, apesar de ser precisamente aquilo de que o cliente precisa.

Fig. 4. A solução de pesquisa semântica de imagens da Ultralytics ajuda a associar a intenção do utilizador a imagens relevantes de produtos.

Indexação avançada de imagens para os meios de comunicação e a publicação#

Da mesma forma, em áreas como o jornalismo, os blogues e o marketing digital, os elementos visuais são essenciais para contar histórias. A imagem certa pode apoiar uma mensagem, definir o tom e manter os leitores envolvidos. No entanto, encontrar a imagem perfeita implica muitas vezes procurar em inúmeros ficheiros.

Um bom exemplo é um blogger a escrever sobre tendências de decoração de interiores. Pode querer uma imagem de uma sala de estar luminosa e minimalista, com iluminação natural. No entanto, se as imagens disponíveis tiverem apenas etiquetas genéricas como “sala” ou “interior”, encontrar a correspondência certa pode ser frustrante.

Com a pesquisa semântica de imagens, basta escrever uma frase descritiva como “uma sala de estar luminosa e minimalista com janelas grandes” para obter instantaneamente imagens que correspondem à ideia. Não é necessário depender de etiquetas ou nomes de ficheiros exatos.

Fig. 5. As equipas de conteúdo podem utilizar a solução de pesquisa semântica de imagens da Ultralytics para otimizar a seleção de imagens.

Pesquisa semântica de imagens para inspiração artística e de design#

Normalmente, o trabalho criativo, como criar um mood board ou reunir inspiração para um novo projeto, envolve pesquisar grandes coleções de imagens para encontrar elementos visuais que correspondam a um estilo ou ideia específicos. Um exemplo interessante são os designers que trabalham no cenário de um filme. Podem precisar de captar um determinado estado de espírito, período ou atmosfera. Isto pode variar entre uma cidade futurista e uma sala de estar acolhedora com um estilo inspirado nos anos 1980.

A pesquisa semântica de imagens da Ultralytics facilita este processo ao associar a linguagem ao significado visual. Isto permite que as equipas explorem ideias rapidamente e mantenham o foco, sem serem abrandadas por pesquisas manuais.

Fig. 6. A solução de pesquisa semântica de imagens da Ultralytics permite uma exploração visual mais rápida para projetos criativos.

Vantagens e desvantagens da pesquisa de imagens com AI#

Eis algumas das principais vantagens da utilização da pesquisa de imagens com AI para melhorar os fluxos de trabalho visuais e a eficiência da pesquisa:

• Suporte para linguagem natural: As pessoas podem encontrar imagens descrevendo-as com as suas próprias palavras, sem utilizar etiquetas predefinidas.
• Suporte para formatos de imagem comuns: Estes sistemas funcionam normalmente com formatos padrão como JPG e PNG, pelo que não é necessário converter ou reformular os ficheiros.
• Integração com outras ferramentas: A pesquisa de imagens com AI pode muitas vezes ser integrada em pipelines maiores, dashboards ou software criativo.

Embora as soluções de pesquisa de imagens com AI ofereçam muitas vantagens, também existem algumas limitações a ter em conta. Eis alguns fatores a considerar:

• Precisão limitada em consultas específicas: Se uma consulta for muito específica ou invulgar, o sistema pode devolver resultados menos relevantes devido a lacunas nos dados de treino do modelo.
• Enviesamento nos dados de treino: Os modelos de AI podem refletir os enviesamentos presentes nos conjuntos de dados com que foram treinados, o que pode resultar em resultados distorcidos ou incompletos.
• O desempenho depende da qualidade da imagem: Imagens de baixa resolução ou pouco nítidas podem reduzir a eficácia da geração de embeddings e a precisão da pesquisa.

Principais conclusões#

A pesquisa semântica de imagens muda o foco da correspondência de palavras-chave para a compreensão do significado, ajudando os utilizadores a encontrar imagens com base no contexto, e não apenas nas etiquetas ou nos nomes de ficheiros. Isto torna a experiência de pesquisa mais rápida, mais precisa e mais alinhada com aquilo que os utilizadores procuram realmente.

Para equipas criativas e setores orientados para conteúdos, isto significa menos tempo a pesquisar ficheiros irrelevantes e mais tempo a desenvolver ideias. As organizações que gerem grandes volumes de dados visuais podem utilizar soluções como a pesquisa semântica de imagens da Ultralytics para simplificar a descoberta de conteúdos, reduzir a organização manual e tomar decisões mais inteligentes e rápidas com base no contexto visual.

Torna-te parte da nossa comunidade e explora o nosso repositório do GitHub para obteres mais informações sobre AI. Consulta as nossas páginas de soluções para saberes mais sobre inovações como AI na logística e visão computacional na área da saúde. Consulta as nossas opções de licenciamento e começa hoje!