A impulsionar projetos de visão computacional com as ferramentas de código aberto da Hugging Face

Escolher os algoritmos certos é apenas uma parte da criação de soluções de visão computacional com impacto. Os engenheiros de IA trabalham frequentemente com grandes conjuntos de dados, ajustam modelos para tarefas específicas e otimizam sistemas de IA para obter um bom desempenho no mundo real. À medida que a adoção de aplicações de IA acelera, cresce também a necessidade de ferramentas que simplifiquem estes processos.

No YOLO Vision 2024 (YV24), o evento híbrido anual promovido pela Ultralytics, especialistas em IA e entusiastas da tecnologia reuniram-se para explorar as mais recentes inovações em visão computacional. O evento deu origem a debates sobre vários tópicos, como formas de acelerar o desenvolvimento de aplicações de IA.

Um dos destaques do evento foi uma apresentação principal sobre o Hugging Face, uma plataforma de IA de código aberto que simplifica o treino, a otimização e a implementação de modelos. Pavel Iakubovskii, engenheiro de aprendizagem automática no Hugging Face, explicou como as ferramentas da plataforma melhoram os fluxos de trabalho de tarefas de visão computacional, como detetar objetos em imagens, classificar imagens em diferentes grupos e fazer previsões sem treino prévio com exemplos específicos (aprendizagem zero-shot).

O Hugging Face Hub aloja e dá acesso a vários modelos de IA e de visão computacional, como o Ultralytics YOLO11. Neste artigo, vamos recapitular as principais conclusões da apresentação de Pavel e ver como os programadores podem utilizar as ferramentas de código aberto do Hugging Face para criar e implementar modelos de IA rapidamente.

Fig. 1. Pavel no palco do YV24.

O Hugging Face Hub acelera o desenvolvimento de IA#

Pavel começou a sua apresentação por explicar que o Hugging Face é uma plataforma de IA de código aberto que disponibiliza modelos pré-treinados para várias aplicações. Estes modelos foram concebidos para diferentes áreas da IA, incluindo o processamento de linguagem natural (NLP), a visão computacional e a IA multimodal, permitindo que os sistemas processem diferentes tipos de dados, como texto, imagens e áudio.

Pavel mencionou que o Hugging Face Hub agora hospeda mais de 1 milhão de modelos, e que os desenvolvedores podem encontrar facilmente modelos adequados a seus projetos específicos. O Hugging Face busca simplificar o desenvolvimento de IA oferecendo ferramentas para treinamento, ajuste fino e implantação de modelos. Quando os desenvolvedores podem experimentar diferentes modelos, o processo de integrar a IA a aplicações do mundo real fica mais simples.

Embora inicialmente fosse conhecido pelo NLP, o Hugging Face expandiu-se desde então para a visão computacional e a IA multimodal, permitindo aos programadores abordar uma gama mais ampla de tarefas de IA. A plataforma também conta com uma comunidade ativa, onde os programadores podem colaborar, partilhar conhecimentos e obter apoio em fóruns, no Discord e no GitHub.

Explorar modelos do Hugging Face para aplicações de visão computacional#

Pavel explicou mais detalhadamente como as ferramentas do Hugging Face facilitam a criação de aplicações de visão computacional. Os programadores podem utilizá-las em tarefas como classificação de imagens, deteção de objetos e aplicações de visão e linguagem.

Também salientou que muitas destas tarefas de visão computacional podem ser realizadas com modelos pré-treinados disponíveis no Hugging Face Hub, poupando tempo ao reduzir a necessidade de treinar modelos desde o início. Na verdade, o Hugging Face oferece mais de 13 000 modelos pré-treinados para tarefas de classificação de imagens, incluindo modelos para classificar alimentos, animais de estimação e detetar emoções.

Ao salientar a acessibilidade destes modelos, afirmou: «Provavelmente nem precisas de treinar um modelo para o teu projeto — podes encontrar no Hub um modelo que alguém da comunidade já treinou.»

Modelos do Hugging Face para deteção de objetos#

Dando outro exemplo, Pavel explicou como o Hugging Face pode ajudar na deteção de objetos, uma função essencial da visão computacional usada para identificar e localizar objetos em imagens. Mesmo com poucos dados anotados, os modelos pré-treinados disponíveis no Hugging Face Hub podem tornar a deteção de objetos mais eficiente.

Ele também apresentou rapidamente vários modelos criados para essa tarefa que você pode encontrar no Hugging Face:

• Modelos de detecção de objetos em tempo real: Em ambientes dinâmicos, nos quais a velocidade é essencial, modelos como o Transformer de detecção em tempo real (RT-DETR) oferecem recursos de detecção de objetos em tempo real. O RT-DETR é treinado no conjunto de dados COCO e foi projetado para processar recursos em múltiplas escalas com eficiência, o que o torna adequado para aplicações sensíveis ao tempo.
• Modelos de visão e linguagem: esses modelos combinam o processamento de imagens e texto, permitindo que sistemas de IA associem imagens a descrições ou reconheçam objetos que não faziam parte dos dados de treinamento. Entre os exemplos estão CLIP e SigLIP, que aprimoram a pesquisa de imagens ao associar texto a elementos visuais e permitem que soluções de IA identifiquem novos objetos ao compreender seu contexto.
• Modelos de detecção de objetos zero-shot: eles podem identificar objetos que nunca viram antes ao compreender a relação entre imagens e texto. Entre os exemplos estão OWL-ViT, Grounding DINO e OmDet, que usam aprendizado zero-shot para detectar novos objetos sem precisar de dados de treinamento rotulados. O Ultralytics VLM Leaderboard compara detectores de vocabulário aberto como esses em conjuntos de dados de detecção do mundo real.

Como usar os modelos do Hugging Face#

Em seguida, Pavel passou à utilização prática dos modelos do Hugging Face e explicou três formas de os programadores os aproveitarem: explorar modelos, testá-los rapidamente e personalizá-los.

Ele demonstrou como os programadores podem explorar modelos diretamente no Hugging Face Hub sem escrever código, o que facilita testá-los de imediato através de uma interface interativa. «Você pode experimentá-lo sem escrever uma única linha de código nem transferir o modelo para o seu computador», acrescentou Pavel. Como alguns modelos são grandes, executá-los no Hub ajuda a evitar limitações de armazenamento e processamento.

Fig. 2. Como usar os modelos do Hugging Face.

Além disso, a API de Inferência do Hugging Face permite que os programadores executem modelos de IA com chamadas simples à API. É uma ótima opção para testes rápidos, projetos de prova de conceito e prototipagem rápida, sem necessidade de uma configuração complexa.

Para casos de uso mais avançados, os desenvolvedores podem usar o framework Hugging Face Transformers, uma ferramenta de código aberto que oferece modelos pré-treinados para tarefas de texto, visão e áudio, além de ser compatível com PyTorch e TensorFlow. Pavel explicou que, com apenas duas linhas de código, os desenvolvedores podem obter um modelo do Hugging Face Hub e conectá-lo a uma ferramenta de pré-processamento, como um processador de imagens, para analisar dados de imagem em aplicações de IA de visão.

Otimizar fluxos de trabalho de IA com o Hugging Face#

Em seguida, Pavel explicou como o Hugging Face pode otimizar os fluxos de trabalho de IA. Um dos principais tópicos abordados foi a otimização do mecanismo de atenção em Transformers, um recurso central dos modelos de aprendizado profundo que os ajuda a se concentrar nas partes mais relevantes dos dados de entrada. Isso melhora a precisão das tarefas de processamento de linguagem e visão computacional. No entanto, pode exigir muitos recursos.

Otimizar o mecanismo de atenção pode reduzir significativamente o uso de memória e, ao mesmo tempo, aumentar a velocidade. Pavel observou: «Por exemplo, ao mudar para uma implementação de atenção mais eficiente, você pode obter um desempenho até 1,8 vezes mais rápido.»

O Hugging Face oferece suporte integrado a implementações de atenção mais eficientes no framework Transformers. Os programadores podem ativar estas otimizações especificando uma implementação de atenção alternativa ao carregar um modelo.

Optimum e Torch Compile#

Ele também falou sobre quantização, uma técnica que reduz o tamanho dos modelos de IA diminuindo a precisão dos números que eles usam sem afetar muito a acurácia. Isso ajuda os modelos a usar menos memória e a executar mais rapidamente, tornando-os mais adequados a dispositivos com capacidade de processamento limitada, como smartphones e sistemas embarcados.

Para aumentar ainda mais a eficiência, Pavel apresentou a biblioteca Optimum do Hugging Face, um conjunto de ferramentas concebidas para otimizar e implementar modelos. Com apenas algumas linhas de código, os programadores podem aplicar técnicas de quantização e converter modelos para formatos eficientes, como ONNX (Open Neural Network Exchange), permitindo que sejam executados sem problemas em diferentes tipos de hardware, incluindo servidores na nuvem e dispositivos de edge.

Fig. 3. Pavel falou sobre a biblioteca Optimum e as suas funcionalidades.

Por fim, Pavel mencionou as vantagens do Torch Compile, um recurso do PyTorch que otimiza a forma como os modelos de IA processam dados, tornando a execução mais rápida e eficiente. O Hugging Face integra o Torch Compile nas suas bibliotecas Transformers e Optimum, permitindo que os programadores tirem partido destas melhorias de desempenho com alterações mínimas ao código.

Ao otimizar a estrutura computacional do modelo, o Torch Compile pode acelerar a inferência e aumentar a frequência de fotogramas de 29 para 150 por segundo, sem comprometer a precisão nem a qualidade.

Implementar modelos com as ferramentas do Hugging Face#

De seguida, Pavel abordou brevemente a forma como os programadores podem expandir e implementar modelos de IA de visão com as ferramentas do Hugging Face, depois de selecionarem o modelo certo e escolherem a melhor abordagem de desenvolvimento.

Por exemplo, os desenvolvedores podem implantar aplicações interativas de IA usando o Gradio e o Streamlit. O Gradio permite que os desenvolvedores criem interfaces baseadas na web para modelos de aprendizado de máquina, enquanto o Streamlit ajuda a criar aplicações interativas de dados com scripts simples em Python.

Pavel também observou: «Você não precisa de começar a escrever tudo do zero», referindo-se aos guias, notebooks de treino e scripts de exemplo que o Hugging Face disponibiliza. Estes recursos ajudam os programadores a começar rapidamente, sem terem de construir tudo de raiz.

Fig. 4. Pavel a falar sobre as capacidades do Hugging Face na YV24.

Vantagens do Hugging Face Hub#

Ao concluir a sua palestra principal, Pavel resumiu as vantagens de usar o Hugging Face Hub. Destacou como a plataforma simplifica a gestão de modelos e a colaboração. Também chamou a atenção para a disponibilidade de guias, notebooks e tutoriais, que podem ajudar tanto principiantes como especialistas a compreender e implementar modelos de IA.

«Já há muitos espaços interessantes no Hub. Você pode encontrar outros semelhantes, clonar o código partilhado, alterar algumas linhas, substituir o modelo pelo seu e voltar a publicá-lo», explicou, incentivando os programadores a aproveitar a flexibilidade da plataforma.

Principais conclusões#

Na sua palestra na YV24, Pavel partilhou como o Hugging Face disponibiliza ferramentas que apoiam o treino, a otimização e a implementação de modelos de IA. Por exemplo, inovações como Transformers, Optimum e Torch Compile podem ajudar os programadores a melhorar o desempenho dos modelos.

À medida que os modelos de IA se tornam mais eficientes, os avanços na quantização e na implementação na edge facilitam a sua execução em dispositivos com recursos limitados. Estas melhorias, combinadas com ferramentas como o Hugging Face e modelos avançados de visão computacional como o Ultralytics YOLO11, são fundamentais para criar aplicações escaláveis e de alto desempenho de IA de visão.

Junte-se à nossa comunidade em crescimento! Explore o nosso repositório do GitHub para aprender sobre IA e consulte as nossas licenças YOLO para começar os seus projetos de IA de visão. Tem interesse em inovações como a visão computacional na área da saúde ou a visão computacional na agricultura? Visite as nossas páginas de soluções para saber mais!