Impulsionando a visão computacional de código aberto com os transformers da Hugging Face

Enquanto continuamos a explorar os destaques do evento YOLO VISION 2023 (YV23), vamos conhecer Merve Noyan, Engenheira de Advocacy para Desenvolvedores na Hugging Face, a plataforma líder em NLP com modelos pré-treinados para o desenvolvimento eficiente de aplicações de linguagem. Em sua palestra, Merve compartilhou insights incríveis sobre o mundo da visão computacional de código aberto.

Junte-se a nós enquanto te levamos por uma jornada através do fascinante universo do transfer learning, transformers e o ecossistema de visão computacional de código aberto.

Link to this sectionTransfer learning revelado: Um resumo rápido#

Merve começou com uma introdução rápida sobre transfer learning, a varinha mágica que nos permite transferir conhecimento de uma rede neural para outra. Imagine treinar um modelo nas características universais das camadas iniciais, como bordas e cantos, e depois realizar o fine-tuning para tarefas específicas. Essa é a essência do transfer learning, reduzindo dependências de dados e aumentando a precisão.

Merve destacou backbones convolucionais clássicos como ResNet e Inception, preparando o cenário para a jornada transformadora que viria a seguir.

Link to this sectionEntram os transformers: Um enigma revelado#

O que torna os Transformers especiais? Merve comparou-os a um enigma, demonstrando como eles diferem dos modelos baseados em convolução tradicionais. O segredo está na capacidade de realizar aprendizagem autossupervisionada, capturando características sem a necessidade de dados rotulados. Vision Transformer, Data Efficient Transformer, CLIP e Swin Transformer foram alguns dos modelos baseados em transformer que ela apresentou.

Estabelecendo um ponto em comum com a Ultralytics, que oferece suporte para um modelo de transformer projetado para detecção de objetos. Este modelo apresenta um encoder híbrido eficaz, seleção de query com reconhecimento de IOU e velocidade de inferência ajustável. Notavelmente, ele segue o padrão familiar de outros modelos Ultralytics YOLOv8, apresentando opções para predição, treinamento, validação e exportação.

Link to this sectionO seu balcão único#

Merve então mergulhou no tesouro de ofertas da Hugging Face, com mais de 8.000 modelos para tarefas clássicas de visão computacional e 10.000 modelos para aplicações multimodais. O Hugging Face Hub possui mais de 3.000 datasets, tornando-se um playground para desenvolvedores e entusiastas. Merve enfatizou a experiência integrada, graças à API consistente da Hugging Face, oferecendo modelos prontos para uso em diversos casos.

Link to this sectionMágica prática com a Hugging Face#

A palestra passou para demonstrações práticas, mostrando como é fácil trabalhar com modelos. Desde a instanciação de modelos e processadores até o fine-tuning com a Trainer API, Merve deixou claro que a biblioteca Transformers da Hugging Face é a melhor amiga do desenvolvedor. Ela até apresentou a Pipeline API, uma favorita pessoal, simplificando o fluxo de trabalho para os usuários.

Fig 1. Merve Noyan apresentando no YV23 no Google for Startups Campus em Madrid.

Link to this sectionUm vislumbre das aplicações#

Merve encerrou a palestra com um vislumbre de algumas aplicações fantásticas, incluindo o modelo Plot para resposta a perguntas visuais, Blip para legendagem de imagens e o poderoso modelo Segment Anything para segmentação de imagens. A Pipeline API do ecossistema Hugging Face foi o destaque, tornando muito fácil usar modelos sem precisar entrar em detalhes técnicos.

A cereja no topo do bolo foi a demonstração de Merve sobre a criação de ilusões de ótica com Elysian Diffusion, uma experiência cativante que adiciona um toque divertido ao mundo da IA.

Link to this sectionEm resumo!#

Concluindo, a palestra de Merve nos deixou inspirados e ansiosos para explorar as infinitas possibilidades da visão computacional de código aberto. A Hugging Face realmente tornou a IA acessível, divertida e empolgante, capacitando os desenvolvedores a liberarem sua criatividade. Um brinde ao futuro da comunidade de código aberto e às incríveis inovações que ela reserva!

Assiste à palestra completa sobre visão computacional da Hugging Face!