A impulsionar a visão computacional de código aberto com os Transformers da Hugging Face

Enquanto continuamos explorando os destaques do evento YOLO VISION 2023 (YV23), vamos conhecer Merve Noyan, engenheira de defesa de desenvolvedores na Hugging Face, a principal plataforma de PLN com modelos pré-treinados para o desenvolvimento eficiente de aplicações de linguagem. Em sua palestra, Merve compartilhou insights sobre o universo da visão computacional de código aberto.

Confira um resumo da palestra dela sobre aprendizado por transferência, transformers e o ecossistema de visão computacional de código aberto.

Aprendizagem por transferência: uma breve recapitulação#

Merve começou com uma breve introdução ao aprendizado por transferência, uma técnica que transfere conhecimento de uma rede neural para outra. Imagine treinar um modelo com características universais nas camadas iniciais, como bordas e cantos, e depois ajustá-lo para tarefas específicas. Essa é a essência do aprendizado por transferência: reduzir a dependência de dados e aumentar a precisão.

Merve destacou arquiteturas convolucionais clássicas, como ResNet e Inception, preparando o terreno para os modelos Transformer apresentados em seguida.

Chegam os transformers: um enigma desvendado#

O que torna os Transformers especiais? Merve comparou-os a um enigma, mostrando como eles diferem dos modelos tradicionais baseados em convoluções. Um de seus principais pontos fortes é a capacidade de aprender de forma autossupervisionada, capturando características sem precisar de dados rotulados. Vision Transformer, Data-efficient Image Transformer (DeiT), CLIP e Swin Transformer estavam entre os modelos baseados em Transformer que ela apresentou.

A Ultralytics também oferece suporte a um modelo Transformer desenvolvido para detecção de objetos: RT-DETR. Esse modelo conta com um codificador híbrido eficiente, seleção de consultas com reconhecimento de IoU e velocidade de inferência ajustável. Vale destacar que ele segue o padrão familiar de outros modelos Ultralytics YOLOv8, com opções de predição, treinamento, validação e exportação.

Tudo num só lugar#

Merve apresentou em seguida as ofertas da Hugging Face, com mais de 8.000 modelos para tarefas clássicas de visão computacional e 10.000 modelos para aplicações multimodais. O Hugging Face Hub hospeda mais de 3.000 conjuntos de dados, tornando-se um recurso útil para desenvolvedores e entusiastas. Merve enfatizou a experiência integrada, possibilitada pela API consistente da Hugging Face, que oferece modelos prontos para uso em diversos casos.

Experimentação prática com a Hugging Face#

A palestra passou então para demonstrações práticas, mostrando como é fácil trabalhar com modelos. Da instanciação de modelos e processadores ao ajuste fino com a API Trainer, Merve deixou claro que a biblioteca Hugging Face Transformers foi criada pensando nos desenvolvedores. Ela também apresentou a API Pipeline, uma de suas favoritas, que simplifica o fluxo de trabalho para os usuários.

Fig. 1. Merve Noyan a apresentar no YV23 no Google for Startups Campus, em Madrid.

Uma espreitadela às aplicações#

Merve encerrou a palestra com uma breve apresentação de algumas aplicações, incluindo um modelo para responder a perguntas visuais, o BLIP para criar legendas de imagens e o Modelo Segment Anything para segmentação de imagens. A API Pipeline do ecossistema Hugging Face ganhou destaque, facilitando o uso de modelos sem precisar se aprofundar nos detalhes técnicos.

A cereja do bolo foi a demonstração de Merve sobre como criar ilusões de ótica com um modelo de difusão, uma experiência cativante que dá um toque divertido ao mundo da IA.

Em poucas palavras!#

Em conclusão, a palestra de Merve nos inspirou a explorar o que a visão computacional de código aberto pode fazer. A Hugging Face tornou a IA mais acessível e divertida, ajudando os desenvolvedores a colocar suas ideias em prática. Um brinde ao futuro da comunidade de código aberto e às inovações que ela trará!

Assista à palestra completa sobre visão computacional da Hugging Face!