Impulsando la visión artificial de código abierto con los transformers de Hugging Face
¡Sumérgete en la visión artificial de código abierto con Hugging Face! Aprende sobre transferencia de aprendizaje, transformers y explora más de 8.000 modelos. Únete a Merve Noyan para obtener ideas y demostraciones prácticas, capacitando a los desarrolladores para innovar en la exploración de la IA.
A medida que seguimos explorando los momentos destacados del evento YOLO VISION 2023 (YV23), conozcamos a Merve Noyan, ingeniera de defensoría de desarrolladores en Hugging Face, la plataforma líder de PLN con modelos preentrenados para el desarrollo eficiente de aplicaciones de lenguaje. En su charla, Merve compartió perspectivas increíbles sobre el mundo de la visión artificial de código abierto.
Acompáñanos en un recorrido por el fascinante universo del aprendizaje por transferencia, los transformers y el ecosistema de visión artificial de código abierto.
Aprendizaje por transferencia revelado: un resumen rápido#
Merve comenzó con una introducción rápida al aprendizaje por transferencia, la varita mágica que nos permite transferir conocimientos de una red neuronal a otra. Imagina entrenar un modelo sobre las características universales en las primeras capas, como bordes y esquinas, y luego ajustarlo para tareas específicas. Esta es la esencia del aprendizaje por transferencia, que reduce las dependencias de datos y aumenta la precisión.
Merve destacó las arquitecturas convolucionales clásicas como ResNet e Inception, preparando el terreno para el viaje transformador que se avecinaba.
Entran los transformers: un acertijo desvelado#
¿Qué hace especiales a los Transformers? Merve lo comparó con un acertijo, mostrando cómo se diferencian de los modelos tradicionales basados en convoluciones. El ingrediente secreto reside en su capacidad para realizar aprendizaje autotitulado, capturando características sin necesidad de datos etiquetados. Vision Transformer, Data Efficient Transformer, CLIP y Swin Transformer fueron parte del elenco estelar de modelos basados en transformers que ella presentó.
Sentando bases comunes con Ultralytics, que ofrece soporte para un modelo transformer diseñado para la detección de objetos. Este modelo cuenta con un codificador híbrido eficaz, selección de consultas basada en IoU y velocidad de inferencia ajustable. Cabe destacar que sigue el patrón habitual de otros modelos de Ultralytics YOLOv8, ofreciendo opciones para predicción, entrenamiento, validación y exportación.
Tu solución integral#
Merve se adentró después en el tesoro de ofertas de Hugging Face, con más de 8000 modelos para tareas clásicas de visión artificial y 10 000 modelos para aplicaciones multimodales. El Hugging Face Hub cuenta con la impresionante cifra de más de 3000 datasets, convirtiéndolo en un patio de recreo para desarrolladores y entusiastas por igual. Merve destacó la experiencia fluida, gracias a la API consistente de Hugging Face, que ofrece modelos listos para usar en diversos casos de uso.
Magia práctica con Hugging Face#
La charla pasó a demostraciones prácticas, mostrando lo sencillo que resulta trabajar con los modelos. Desde instanciar modelos y procesadores hasta realizar ajustes con la Trainer API, Merve dejó claro que la biblioteca Hugging Face Transformers es la mejor amiga de un desarrollador. Incluso presentó la Pipeline API, una favorita personal, que simplifica el flujo de trabajo para los usuarios.
Fig 1. Merve Noyan presentando en el YV23 en el Google for Startups Campus en Madrid.
Un vistazo a las aplicaciones#
Merve cerró la charla con un vistazo a algunas aplicaciones fantásticas, incluyendo el modelo Plot para respuesta visual a preguntas, Blip para subtitulado de imágenes y el potente modelo Segment Anything para segmentación de imágenes. La Pipeline API del Ecosistema de Hugging Face fue la protagonista, haciendo que sea muy sencillo usar modelos sin profundizar demasiado en los tecnicismos.
La guinda del pastel fue la demostración de Merve sobre la creación de ilusiones ópticas con Elysian Diffusion, una experiencia cautivadora que añade un toque divertido al mundo de la IA.
¡En pocas palabras!#
En conclusión, la charla de Merve nos dejó inspirados y con ganas de explorar las infinitas posibilidades de la visión artificial de código abierto. Hugging Face ha logrado que la IA sea verdaderamente accesible, divertida y emocionante, permitiendo que los desarrolladores den rienda suelta a su creatividad. ¡Brindemos por el futuro de la comunidad de código abierto y las increíbles innovaciones que nos esperan!
¡Mira la charla completa sobre visión artificial de Hugging Face!
