Impulsar la visión artificial de código abierto con los transformers de Hugging Face
Adéntrate en la visión artificial de código abierto con Hugging Face. Aprende sobre el aprendizaje por transferencia y los transformers, y explora más de 8000 modelos. Acompaña a Merve Noyan para descubrir ideas y demostraciones prácticas que ayudarán a los desarrolladores a innovar en el ámbito de la IA.
Mientras seguimos descubriendo los momentos destacados del evento YOLO VISION 2023 (YV23), conozcamos a Merve Noyan, ingeniera de promoción para desarrolladores en Hugging Face, la principal plataforma de PLN con modelos preentrenados para desarrollar aplicaciones lingüísticas de forma eficiente. En su ponencia, Merve compartió ideas fascinantes sobre el mundo de la visión artificial de código abierto.
Acompáñanos en un recorrido por el fascinante universo del aprendizaje por transferencia, los transformers y el ecosistema de visión artificial de código abierto.
Aprendizaje por transferencia: un breve repaso#
Merve comenzó con una breve introducción al aprendizaje por transferencia, que permite transferir conocimientos de una red neuronal a otra. Imagina entrenar un modelo con características generales en las primeras capas, como bordes y esquinas, y después ajustarlo para tareas concretas. Esa es la esencia del aprendizaje por transferencia: reducir la dependencia de los datos y aumentar la precisión.
Merve destacó las arquitecturas convolucionales clásicas, como ResNet e Inception, y preparó el terreno para el viaje transformador que vendría después.
Llegan los transformers: se desvela el enigma#
¿Qué hace especiales a los Transformers? Merve lo comparó con un enigma y mostró en qué se diferencian de los modelos tradicionales basados en convoluciones. Su secreto está en la capacidad de aprender de forma autosupervisada y extraer características sin necesitar datos etiquetados. Vision Transformer, Data Efficient Transformer, CLIP y Swin Transformer fueron algunos de los modelos basados en transformers que presentó.
Un punto de conexión con Ultralytics, que ofrece asistencia para un modelo Transformer diseñado para la detección de objetos. Este modelo incorpora un codificador híbrido eficaz, selección de consultas consciente de IOU y velocidad de inferencia ajustable. Cabe destacar que sigue el patrón familiar de otros modelos Ultralytics YOLOv8 y ofrece opciones de predicción, entrenamiento, validación y exportación.
Todo en uno#
A continuación, Merve exploró la amplia oferta de Hugging Face, con más de 8000 modelos para tareas clásicas de visión artificial y 10 000 modelos para aplicaciones multimodales. Hugging Face Hub cuenta con más de 3000 conjuntos de datos, por lo que es un espacio ideal tanto para desarrolladores como para aficionados. Merve destacó la fluidez de la experiencia gracias a la API coherente de Hugging Face, que ofrece modelos listos para usar en diversos casos de uso.
Puesta en práctica con Hugging Face#
La ponencia pasó a las demostraciones prácticas, que mostraron lo fácil que es trabajar con modelos. Desde instanciar modelos y procesadores hasta ajustarlos con la API Trainer, Merve dejó claro que la biblioteca Transformers de Hugging Face es la mejor aliada de los desarrolladores. También presentó la API Pipeline, una de sus favoritas, que simplifica el flujo de trabajo de los usuarios.
Fig. 1. Merve Noyan presenta en YV23, en el campus de Google for Startups en Madrid.
Un vistazo a las aplicaciones#
Merve terminó la charla con un vistazo a algunas aplicaciones fantásticas, como el modelo Plot para responder preguntas visuales, Blip para generar descripciones de imágenes y el potente modelo Segment Anything para segmentar imágenes. La API Pipeline del ecosistema de Hugging Face fue la protagonista y facilitó el uso de modelos sin tener que profundizar en los aspectos técnicos.
El broche final fue la demostración de Merve sobre cómo crear ilusiones ópticas con Elysian Diffusion, una experiencia cautivadora que aporta un toque divertido al mundo de la IA.
¡En resumen!#
En conclusión, la charla de Merve nos dejó inspirados y con ganas de explorar las infinitas posibilidades de la visión artificial de código abierto. Hugging Face ha hecho que la IA sea realmente accesible, divertida y emocionante, y permite a los desarrolladores dar rienda suelta a su creatividad. ¡Por el futuro de la comunidad de código abierto y las increíbles innovaciones que nos depara!
¡Mira la charla completa sobre visión artificial de Hugging Face!
