Impulsa proyectos de visión artificial con las herramientas de código abierto de Hugging Face

Elegir los algoritmos adecuados es solo una parte del desarrollo de soluciones de visión artificial eficaces. Los ingenieros de IA suelen trabajar con grandes conjuntos de datos, ajustar modelos para tareas específicas y optimizar sistemas de IA para que rindan en situaciones reales. A medida que se adoptan aplicaciones de IA con mayor rapidez, también aumenta la necesidad de herramientas que simplifiquen estos procesos.

En YOLO Vision 2024 (YV24), el evento híbrido anual organizado por Ultralytics, expertos en IA y entusiastas de la tecnología se reunieron para explorar las últimas innovaciones en visión artificial. El evento dio pie a conversaciones sobre distintos temas, como las formas de acelerar el desarrollo de aplicaciones de IA.

Uno de los momentos más destacados del evento fue una ponencia sobre Hugging Face, una plataforma de IA de código abierto que agiliza el entrenamiento, la optimización y la implementación de modelos. Pavel Iakubovskii, ingeniero de aprendizaje automático en Hugging Face, explicó cómo sus herramientas mejoran los flujos de trabajo de tareas de visión artificial como detectar objetos en imágenes, clasificar imágenes en distintos grupos y hacer predicciones sin haber entrenado previamente el modelo con ejemplos específicos (aprendizaje de cero disparos).

Hugging Face Hub aloja y ofrece acceso a diversos modelos de IA y de visión artificial, como Ultralytics YOLO11. En este artículo, repasaremos las principales conclusiones de la ponencia de Pavel y veremos cómo los desarrolladores pueden utilizar las herramientas de código abierto de Hugging Face para crear e implementar modelos de IA rápidamente.

Fig. 1. Pavel en el escenario de YV24.

Hugging Face Hub facilita el desarrollo de IA#

Pavel empezó su ponencia presentando Hugging Face como una plataforma de IA de código abierto que ofrece modelos preentrenados para distintas aplicaciones. Estos modelos están diseñados para diversas ramas de la IA, como el procesamiento del lenguaje natural (NLP), la visión artificial y la IA multimodal, y permiten a los sistemas procesar distintos tipos de datos, como texto, imágenes y audio.

Pavel mencionó que Hugging Face Hub ya aloja más de un millón de modelos y que los desarrolladores pueden encontrar fácilmente modelos adecuados para sus proyectos concretos. Hugging Face pretende simplificar el desarrollo de IA ofreciendo herramientas para entrenar, ajustar y desplegar modelos. Poder experimentar con distintos modelos simplifica el proceso de integrar la IA en aplicaciones reales.

Aunque al principio Hugging Face era conocido por el NLP, desde entonces se ha expandido a la visión artificial y la IA multimodal, lo que permite a los desarrolladores abordar una gama más amplia de tareas de IA. También cuenta con una comunidad sólida en la que los desarrolladores pueden colaborar, compartir conocimientos y recibir ayuda en foros, Discord y GitHub.

Exploración de modelos de Hugging Face para aplicaciones de visión artificial#

A continuación, Pavel explicó con más detalle cómo las herramientas de Hugging Face facilitan el desarrollo de aplicaciones de visión artificial. Los desarrolladores pueden utilizarlas para tareas como la clasificación de imágenes, la detección de objetos y las aplicaciones de visión y lenguaje.

También señaló que muchas de estas tareas de visión artificial pueden realizarse con modelos preentrenados disponibles en Hugging Face Hub, lo que ahorra tiempo al reducir la necesidad de entrenar desde cero. De hecho, Hugging Face ofrece más de 13.000 modelos preentrenados para tareas de clasificación de imágenes, incluidos modelos para clasificar alimentos y mascotas y detectar emociones.

Para destacar lo accesibles que son estos modelos, dijo: «Probablemente ni siquiera tengas que entrenar un modelo para tu proyecto: puede que encuentres en Hub uno que alguien de la comunidad ya haya entrenado».

Modelos de Hugging Face para la detección de objetos#

Como otro ejemplo, Pavel explicó cómo Hugging Face puede ayudar con la detección de objetos, una función clave en visión artificial que se utiliza para identificar y localizar objetos en imágenes. Incluso con pocos datos etiquetados, los modelos preentrenados disponibles en Hugging Face Hub pueden hacer que la detección de objetos sea más eficiente.

También ofreció un breve resumen de varios modelos creados para esta tarea que puedes encontrar en Hugging Face:

• Modelos de detección de objetos en tiempo real: En entornos dinámicos donde la velocidad es fundamental, modelos como Real-Time Detection Transformer (RT-DETR) ofrecen capacidades de detección de objetos en tiempo real. RT-DETR se entrena con el conjunto de datos COCO y está diseñado para procesar características multiescala de forma eficiente, por lo que resulta adecuado para aplicaciones en las que el tiempo es un factor crítico.
• Modelos de visión y lenguaje: estos modelos combinan el procesamiento de imágenes y texto, lo que permite que los sistemas de IA relacionen imágenes con descripciones o reconozcan objetos que no aparecen en sus datos de entrenamiento. Algunos ejemplos son CLIP y SigLIP, que mejoran la búsqueda de imágenes al vincular texto con elementos visuales y permiten que las soluciones de IA identifiquen objetos nuevos comprendiendo su contexto.
• Modelos de detección de objetos sin ejemplos: pueden identificar objetos que no han visto antes al comprender la relación entre imágenes y texto. Algunos ejemplos son OWL-ViT, Grounding DINO y OmDet, que utilizan el aprendizaje sin ejemplos para detectar objetos nuevos sin necesitar datos de entrenamiento etiquetados. La clasificación de modelos VLM de Ultralytics compara detectores de vocabulario abierto como estos en conjuntos de datos de detección del mundo real.

Cómo utilizar los modelos de Hugging Face#

A continuación, Pavel pasó a explicar cómo empezar a trabajar con los modelos de Hugging Face y describió tres formas en las que los desarrolladores pueden sacarles partido: explorar modelos, probarlos rápidamente y personalizarlos.

Mostró cómo los desarrolladores pueden explorar modelos directamente en Hugging Face Hub sin escribir código, lo que facilita probarlos al instante mediante una interfaz interactiva. «Puedes probarlo sin escribir ni una sola línea de código ni descargar el modelo en tu ordenador», añadió Pavel. Como algunos modelos son grandes, ejecutarlos en el Hub ayuda a evitar limitaciones de almacenamiento y procesamiento.

Fig. 2. Cómo utilizar los modelos de Hugging Face.

Además, la API de inferencia de Hugging Face permite a los desarrolladores ejecutar modelos de IA con sencillas llamadas a la API. Es ideal para hacer pruebas rápidas, crear pruebas de concepto y desarrollar prototipos con rapidez sin necesidad de una configuración compleja.

Para casos de uso más avanzados, los desarrolladores pueden utilizar el framework Transformers de Hugging Face, una herramienta de código abierto que ofrece modelos preentrenados para tareas de texto, visión y audio, y es compatible con PyTorch y TensorFlow. Pavel explicó que, con solo dos líneas de código, los desarrolladores pueden recuperar un modelo de Hugging Face Hub y conectarlo a una herramienta de preprocesamiento, como un procesador de imágenes, para analizar datos de imagen en aplicaciones de IA visual.

Optimización de los flujos de trabajo de IA con Hugging Face#

A continuación, Pavel explicó cómo Hugging Face puede agilizar los flujos de trabajo de IA. Uno de los temas clave que trató fue la optimización del mecanismo de atención en Transformers, una función esencial de los modelos de aprendizaje profundo que les ayuda a centrarse en las partes más relevantes de los datos de entrada. Esto mejora la precisión de las tareas de procesamiento del lenguaje y visión artificial. Sin embargo, puede consumir muchos recursos.

Optimizar el mecanismo de atención puede reducir considerablemente el uso de memoria y, al mismo tiempo, mejorar la velocidad. Pavel señaló: «Por ejemplo, al cambiar a una implementación de atención más eficiente, podrías obtener un rendimiento hasta 1,8 veces más rápido».

Hugging Face ofrece compatibilidad integrada con implementaciones de atención más eficientes en el framework Transformers. Los desarrolladores pueden activar estas optimizaciones con solo especificar una implementación de atención alternativa al cargar un modelo.

Optimum y Torch Compile#

También habló de la cuantización, una técnica que reduce el tamaño de los modelos de IA al disminuir la precisión de los números que utilizan sin afectar demasiado a la precisión. Así, los modelos necesitan menos memoria y se ejecutan más rápido, por lo que son más adecuados para dispositivos con una capacidad de procesamiento limitada, como los teléfonos inteligentes y los sistemas integrados.

Para mejorar aún más la eficiencia, Pavel presentó la biblioteca Hugging Face Optimum, un conjunto de herramientas diseñado para optimizar e implementar modelos. Con solo unas líneas de código, los desarrolladores pueden aplicar técnicas de cuantización y convertir modelos a formatos eficientes como ONNX (Intercambio Abierto de Redes Neuronales), lo que permite ejecutarlos sin problemas en distintos tipos de hardware, incluidos servidores en la nube y dispositivos periféricos.

Fig. 3. Pavel habló de la biblioteca Optimum y sus características.

Por último, Pavel mencionó las ventajas de Torch Compile, una función de PyTorch que optimiza la forma en que los modelos de IA procesan los datos para que se ejecuten más rápido y de forma más eficiente. Hugging Face integra Torch Compile en sus bibliotecas Transformers y Optimum, lo que permite a los desarrolladores aprovechar estas mejoras de rendimiento con cambios mínimos en el código.

Al optimizar la estructura de cálculo del modelo, Torch Compile puede acelerar la inferencia y aumentar la frecuencia de imagen de 29 a 150 fotogramas por segundo sin comprometer la precisión ni la calidad.

Implementación de modelos con las herramientas de Hugging Face#

A continuación, Pavel habló brevemente de cómo los desarrolladores pueden ampliar e implementar modelos de IA visual con las herramientas de Hugging Face después de seleccionar el modelo adecuado y elegir el mejor enfoque de desarrollo.

Por ejemplo, los desarrolladores pueden desplegar aplicaciones de IA interactivas con Gradio y Streamlit. Gradio permite crear interfaces web para modelos de aprendizaje automático, mientras que Streamlit ayuda a crear aplicaciones de datos interactivas con sencillos scripts de Python.

Pavel también señaló: «No hace falta empezar a escribirlo todo desde cero», en referencia a las guías, los cuadernos de entrenamiento y los scripts de ejemplo que ofrece Hugging Face. Estos recursos ayudan a los desarrolladores a empezar rápidamente sin tener que construirlo todo desde cero.

Fig. 4. Pavel habla de las capacidades de Hugging Face en YV24.

Ventajas de Hugging Face Hub#

Al concluir su ponencia, Pavel resumió las ventajas de utilizar Hugging Face Hub. Destacó cómo simplifica la gestión de modelos y la colaboración. También resaltó la disponibilidad de guías, cuadernos y tutoriales, que pueden ayudar tanto a principiantes como a expertos a entender e implementar modelos de IA.

«En el Hub ya hay un montón de espacios interesantes. Puedes encontrar otros parecidos, clonar el código compartido, modificar unas líneas, sustituir el modelo por el tuyo y volver a subirlo», explicó, animando a los desarrolladores a aprovechar la flexibilidad de la plataforma.

Conclusiones clave#

Durante su charla en YV24, Pavel explicó cómo Hugging Face ofrece herramientas que permiten entrenar, optimizar e implementar modelos de IA. Por ejemplo, innovaciones como Transformers, Optimum y Torch Compile pueden ayudar a los desarrolladores a mejorar el rendimiento de los modelos.

A medida que los modelos de IA se vuelven más eficientes, los avances en cuantización e implementación en el edge facilitan su ejecución en dispositivos con recursos limitados. Estas mejoras, junto con herramientas como Hugging Face y modelos avanzados de visión artificial como Ultralytics YOLO11, son fundamentales para crear aplicaciones de IA visual escalables y de alto rendimiento.

Únete a nuestra comunidad en crecimiento. Explora nuestro repositorio de GitHub para aprender sobre IA y consulta nuestras licencias de YOLO para empezar tus proyectos de IA visual. ¿Te interesan innovaciones como la visión artificial en el sector sanitario o la visión artificial en la agricultura? Visita nuestras páginas de soluciones para descubrir más.