FastVLM: Apple presenta su nuevo modelo rápido de visión y lenguaje

En la conferencia CVPR 2025, Apple presentó un nuevo modelo de IA de código abierto llamado FastVLM. Está diseñado para entender tanto imágenes como lenguaje y se ejecuta en dispositivos Apple, como iPhone, iPad y Mac. Esto le permite ofrecer resultados inteligentes rápidamente, sin enviar tus datos a la nube.

Lo que hace que FastVLM resulte especialmente interesante es su velocidad y eficiencia. Apple desarrolló un nuevo codificador visual llamado FastViTHD, que ayuda al modelo a interpretar imágenes de alta calidad usando menos memoria y energía. Todo el procesamiento se realiza localmente en el dispositivo, lo que reduce los tiempos de respuesta y protege la privacidad del usuario.

En este artículo, veremos cómo funciona FastVLM, qué lo distingue y por qué este lanzamiento de Apple podría suponer un importante avance para las aplicaciones de IA cotidianas en tus dispositivos.

Entender los modelos de visión y lenguaje (VLMs)#

Antes de profundizar en lo que hace especial a FastVLM, veamos qué significa «VLM» en su nombre. Hace referencia a un modelo de visión y lenguaje, diseñado para entender y relacionar el contenido visual con el lenguaje.

Los VLM combinan la comprensión visual con el lenguaje, lo que les permite realizar tareas como describir una foto, responder preguntas sobre una captura de pantalla o extraer texto de un documento. Los modelos de visión y lenguaje suelen funcionar en dos partes: una procesa la imagen y la convierte en datos, mientras que la otra interpreta esos datos para generar una respuesta que puedas leer o escuchar.

Puede que ya hayas usado este tipo de innovación de IA sin darte cuenta. Las aplicaciones que escanean recibos, leen documentos de identidad, generan descripciones de imágenes o ayudan a las personas con baja visión a interactuar con sus pantallas suelen recurrir a modelos de visión y lenguaje que funcionan discretamente en segundo plano.

¿Qué es FastVLM?#

Apple creó FastVLM para realizar las mismas tareas que otros modelos de visión y lenguaje, pero con mayor velocidad, más privacidad y un rendimiento optimizado en sus propios dispositivos. Puede entender el contenido de una imagen y responder con texto, pero, a diferencia de muchos modelos que dependen de servidores en la nube, FastVLM puede funcionar completamente en tu iPhone, iPad o Mac.

Por lo general, los VLM funcionan mejor con imágenes de alta resolución. Por ejemplo, como se muestra a continuación, FastVLM solo pudo identificar correctamente una señal de tráfico como «Prohibido el paso» cuando se le proporcionó una versión de alta resolución de la imagen. Sin embargo, las entradas de alta resolución suelen ralentizar los modelos. Aquí es donde FastViTHD marca la diferencia.

Fig. 1. Rendimiento de FastVLM con imágenes de baja y alta resolución. (Fuente)

El nuevo codificador visual de Apple, FastViTHD, ayuda a FastVLM a procesar imágenes de alta calidad con mayor eficiencia y menos memoria y energía. En concreto, FastViTHD es lo bastante ligero como para funcionar sin problemas incluso en dispositivos más pequeños.

FastVLM también está disponible públicamente en el repositorio de GitHub de FastVLM, donde los desarrolladores pueden acceder al código fuente, modificarlo y usarlo en sus propias aplicaciones de acuerdo con las condiciones de licencia de Apple.

Comparativa de FastVLM con otros modelos VLM#

En comparación con otros modelos de visión y lenguaje, FastVLM está optimizado para funcionar en dispositivos de uso cotidiano, como teléfonos inteligentes y portátiles. En las pruebas de rendimiento, FastVLM generó su primera palabra o respuesta hasta 85 veces más rápido que modelos como LLaVA-OneVision-0.5B.

Fig. 2. Comparativa del rendimiento de FastVLM con otros modelos. (Fuente)

Estos son algunos de los benchmarks habituales en los que se ha evaluado FastVLM:

• DocVQA (respuesta a preguntas visuales sobre documentos): Este benchmark evalúa la capacidad del modelo para leer y comprender información textual en documentos, como formularios escaneados o páginas.
• TextVQA (respuesta a preguntas visuales basadas en texto): Evalúa la capacidad del modelo para interpretar imágenes que contienen texto integrado y responder con precisión a preguntas relacionadas.
• GQA (respuesta a preguntas sobre gráficos): Esta tarea evalúa la capacidad de razonamiento del modelo al exigirle que comprenda las relaciones entre los objetos y las escenas de una imagen.
• MMMU (comprensión multimodal multidisciplinar a gran escala): Mide el rendimiento del modelo en una amplia variedad de materias y formatos académicos, combinando la comprensión visual y textual.
• SeedBench (evaluación estándar de datos mejorados para benchmarks): Este benchmark analiza las capacidades generales del modelo para comprender y razonar visualmente en distintos ámbitos.

En estos benchmarks, FastVLM obtuvo resultados competitivos con un menor consumo de recursos. Acerca la IA visual práctica a los dispositivos de uso cotidiano, como teléfonos, tabletas y portátiles.

El eficiente codificador visual de FastVLM: FastViTHD#

A continuación, veamos más de cerca FastViTHD, el codificador visual que desempeña un papel fundamental en el rendimiento de FastVLM al procesar imágenes.

La mayoría de los modelos de visión y lenguaje dividen una imagen en miles de pequeños fragmentos llamados tokens. Cuantos más tokens haya, más tiempo y energía necesitará el modelo para entender la imagen. Esto puede ralentizar el proceso, sobre todo en teléfonos o portátiles.

Fig. 3. Cómo procesa una imagen un codificador visual. (Fuente)

FastViTHD evita la ralentización que supone procesar demasiados tokens al utilizar menos, sin dejar de entender la imagen completa. Combina dos enfoques: los transformers, que son eficaces para modelar patrones y relaciones, y las capas convolucionales, eficientes para procesar datos visuales. El resultado es un sistema más rápido y que utiliza menos memoria.

Según Apple, FastViTHD es hasta 3,4 veces más pequeño que algunos codificadores visuales tradicionales y, aun así, mantiene una gran precisión. En lugar de depender de técnicas de optimización del modelo, como la poda de tokens (eliminación de los fragmentos de imagen menos importantes para acelerar el procesamiento), consigue ser eficiente gracias a una arquitectura más sencilla y optimizada.

Variantes del modelo FastVLM y proceso de entrenamiento#

Apple ha publicado FastVLM en tres tamaños distintos: 0.5B, 1.5B y 7B parámetros (la «B» corresponde a mil millones y hace referencia al número de pesos entrenables del modelo). Cada versión está diseñada para adaptarse a distintos tipos de dispositivos. Los modelos más pequeños pueden funcionar en teléfonos y tabletas, mientras que el modelo 7B más grande es más adecuado para ordenadores de sobremesa o tareas más exigentes.

Esto da flexibilidad a los desarrolladores para elegir lo que mejor se adapte a sus aplicaciones. Pueden crear algo rápido y ligero para móviles o algo más complejo para sistemas más grandes, utilizando en ambos casos la misma arquitectura de modelo subyacente.

Apple entrenó las variantes del modelo FastVLM con el proceso de LLaVA‑1.5, un marco para alinear modelos de visión y lenguaje. Para el componente lingüístico, evaluó FastVLM con modelos de código abierto existentes, como Qwen y Vicuna, conocidos por generar textos naturales y coherentes. Esta configuración permite a FastVLM procesar imágenes sencillas y complejas y generar respuestas legibles y pertinentes.

La importancia de FastVLM: la propuesta eficiente de IA de Apple#

Quizá te preguntes por qué importa que FastVLM procese imágenes con eficiencia. La clave está en que las aplicaciones puedan funcionar con fluidez en tiempo real sin depender de la nube. FastVLM puede procesar imágenes de alta resolución, de hasta 1152 por 1152 píxeles, y seguir siendo lo bastante rápido y ligero como para funcionar directamente en tu dispositivo.

Esto permite que las aplicaciones describan lo que ve la cámara, escaneen recibos en el momento de capturarlos o respondan a los cambios en pantalla, manteniendo todos los datos en el dispositivo. Resulta especialmente útil en ámbitos como la educación, la accesibilidad, la productividad y la fotografía.

FastViTHD también es eficiente con imágenes grandes, por lo que ayuda a mantener los dispositivos ágiles y a buena temperatura. Funciona con todos los tamaños de modelo, incluido el más pequeño, que se ejecuta en iPhones básicos. Esto significa que las mismas funciones de IA pueden utilizarse en teléfonos, tabletas y Mac.

Aplicaciones de FastVLM#

FastVLM puede impulsar una amplia variedad de aplicaciones gracias a ventajas clave como la velocidad, la eficiencia y la privacidad en el dispositivo. Estas son algunas de sus posibles aplicaciones:

• Lectura de documentos: Puede escanear recibos, formularios o documentos de identidad y extraer únicamente la información pertinente. Puede centrarse en zonas concretas de una imagen, lo que resulta útil para las aplicaciones que necesitan una extracción de texto rápida y precisa.

• Descripciones de imágenes: Al analizar una foto, puede generar una descripción clara de su contenido. Esto permite ofrecer funciones en aplicaciones de cámara, galerías de fotos o cualquier herramienta que se beneficie de la comprensión visual en tiempo real.

• Asistencia para la accesibilidad: FastVLM puede describir el contenido de la pantalla a usuarios ciegos o con baja visión, lo que facilita la navegación y el uso de botones, menús y elementos de diseño.

• Asistentes de IA en el dispositivo: FastVLM puede funcionar bien con asistentes de IA que necesitan entender rápidamente lo que aparece en pantalla. Como funciona directamente en el dispositivo y mantiene la privacidad de los datos, puede ayudar con tareas como leer texto, identificar botones o iconos y guiar a los usuarios en tiempo real sin tener que enviar información a la nube.

Fig. 4. FastVLM puede utilizarse para reconocer texto y responder a preguntas visuales. (Fuente)

Conclusiones clave#

FastVLM lleva la IA visual de visión y lenguaje al propio dispositivo en los dispositivos Apple, combinando velocidad, privacidad y eficiencia. Su diseño ligero y su publicación como código abierto permiten comprender imágenes en tiempo real en aplicaciones móviles y de escritorio.

Esto contribuye a que la IA sea más práctica y accesible en el día a día, y proporciona a los desarrolladores una base sólida para crear aplicaciones útiles que protejan la privacidad. De cara al futuro, es probable que los modelos de visión y lenguaje desempeñen un papel importante en nuestra forma de interactuar con la tecnología, haciendo que la IA sea más receptiva, consciente del contexto y útil en situaciones cotidianas.

Explora nuestro repositorio de GitHub para saber más sobre IA. Únete a nuestra activa comunidad y descubre innovaciones en sectores como la IA en la industria automovilística y la IA visual en la fabricación. Para empezar hoy mismo con la visión artificial, consulta nuestras opciones de licencia.