Las 8 mejores herramientas y algoritmos de código abierto para el seguimiento de objetos

Cuando un coche se salta un semáforo en rojo y se envía una multa automática al conductor, o un futbolista regatea por el campo mientras la cámara sigue la jugada con fluidez, hay una IA trabajando discretamente en segundo plano. En concreto, estos sistemas se basan en la visión artificial, una subdisciplina de la IA que permite a las máquinas ver, interpretar y comprender la información visual del mundo.

Dentro de la visión artificial, una de las tareas clave que hay detrás de estas aplicaciones es el seguimiento de objetos. Se utiliza para identificar objetos en cada fotograma de un vídeo y seguirlos mientras se mueven, se solapan con otros o cambian de dirección.

Hoy en día existen muchas herramientas de seguimiento de objetos y algoritmos, cada uno diseñado para distintos casos de uso, necesidades de rendimiento y niveles de complejidad. Algunos se centran en la velocidad y pueden seguir docenas de objetos en tiempo real, mientras que otros priorizan la precisión o la estabilidad a largo plazo en condiciones difíciles, como oclusiones, movimientos rápidos o poca iluminación.

En concreto, los proyectos de código abierto han desempeñado un papel fundamental en el avance de este campo. Como el código es de acceso público, los desarrolladores y los investigadores pueden estudiar cómo funcionan, mejorar los métodos existentes y adaptarlos a nuevas aplicaciones. Esta apertura ha contribuido a que el seguimiento de objetos evolucione rápidamente y sea más fácil de integrar en sistemas reales.

En este artículo veremos ocho herramientas y algoritmos populares de código abierto para el seguimiento de objetos. ¡Empecemos!

¿Qué es el seguimiento de objetos?#

Imagina que un guardia de seguridad está viendo las imágenes de una cámara de videovigilancia de un aparcamiento. Decide vigilar un coche rojo. Mientras se reproduce el vídeo, lo identifica mentalmente y lo sigue vaya donde vaya, incluso cuando pasan otros coches o alguien se cruza delante.

El seguimiento de objetos con IA funciona de forma similar, pero automáticamente y a gran escala. En otras palabras, consiste en seguir un objeto mientras se desplaza por los fotogramas de un vídeo y mantener su identidad de forma coherente de un fotograma al siguiente.

En muchos sistemas, el proceso empieza con la detección de objetos, que encuentra y etiqueta objetos como personas, vehículos o señales de tráfico en cada fotograma. Después, a medida que estos objetos se mueven, aparecen, desaparecen o se solapan, el sistema de seguimiento enlaza las detecciones entre fotogramas para saber qué objeto es cada uno y por dónde se desplaza con el tiempo.

Fig. 1. Ejemplo de seguimiento de objetos (Fuente)

Hay dos tipos habituales de seguimiento: el seguimiento de un solo objeto (SOT), que se centra en un único objeto principal (por ejemplo, seguir solo el balón en un vídeo deportivo), y el seguimiento de múltiples objetos (MOT), que sigue muchos objetos a la vez y asigna un ID único a cada uno (por ejemplo, seguir todos los coches de un cruce concurrido).

Independientemente del tipo de seguimiento, la mayoría de los sistemas se basan en tres componentes fundamentales: un detector que encuentra objetos en cada fotograma, un modelo de movimiento que predice cómo es probable que se desplacen esos objetos y una etapa de asociación que vincula las nuevas detecciones con los objetos que ya se estaban siguiendo. Estos componentes convierten el vídeo sin procesar en información útil sobre cómo se mueven e interactúan los objetos con el tiempo.

La necesidad de herramientas de código abierto para el seguimiento de objetos#

Antes de entrar en detalles, quizá te preguntes: ¿qué hace tan especiales a las herramientas y los algoritmos de código abierto para el seguimiento de objetos?

Las herramientas de código abierto han contribuido mucho a que el seguimiento de objetos sea más fácil de usar y esté más al alcance de todos. Como el código es público, los desarrolladores y los investigadores pueden ver exactamente cómo funciona un rastreador, aprender de él y adaptarlo a sus propios proyectos, en lugar de tratarlo como una caja negra.

También cuentan con comunidades sólidas. Muchas herramientas de seguimiento de código abierto las mantienen colaboradores activos que añaden funciones, mejoran la velocidad y la precisión, corrigen errores y las mantienen al día con las últimas investigaciones. Esta colaboración continua contribuye a que sigan siendo fiables y útiles en distintas aplicaciones.

El coste es otro de los motivos de peso por los que son importantes. Como las herramientas de código abierto son gratuitas, los estudiantes, las startups y los equipos pequeños pueden experimentar, crear prototipos y desarrollar sistemas reales sin preocuparse por las licencias o las cuotas de suscripción.

Las 8 mejores herramientas y algoritmos de código abierto para el seguimiento de objetos#

Hoy en día hay una gran variedad de opciones de código abierto para crear sistemas de seguimiento. Algunas son algoritmos o modelos de seguimiento que puedes incorporar directamente a tu flujo de trabajo, mientras que otras son bibliotecas y frameworks que facilitan la ejecución, gestión e integración de esos modelos. En conjunto, abarcan desde la lógica central del seguimiento hasta las herramientas auxiliares que necesitas en un proyecto real.

A continuación, veamos ocho herramientas y algoritmos populares de código abierto para el seguimiento de objetos.

1. Modelos Ultralytics YOLO y paquete Ultralytics Python#

Una de las opciones más sencillas y prácticas para el seguimiento de objetos es usar los modelos Ultralytics YOLO junto con el paquete Ultralytics Python. Los modelos Ultralytics YOLO, como Ultralytics YOLO11 y el próximo Ultralytics YOLO26, son modelos de visión artificial compatibles con diversas tareas de visión, como la detección de objetos, la segmentación de instancias, la estimación de poses y el seguimiento de objetos.

Fig. 2. Ejemplo de uso de YOLO11 para detectar y seguir objetos. (Fuente)

Curiosamente, los modelos no siguen objetos entre fotogramas por sí solos. En su lugar, el paquete Ultralytics Python, una biblioteca que simplifica la ejecución y el despliegue de los modelos Ultralytics YOLO, permite el seguimiento al combinar las detecciones de YOLO fotograma a fotograma con algoritmos específicos de seguimiento de múltiples objetos, como BoT-SORT y ByteTrack.

Gracias a la capacidad de seguimiento integrada, el paquete Ultralytics y los modelos Ultralytics YOLO pueden detectar objetos en cada fotograma y asignarles identificadores coherentes para seguirlos cuando se desplazan, se solapan, salen del encuadre y vuelven a aparecer. Este enfoque se adopta cada vez más en sectores como la fabricación y el comercio minorista, donde permite aplicaciones como los flujos de trabajo de inspección de defectos, el seguimiento del flujo de inventario y el seguimiento de clientes en tienda.

2. Seguidores de OpenCV#

OpenCV es una amplia biblioteca de visión artificial que incluye una colección de algoritmos de seguimiento de objetos. La comunidad de OpenCV desarrolla y mantiene esta biblioteca desde 1999.

En lugar de recurrir al aprendizaje profundo, la mayoría de estos seguidores utilizan métodos tradicionales de visión artificial, como filtros de correlación y técnicas basadas en kernels (que siguen un objeto comparando su aspecto visual, como el color y la textura, de un fotograma a otro, en vez de aprender características mediante redes neuronales).

Al usar estos algoritmos, normalmente puedes seleccionar primero el objeto que quieres seguir. A continuación, el seguidor busca continuamente la región visual más parecida en los fotogramas siguientes a medida que el objeto se desplaza.

Fig. 3. Seguimiento de objetos con OpenCV (Fuente)

Aunque estos métodos quizá no sean tan robustos como los sistemas modernos de seguimiento basados en aprendizaje profundo en escenas complejas o concurridas, siguen utilizándose mucho porque son ligeros, rápidos y fáciles de ejecutar. Además, como estos seguidores funcionan de forma eficiente en CPU y normalmente no requieren GPU, son adecuados para experimentos rápidos, el aprendizaje en el aula y proyectos de aficionados.

3. ByteTrack#

ByteTrack es uno de los algoritmos de código abierto más populares para el seguimiento de múltiples objetos. En lugar de asociar únicamente las detecciones de las que el modelo está muy seguro, también aprovecha las detecciones con menor confianza que muchos sistemas suelen ignorar.

Esto le ayuda a seguir objetos que son difíciles de ver durante un breve periodo, por ejemplo, cuando están parcialmente ocultos, lejos o se mueven deprisa. Como es rápido y fiable, ByteTrack se utiliza habitualmente en aplicaciones como el análisis del tráfico, el seguimiento de peatones y la monitorización del comercio minorista, donde son importantes el rendimiento en tiempo real y la coherencia de los identificadores.

Como ya se ha mencionado, si utilizas modelos Ultralytics YOLO para la detección, puedes activar ByteTrack fácilmente mediante el paquete Ultralytics Python. También puedes usarlo de forma independiente en flujos de trabajo personalizados, por lo que resulta adecuado para todo tipo de proyectos, desde prototipos de investigación hasta sistemas de producción escritos en C++.

4. DeepSORT#

Otro algoritmo muy utilizado para el seguimiento de múltiples objetos es DeepSORT, abreviatura de Deep Simple Online and Real-Time Tracking. Es una versión avanzada de SORT, siglas de Simple Online and Real-Time Tracking.

Al igual que ByteTrack, SORT utiliza un enfoque de seguimiento mediante detección. Sin embargo, SORT se basa en un filtro de Kalman, un modelo matemático que estima la posición futura de un objeto a partir de sus movimientos anteriores, para predecir hacia dónde es probable que se desplace cada objeto.

A continuación, asocia las nuevas detecciones con las trayectorias existentes, principalmente según la posición y el solapamiento de las cajas delimitadoras. Esto hace que SORT sea rápido y ligero, pero puede tener dificultades cuando los objetos se solapan, se cruzan o desaparecen brevemente de la vista.

DeepSORT mejora SORT al incorporar información sobre el aspecto al proceso de seguimiento. Además del movimiento y la posición, utiliza un modelo de reidentificación basado en aprendizaje profundo, o modelo de re-ID, que aprende el aspecto de los objetos. Esto permite al seguidor reconocer el mismo objeto en distintos fotogramas, incluso cuando el movimiento no basta para distinguirlo de los demás.

Por este motivo, DeepSORT se utiliza habitualmente en aplicaciones como la videovigilancia y la monitorización de multitudes, donde las personas suelen solaparse o quedar ocultas brevemente. Sin embargo, hoy se considera un método de referencia clásico, y los métodos de seguimiento más recientes suelen ofrecer mejores resultados en escenas más complejas.

5. Norfair#

Norfair es una biblioteca de seguimiento ligera y flexible que no te obliga a utilizar un flujo de trabajo fijo. Permite añadir seguimiento a casi cualquier detector, siempre que sus salidas puedan representarse como un conjunto de puntos, por ejemplo, centros de cajas delimitadoras, puntos clave o datos de coordenadas personalizados.

Fig. 4. Seguimiento de objetos en el mundo real con Norfair (Fuente)

Esta flexibilidad resulta especialmente útil en proyectos con entradas poco habituales o patrones de movimiento dinámicos, en los que las herramientas estándar de seguimiento de múltiples objetos pueden quedarse cortas. La biblioteca también incluye funciones de distancia para controlar cómo se asocian las detecciones entre fotogramas.

Estas funciones de distancia miden el grado de similitud entre dos puntos u objetos, lo que ofrece a los usuarios un control total sobre la lógica de seguimiento. Norfair se utiliza a menudo en robótica, análisis del movimiento deportivo, navegación de drones y aplicaciones que dependen en gran medida del seguimiento de puntos de referencia de la pose o de puntos clave.

6. MMTracking#

MMTracking es un conjunto de herramientas de código abierto para el seguimiento desarrollado por el equipo de OpenMMLab, responsable también de bibliotecas de visión artificial muy utilizadas, como MMDetection. Basado en MMDetection, ofrece un framework flexible para desarrollar y probar sistemas de seguimiento.

Una de sus mayores ventajas es su diseño modular. En lugar de limitarte a un único flujo de trabajo, MMTracking te permite configurar e intercambiar distintos componentes, como detectores, módulos de seguimiento y, en algunas configuraciones, modelos de reidentificación. Gracias a esta flexibilidad, es especialmente popular en investigación y proyectos avanzados en los que los equipos quieren comparar métodos, probar ideas nuevas o ajustar flujos de trabajo de seguimiento.

7. FairMOT#

FairMOT es un framework de seguimiento de múltiples objetos diseñado para seguir muchos objetos a la vez. A diferencia de los flujos de trabajo tradicionales de seguimiento mediante detección, que primero detectan los objetos y después los asocian entre fotogramas en un paso separado, FairMOT aprende a detectar y reidentificar conjuntamente en una sola red.

Fig. 5. Funcionamiento del framework FairMOT (Fuente)

Este enfoque conjunto le ayuda a mantener identidades más coherentes, especialmente en escenas concurridas en las que las personas suelen solaparse o moverse deprisa. FairMOT se utiliza habitualmente en situaciones como el seguimiento de peatones y la monitorización de multitudes. También se aplica en ámbitos como el análisis del comercio minorista y la monitorización del tráfico, donde es importante seguir muchos objetivos en tiempo real.

8. SiamMask#

SiamMask es un método de seguimiento de un solo objeto que va más allá que muchos seguidores, ya que genera una máscara de segmentación además de una caja delimitadora. En pocas palabras, no se limita a dibujar un rectángulo alrededor del objetivo: también perfila su forma a nivel de píxel, lo que puede ser útil cuando el objetivo cambia de forma, gira o queda parcialmente oculto.

Fig. 6. Seguimiento y segmentación de un objeto con SiamMask (Fuente)

Este enfoque utiliza un diseño de seguimiento siamés: primero, el seguidor toma una pequeña imagen de referencia del objetivo en el primer fotograma, denominada plantilla. Después, en cada nuevo fotograma, busca en una región más amplia y encuentra el punto que más se parece a esa plantilla.

SiamMask parte de esta idea basada en la comparación. También predice una máscara del objetivo a nivel de píxel, por lo que ofrece tanto la ubicación del objeto como un contorno más preciso a medida que avanza el vídeo.

Factores clave para elegir una herramienta de seguimiento de objetos#

Hoy en día, en el ámbito de la IA hay diversas herramientas de código abierto para el seguimiento de objetos. La mejor opción para tu proyecto de visión artificial dependerá de los requisitos específicos de tu caso de uso. Estos son algunos factores que debes tener en cuenta:

• Precisión: Es especialmente importante en escenas concurridas o visualmente complejas, donde el sistema de visión debe mantener identificadores estables incluso cuando hay solapamientos, oclusiones o movimientos rápidos.
• Velocidad: En aplicaciones en tiempo real como la robótica, la monitorización del tráfico y el análisis deportivo, la capacidad de respuesta puede ser más importante que la precisión perfecta.
• Facilidad de integración: Algunas herramientas de seguimiento de objetos son fáciles de integrar y funcionan con apenas unas líneas de código, mientras que otras requieren más configuración, ajustes o trabajo personalizado en el flujo de trabajo.
• Restricciones de despliegue: El entorno de destino, como los servidores con GPU, los dispositivos edge o el hardware móvil, puede determinar qué enfoque de seguimiento resulta práctico.
• Escalabilidad: Si tu sistema necesita seguir muchos objetos a la vez o procesar varios flujos de vídeo, el seguidor debe poder escalar de forma eficiente sin que el rendimiento se resienta demasiado.

Cada herramienta o algoritmo de seguimiento de objetos responde a una finalidad distinta. En última instancia, la elección adecuada depende de tus requisitos específicos, las restricciones de ejecución, las métricas de rendimiento y el grado de personalización que necesita el enfoque de seguimiento de tu proyecto.

Conclusiones clave#

El seguimiento de objetos ha evolucionado desde las primeras técnicas diseñadas manualmente hasta los sistemas de aprendizaje profundo más avanzados de hoy, que interpretan el movimiento, la identidad y el comportamiento con una precisión impresionante. Las herramientas de código abierto han impulsado este progreso: democratizan el acceso a algoritmos potentes, fomentan la experimentación y permiten a los investigadores crear flujos de trabajo de seguimiento sofisticados sin licencias restrictivas ni una infraestructura costosa.

Visita nuestra comunidad y nuestro repositorio de GitHub para obtener más información sobre la IA. Explora nuestras páginas de soluciones sobre IA en la agricultura y visión artificial en la fabricación. Descubre nuestras opciones de licencia y empieza a crear tu propio modelo de visión.