Las 8 mejores herramientas y algoritmos de código abierto para el seguimiento de objetos

Cuando un coche se salta un semáforo en rojo y se envía automáticamente una multa al conductor, o cuando un futbolista avanza regateando por el campo y la cámara sigue la jugada con fluidez, la IA trabaja discretamente en segundo plano. En concreto, estos sistemas dependen de la visión por ordenador, un subcampo de la IA que permite a las máquinas ver, interpretar y comprender la información visual del mundo.

Dentro de la visión por ordenador, una de las tareas clave que sustentan estas aplicaciones es el seguimiento de objetos. Se utiliza para identificar objetos en cada fotograma de un vídeo y seguirlos mientras se mueven, se solapan con otros o cambian de dirección.

Hoy existen muchas herramientas de seguimiento de objetos y algoritmos, cada uno diseñado para distintos casos de uso, necesidades de rendimiento y niveles de complejidad. Algunos se centran en la velocidad y pueden seguir decenas de objetos en tiempo real, mientras que otros priorizan la precisión o la estabilidad a largo plazo en condiciones difíciles, como oclusiones, movimientos rápidos o poca iluminación.

En concreto, los proyectos de código abierto han desempeñado un papel fundamental en el avance de este campo. Como su código es de acceso público, desarrolladores e investigadores pueden estudiar cómo funcionan, mejorar los métodos existentes y adaptarlos a nuevas aplicaciones. Esta apertura ha ayudado a que el seguimiento de objetos evolucione rápidamente y sea más fácil de integrar en sistemas del mundo real.

En este artículo, exploraremos ocho herramientas y algoritmos populares de código abierto para el seguimiento de objetos. ¡Empecemos!

¿Qué es el seguimiento de objetos?#

Imagina una situación en la que un guardia de seguridad está vigilando las imágenes de CCTV de un aparcamiento. Decide seguir de cerca un coche rojo. Mientras se reproduce el vídeo, identifica mentalmente ese coche y lo sigue allá donde va, incluso cuando otros coches pasan por delante o cuando alguien se cruza delante de él.

El seguimiento de objetos basado en IA es similar, pero funciona automáticamente y a gran escala. En otras palabras, el seguimiento de objetos es el proceso de seguir un objeto mientras se desplaza por los fotogramas de un vídeo y mantener constante su identidad de un fotograma al siguiente.

En muchos sistemas, el proceso comienza con la detección de objetos, que encuentra y etiqueta objetos como personas, vehículos o señales de tráfico en cada fotograma. Después, a medida que estos objetos se mueven, aparecen, desaparecen o se solapan, el sistema de seguimiento vincula las detecciones entre fotogramas para saber qué objeto es cada uno y adónde se desplaza con el tiempo.

Fig. 1. Una vista del seguimiento de objetos (Fuente)

Hay dos tipos habituales de seguimiento: el seguimiento de un solo objeto (SOT), que se centra en un objeto principal (como seguir únicamente el balón en un vídeo deportivo), y el seguimiento de múltiples objetos (MOT), que sigue muchos objetos a la vez y asigna a cada uno un ID único (como seguir todos los coches en un cruce con mucho tráfico).

Independientemente del tipo de seguimiento, la mayoría de los sistemas dependen de tres componentes principales: un detector para encontrar objetos en cada fotograma, un modelo de movimiento para predecir cómo es probable que se desplacen y un paso de asociación para conectar las nuevas detecciones con los objetos seguidos anteriormente. Estas partes convierten el vídeo sin procesar en información útil sobre cómo se mueven e interactúan los objetos a lo largo del tiempo.

La necesidad de herramientas de código abierto para el seguimiento de objetos#

Antes de entrar en detalle, quizá te preguntes: ¿qué hace tan especiales a las herramientas y los algoritmos de código abierto para el seguimiento de objetos?

Las herramientas de código abierto han desempeñado un papel importante a la hora de facilitar el uso del seguimiento de objetos y hacerlo más accesible. Como el código está abierto, desarrolladores e investigadores pueden ver exactamente cómo funciona un sistema de seguimiento, aprender de él y adaptarlo a sus propios proyectos, en lugar de tratarlo como una caja negra.

También se benefician de comunidades sólidas. Muchas herramientas de seguimiento de código abierto reciben mantenimiento de colaboradores activos que añaden funciones, mejoran la velocidad y la precisión, corrigen errores y mantienen las herramientas alineadas con las investigaciones más recientes. Esta colaboración continua les ayuda a seguir siendo fiables y útiles en distintas aplicaciones.

El coste es otro motivo importante por el que resultan relevantes. Como las herramientas de código abierto son gratuitas, estudiantes, startups y equipos pequeños pueden experimentar, crear prototipos y desarrollar sistemas reales sin preocuparse por las tarifas de licencia o los costes de suscripción.

Las 8 mejores herramientas y algoritmos de código abierto para el seguimiento de objetos#

Hoy hay una gran variedad de opciones de código abierto para crear sistemas de seguimiento. Algunas son algoritmos o modelos de seguimiento que puedes incorporar directamente a tu pipeline, mientras que otras son bibliotecas y frameworks que facilitan la ejecución, la gestión y la integración de esos modelos. En conjunto, cubren desde la lógica central del seguimiento hasta las herramientas complementarias que necesitas en un proyecto real.

A continuación, veremos ocho herramientas y algoritmos populares de código abierto para el seguimiento de objetos.

1. Modelos Ultralytics YOLO y paquete Ultralytics Python#

Una de las opciones más sencillas y prácticas para el seguimiento de objetos es utilizar los modelos Ultralytics YOLO junto con el paquete Ultralytics Python. Los modelos Ultralytics YOLO, como Ultralytics YOLO11 y el próximo Ultralytics YOLO26, son modelos de visión por ordenador compatibles con diversas tareas de visión, como la detección de objetos, la segmentación de instancias, la estimación de poses y el seguimiento de objetos.

Fig. 2. Un ejemplo del uso de YOLO11 para detectar y seguir objetos. (Fuente)

Curiosamente, los modelos por sí mismos no siguen los objetos entre fotogramas. En su lugar, el paquete Ultralytics Python, una biblioteca que simplifica la ejecución y la implementación de los modelos Ultralytics YOLO, hace posible el seguimiento al combinar las detecciones fotograma a fotograma de YOLO con algoritmos específicos de seguimiento de múltiples objetos, como BoT-SORT y ByteTrack.

Gracias a su capacidad de seguimiento integrada, el paquete Ultralytics y los modelos Ultralytics YOLO pueden utilizarse para detectar objetos en cada fotograma y asignarles después ID coherentes, de modo que puedan seguirse mientras se mueven, se solapan, salen del fotograma y vuelven a entrar más adelante. Este enfoque se está adoptando cada vez más en sectores como la fabricación y el comercio minorista, donde permite aplicaciones como flujos de trabajo de inspección de defectos, seguimiento del flujo de inventario y seguimiento de clientes en tienda.

2. Seguidores de OpenCV#

OpenCV es una amplia biblioteca de visión por ordenador que incluye una colección de algoritmos de seguimiento de objetos. La comunidad de OpenCV desarrolla y mantiene esta biblioteca desde 1999.

En lugar de depender del aprendizaje profundo, la mayoría de estos seguidores utilizan métodos tradicionales de visión por ordenador, como filtros de correlación y técnicas basadas en kernels (que siguen un objeto comparando su apariencia visual, como el color y la textura, de un fotograma al siguiente, en lugar de aprender características mediante redes neuronales).

Al utilizar estos algoritmos, normalmente puedes seleccionar primero el objeto que quieres seguir, y el seguidor busca continuamente la región visual más similar en los fotogramas posteriores a medida que el objeto se mueve.

Fig. 3. Seguimiento de objetos con OpenCV (Fuente)

Aunque estos métodos pueden no ser tan robustos como los sistemas modernos de seguimiento basados en aprendizaje profundo en escenas complejas o concurridas, siguen utilizándose ampliamente porque son ligeros, rápidos y fáciles de ejecutar. Además, como estos seguidores funcionan de forma eficiente en CPU y normalmente no requieren una GPU, son adecuados para experimentos rápidos, aprendizaje en el aula y proyectos personales.

3. ByteTrack#

ByteTrack es uno de los algoritmos de código abierto más populares para el seguimiento de múltiples objetos. En lugar de asociar únicamente las detecciones de las que el modelo está muy seguro, también utiliza detecciones con menor confianza que muchos sistemas suelen ignorar.

Esto le ayuda a seguir identificando objetos que son difíciles de ver durante un breve periodo, por ejemplo, cuando están parcialmente bloqueados, lejos o se mueven rápidamente. Como es rápido y fiable, ByteTrack se utiliza habitualmente en aplicaciones como el análisis del tráfico, el seguimiento de peatones y la supervisión de comercios, donde el rendimiento en tiempo real y los ID coherentes son importantes.

Como hemos mencionado antes, si utilizas modelos Ultralytics YOLO para la detección, puedes activar fácilmente ByteTrack mediante el paquete Ultralytics Python. Sin embargo, también puede utilizarse de forma independiente en pipelines personalizados, por lo que resulta adecuado tanto para prototipos de investigación como para sistemas de producción escritos en C++.

4. DeepSORT#

Otro algoritmo muy utilizado para el seguimiento de múltiples objetos es DeepSORT, abreviatura de seguimiento profundo, sencillo, en línea y en tiempo real. Es una versión avanzada de SORT, que significa seguimiento sencillo, en línea y en tiempo real.

Al igual que ByteTrack, SORT sigue un enfoque de seguimiento mediante detección. Sin embargo, SORT depende de un filtro de Kalman, un modelo matemático que estima la posición futura de un objeto basándose en su movimiento anterior, para predecir adónde es probable que se desplace cada objeto a continuación.

Después, asocia las nuevas detecciones con las trayectorias existentes, principalmente en función de la posición y el solapamiento de los cuadros delimitadores. Esto hace que SORT sea rápido y ligero, pero puede tener dificultades cuando los objetos se solapan, se cruzan o desaparecen brevemente de la vista.

DeepSORT mejora SORT al añadir información sobre la apariencia al proceso de seguimiento. Además del movimiento y la posición, utiliza un modelo de reidentificación, o re-id, basado en aprendizaje profundo que aprende el aspecto de los objetos. Esto permite al seguidor reconocer el mismo objeto entre fotogramas, incluso cuando el movimiento no basta para distinguirlo de los demás.

Por este motivo, DeepSORT se utiliza habitualmente en aplicaciones como la videovigilancia y la supervisión de multitudes, donde las personas suelen solaparse o quedar brevemente ocluidas. Sin embargo, hoy se considera una referencia clásica, y los métodos de seguimiento más recientes suelen lograr un mejor rendimiento en escenas más exigentes.

5. Norfair#

Norfair es una biblioteca de seguimiento ligera diseñada para ser flexible, en lugar de obligarte a utilizar un pipeline de seguimiento fijo. Puede añadir seguimiento sobre casi cualquier detector, siempre que las salidas del detector puedan representarse como un conjunto de puntos, como centros de cuadros delimitadores, puntos clave o datos de coordenadas personalizados.

Fig. 4. Seguimiento de objetos en el mundo real con Norfair (Fuente)

Esta flexibilidad hace que resulte especialmente útil para proyectos que incluyen entradas inusuales o patrones de movimiento dinámicos en los que las herramientas estándar de seguimiento de múltiples objetos pueden quedarse cortas. La biblioteca también proporciona funciones de distancia integradas para controlar cómo se asocian las detecciones entre fotogramas.

Estas funciones de distancia miden la similitud entre dos puntos u objetos y proporcionan a los usuarios un control total sobre la lógica de seguimiento. Norfair se utiliza a menudo en robótica, análisis del movimiento deportivo, navegación de drones y aplicaciones que dependen en gran medida del seguimiento de puntos de referencia de pose o puntos clave.

6. MMTracking#

MMTracking es una caja de herramientas de seguimiento de código abierto del equipo de OpenMMLab, responsable también de bibliotecas de visión por ordenador ampliamente utilizadas, como MMDetection. Basada en MMDetection, proporciona un framework flexible para desarrollar y experimentar con sistemas de seguimiento.

Una de sus mayores ventajas es su diseño modular. En lugar de limitarte a un único pipeline, MMTracking te permite configurar e intercambiar distintos componentes, como detectores, módulos de seguimiento y, en algunas configuraciones, modelos de reidentificación. Gracias a esta flexibilidad, es especialmente popular en investigación y proyectos avanzados en los que los equipos quieren comparar métodos, probar nuevas ideas o ajustar pipelines de seguimiento.

7. FairMOT#

FairMOT es un framework de seguimiento de múltiples objetos diseñado para seguir muchos objetos al mismo tiempo. A diferencia de los pipelines tradicionales de seguimiento mediante detección, que ejecutan primero la detección y después vinculan los objetos entre fotogramas como un paso independiente, FairMOT aprende la detección y la reidentificación conjuntamente en una sola red.

Fig. 5. Cómo funciona el framework FairMOT (Fuente)

Esta configuración conjunta le ayuda a mantener identidades más coherentes, especialmente en escenas concurridas donde las personas suelen solaparse o moverse rápidamente. FairMOT se utiliza habitualmente en situaciones como el seguimiento de peatones y la supervisión de multitudes, y también se aplica en entornos como la analítica minorista y la supervisión del tráfico, donde es importante seguir muchos objetivos en tiempo real.

8. SiamMask#

SiamMask es un método de seguimiento de un solo objeto que va más allá que muchos seguidores al producir una máscara de segmentación junto con un cuadro delimitador. En pocas palabras, no se limita a dibujar un rectángulo alrededor del objetivo. También delimita la forma del objeto a nivel de píxel, lo que puede resultar útil cuando el objetivo cambia de forma, gira o queda parcialmente oculto.

Fig. 6. Seguimiento y segmentación de un objeto con SiamMask (Fuente)

Este enfoque utiliza un diseño de seguimiento siamés, en el que el seguidor toma primero una pequeña vista de referencia del objetivo del primer fotograma, a menudo denominada plantilla. Después, en cada nuevo fotograma, busca en una región más amplia y encuentra el punto con mayor similitud con esa plantilla.

SiamMask se basa en esta idea de asociación. También predice una máscara del objetivo a nivel de píxel, por lo que obtienes tanto la ubicación del objeto como un contorno más preciso a medida que se reproduce el vídeo.

Factores clave para elegir una herramienta de seguimiento de objetos#

Con las diversas opciones de herramientas de código abierto para el seguimiento de objetos disponibles hoy en el ámbito de la IA, la mejor opción para tu proyecto de visión por ordenador depende de lo que requiera tu caso de uso concreto. Estos son algunos factores que debes tener en cuenta:

• Precisión: Es especialmente importante en escenas concurridas o visualmente complejas, donde el sistema de visión debe mantener ID estables incluso durante solapamientos, oclusiones o movimientos rápidos.
• Velocidad: En aplicaciones en tiempo real, como la robótica, la supervisión del tráfico y la analítica deportiva, la capacidad de respuesta puede ser más importante que una precisión perfecta.
• Facilidad de integración: Algunas herramientas de seguimiento de objetos son fáciles de conectar y utilizar, y funcionan con solo unas pocas líneas de código, mientras que otras requieren más configuración, ajustes o trabajo personalizado en el pipeline.
• Restricciones de implementación: El entorno de destino, como servidores con GPU, dispositivos periféricos o hardware móvil, puede determinar qué enfoque de seguimiento resulta práctico.
• Escalabilidad: Si tu sistema necesita seguir muchos objetos a la vez o procesar varios flujos de vídeo, el seguidor debe escalar de forma eficiente sin que el rendimiento disminuya notablemente.

Cada herramienta o algoritmo de seguimiento de objetos tiene una finalidad distinta. En última instancia, la elección adecuada depende de tus requisitos específicos, las limitaciones del entorno de ejecución, las métricas de rendimiento y el nivel de personalización que necesite el enfoque de seguimiento de tu proyecto.

Conclusiones clave#

El seguimiento de objetos ha evolucionado desde las primeras técnicas diseñadas manualmente hasta los sistemas actuales de aprendizaje profundo de vanguardia, capaces de interpretar el movimiento, la identidad y el comportamiento con una precisión impresionante. Las herramientas de código abierto han sido uno de los motores de este progreso. Democratizan el acceso a algoritmos potentes, fomentan la experimentación y permiten a los investigadores crear pipelines de seguimiento sofisticados sin licencias restrictivas ni una infraestructura costosa.

Visita nuestra comunidad y nuestro repositorio de GitHub para obtener más información sobre IA. Explora nuestras páginas de soluciones sobre IA en la agricultura y visión por ordenador en la fabricación. Descubre nuestras opciones de licencia y empieza a crear tu propio modelo de visión.