Las 8 mejores herramientas y algoritmos de seguimiento de objetos de código abierto

Cuando un coche se salta un semáforo en rojo y se envía una multa automática al conductor, o cuando un jugador de fútbol dribla por el campo y la cámara sigue el juego con fluidez, la IA trabaja silenciosamente en segundo plano. En particular, estos sistemas se basan en la visión artificial, un subcampo de la IA que permite a las máquinas ver, interpretar y comprender información visual del mundo.

Dentro de la visión artificial, una de las tareas clave detrás de estas aplicaciones es el seguimiento de objetos. Se utiliza para identificar objetos en cada fotograma de un vídeo y luego seguirlos a medida que se mueven, se superponen con otros o cambian de dirección.

Existen muchas herramientas de seguimiento de objetos y algoritmos disponibles hoy en día, cada uno diseñado para diferentes casos de uso, necesidades de rendimiento y niveles de complejidad. Algunos se centran en la velocidad y pueden seguir docenas de objetos en tiempo real, mientras que otros priorizan la precisión o la estabilidad a largo plazo en condiciones difíciles como oclusión, movimiento rápido o poca iluminación.

Concretamente, los proyectos de código abierto han desempeñado un papel fundamental en el avance de este campo. Dado que su código es abiertamente accesible, los desarrolladores e investigadores pueden estudiar cómo funcionan, mejorar los métodos existentes y adaptarlos a nuevas aplicaciones. Esta apertura ha ayudado a que el seguimiento de objetos evolucione rápidamente y sea más fácil de integrar en sistemas del mundo real.

En este artículo, exploraremos ocho herramientas y algoritmos populares de seguimiento de objetos de código abierto. ¡Empecemos!

Link to this section¿Qué es el seguimiento de objetos?#

Considera una situación en la que un guardia de seguridad vigila las imágenes de CCTV de un aparcamiento. Decide vigilar un coche rojo. A medida que se reproduce el vídeo, etiqueta mentalmente ese coche y sigue rastreándolo dondequiera que vaya, incluso cuando otros coches pasan a su lado o personas caminan delante de él.

El seguimiento de objetos mediante IA es similar, pero funciona de forma automática y a gran escala. En otras palabras, el seguimiento de objetos es el proceso de seguir un objeto a medida que se mueve a través de los fotogramas de un vídeo y mantener su identidad coherente de un fotograma al siguiente.

En muchos sistemas, esto comienza con la detección de objetos, que encuentra y etiqueta objetos como personas, vehículos o señales de tráfico en cada fotograma. Luego, a medida que estos objetos se mueven, aparecen, desaparecen o se superponen, el sistema de seguimiento vincula las detecciones entre fotogramas para saber qué objeto es cuál y hacia dónde va cada uno con el paso del tiempo.

Fig 1. Un vistazo al seguimiento de objetos (Fuente)

Existen dos tipos comunes de seguimiento: el seguimiento de un solo objeto (SOT), que se centra en un objeto principal (como seguir solo el balón en un vídeo deportivo), y el seguimiento de múltiples objetos (MOT), que sigue muchos objetos a la vez y asigna a cada uno un ID único (como seguir todos los coches en un cruce con mucho tráfico).

Independientemente del tipo de seguimiento, la mayoría de los sistemas se basan en tres componentes principales: un detector para encontrar objetos en cada fotograma, un modelo de movimiento para predecir cómo es probable que se muevan esos objetos y un paso de coincidencia para conectar las nuevas detecciones con objetos seguidos anteriormente. Estas partes convierten el vídeo sin procesar en información significativa sobre cómo se mueven e interactúan los objetos con el paso del tiempo.

Link to this sectionLa necesidad de herramientas de seguimiento de objetos de código abierto#

Antes de profundizar en los detalles, quizás te preguntes: ¿qué hace que las herramientas y algoritmos de seguimiento de objetos de código abierto sean tan especiales?

Las herramientas de código abierto han desempeñado un papel importante a la hora de hacer que el seguimiento de objetos sea más fácil de usar y esté más disponible. Como el código es abierto, los desarrolladores e investigadores pueden ver exactamente cómo funciona un rastreador, aprender de él y adaptarlo a sus propios proyectos en lugar de tratarlo como una caja negra.

También se benefician de comunidades sólidas. Muchas herramientas de seguimiento de código abierto son mantenidas por colaboradores activos que añaden nuevas funciones, mejoran la velocidad y la precisión, corrigen errores y mantienen las herramientas alineadas con las últimas investigaciones. Esta colaboración continua ayuda a que sigan siendo fiables y útiles en diferentes aplicaciones.

El coste es otra gran razón por la que importan. Como las herramientas de código abierto son gratuitas, los estudiantes, las startups y los equipos pequeños pueden experimentar, crear prototipos y construir sistemas reales sin preocuparse por las tarifas de licencia o los costes de suscripción.

Link to this sectionLas 8 mejores herramientas y algoritmos de seguimiento de objetos de código abierto#

Hoy en día hay una gran variedad de opciones de código abierto disponibles para construir sistemas de seguimiento. Algunas son algoritmos o modelos de seguimiento que puedes conectar directamente a tu pipeline, mientras que otras son bibliotecas y marcos de trabajo que facilitan la ejecución, gestión e integración de esos modelos. Juntos, cubren todo, desde la lógica central de seguimiento hasta las herramientas complementarias que necesitas en un proyecto real.

A continuación, echemos un vistazo a ocho herramientas y algoritmos de seguimiento de objetos de código abierto populares.

Link to this section1. Modelos Ultralytics YOLO y el paquete Python de Ultralytics#

Una de las opciones más sencillas y prácticas para el seguimiento de objetos es utilizar los modelos Ultralytics YOLO en combinación con el paquete Python de Ultralytics. Los modelos Ultralytics YOLO, como Ultralytics YOLO11 y el próximo Ultralytics YOLO26, son modelos de visión artificial que admiten una gama de tareas de visión, incluida la detección de objetos, la segmentación de instancias, la estimación de pose y el seguimiento de objetos.

Fig 2. Un ejemplo de uso de YOLO11 para detectar y seguir objetos. (Fuente)

Curiosamente, los propios modelos no realizan el seguimiento de objetos a través de los fotogramas. En cambio, el paquete Python de Ultralytics, una biblioteca que simplifica la ejecución y el despliegue de los modelos Ultralytics YOLO, hace posible el seguimiento combinando las detecciones fotograma a fotograma de YOLO con algoritmos dedicados de seguimiento de múltiples objetos como BoT-SORT y ByteTrack.

Gracias a su capacidad de seguimiento integrada, el paquete Ultralytics y los modelos Ultralytics YOLO pueden utilizarse para detectar objetos en cada fotograma y, a continuación, asignar ID coherentes para que puedan ser seguidos a medida que se mueven, se superponen, salen del fotograma y vuelven a entrar más tarde. Este enfoque se adopta cada vez más en sectores como la fabricación y el comercio minorista, permitiendo aplicaciones tales como flujos de trabajo de inspección de defectos, seguimiento del flujo de inventario y seguimiento de clientes en tienda.

Link to this section2. Rastreadores OpenCV#

OpenCV es una vasta biblioteca de visión artificial que incluye una colección de algoritmos de seguimiento de objetos. Esta biblioteca ha sido desarrollada y mantenida por la comunidad OpenCV desde 1999.

En lugar de depender del aprendizaje profundo, la mayoría de estos rastreadores utilizan métodos tradicionales de visión artificial, como filtros de correlación y técnicas basadas en kernels (que siguen un objeto haciendo coincidir su apariencia visual, como el color y la textura, de un fotograma al siguiente, en lugar de aprender características utilizando redes neuronales).

Al utilizar estos algoritmos, normalmente puedes seleccionar primero el objeto que deseas seguir, y el rastreador busca continuamente la región visual más similar en los fotogramas posteriores a medida que el objeto se mueve.

Fig 3. Seguimiento de objetos mediante OpenCV (Fuente)

Aunque estos métodos pueden no ser tan robustos como los sistemas modernos de seguimiento basados en aprendizaje profundo en escenas complejas o concurridas, siguen siendo ampliamente utilizados porque son ligeros, rápidos y fáciles de ejecutar. Además, como estos rastreadores funcionan de forma eficiente en CPUs y normalmente no requieren una GPU, funcionan bien para experimentos rápidos, aprendizaje en el aula y proyectos de aficionados.

Link to this section3. ByteTrack#

ByteTrack es uno de los algoritmos de código abierto más populares para el seguimiento de múltiples objetos. En lugar de hacer coincidir solo las detecciones de las que el modelo está muy seguro, también hace uso de detecciones de menor confianza que muchos sistemas normalmente ignoran.

Esto le ayuda a realizar el seguimiento de objetos que son brevemente difíciles de ver, por ejemplo cuando están parcialmente bloqueados, lejos o se mueven rápidamente. Debido a que es rápido y fiable, ByteTrack se utiliza comúnmente en aplicaciones como análisis de tráfico, seguimiento de peatones y monitorización minorista, donde el rendimiento en tiempo real y los ID coherentes son importantes.

Como se mencionó anteriormente, si utilizas modelos Ultralytics YOLO para la detección, es fácil habilitar ByteTrack a través del paquete Python de Ultralytics. Pero también se puede utilizar de forma independiente en pipelines personalizados, lo que lo hace adecuado para todo, desde prototipos de investigación hasta sistemas de producción escritos en C++.

Link to this section4. DeepSORT#

Otro algoritmo ampliamente utilizado para el seguimiento de múltiples objetos es DeepSORT, abreviatura de Deep Simple Online and Real-Time Tracking. Es una versión avanzada de SORT, que significa Simple Online and Real-Time Tracking.

Al igual que ByteTrack, SORT sigue un enfoque de seguimiento por detección. Sin embargo, SORT se basa en un filtro de Kalman, un modelo matemático que estima la posición futura de un objeto basándose en su movimiento pasado, para predecir hacia dónde es probable que se mueva cada objeto a continuación.

Luego, hace coincidir las nuevas detecciones con los seguimientos existentes, principalmente basándose en la posición y la superposición de los cuadros delimitadores. Esto hace que SORT sea rápido y ligero, pero puede tener dificultades cuando los objetos se superponen, cruzan caminos o desaparecen brevemente de la vista.

DeepSORT mejora a SORT añadiendo información de apariencia al proceso de seguimiento. Además del movimiento y la posición, utiliza un modelo de reidentificación o re-id basado en el aprendizaje profundo que aprende cómo se ven los objetos. Esto permite al rastreador reconocer el mismo objeto a través de los fotogramas, incluso cuando el movimiento no es suficiente para distinguirlo de otros.

Debido a esto, DeepSORT se utiliza comúnmente en aplicaciones como la vigilancia y la monitorización de multitudes, donde las personas a menudo se superponen o son ocluidas brevemente. Sin embargo, hoy en día se considera una línea base clásica, y los nuevos métodos de seguimiento a menudo logran un mejor rendimiento en escenas más desafiantes.

Link to this section5. Norfair#

Norfair es una biblioteca de seguimiento ligera diseñada para ser flexible, en lugar de obligarte a seguir un pipeline de seguimiento fijo. Puede añadir seguimiento sobre casi cualquier detector, siempre que las salidas del detector puedan representarse como un conjunto de puntos, tales como centros de cuadros delimitadores, puntos clave o datos de coordenadas personalizados.

Fig 4. Seguimiento de objetos en el mundo real utilizando Norfair (Fuente)

Esta flexibilidad lo hace especialmente impactante para proyectos que involucran entradas inusuales o patrones de movimiento dinámico donde las herramientas estándar de seguimiento de múltiples objetos pueden quedarse cortas. La biblioteca también proporciona funciones de distancia integradas para controlar cómo se hacen coincidir las detecciones a través de los fotogramas.

Estas funciones de distancia miden cuán similares son dos puntos u objetos, dando a los usuarios un control total sobre la lógica de seguimiento. Norfair se utiliza a menudo en robótica, análisis de movimiento deportivo, navegación de drones y aplicaciones que dependen en gran medida del seguimiento de puntos de referencia o puntos clave de pose.

Link to this section6. MMTracking#

MMTracking es una caja de herramientas de seguimiento de código abierto del equipo de OpenMMLab, que también está detrás de bibliotecas de visión artificial ampliamente utilizadas como MMDetection. Construido sobre MMDetection, proporciona un marco de trabajo flexible para desarrollar y experimentar con sistemas de seguimiento.

Uno de sus mayores puntos fuertes es su diseño modular. En lugar de bloquearte en un solo pipeline, MMTracking te permite configurar e intercambiar diferentes componentes, como detectores, módulos de seguimiento y, en algunas configuraciones, modelos de reidentificación. Debido a esta flexibilidad, es especialmente popular en investigación y proyectos avanzados donde los equipos quieren comparar métodos, probar nuevas ideas o ajustar los pipelines de seguimiento.

Link to this section7. FairMOT#

FairMOT es un marco de trabajo de seguimiento de múltiples objetos diseñado para seguir muchos objetos al mismo tiempo. A diferencia de los pipelines tradicionales de seguimiento por detección que ejecutan la detección primero y luego vinculan los objetos a través de los fotogramas como un paso separado, FairMOT aprende la detección y la reidentificación juntas en una sola red.

Fig 5. Cómo funciona el marco de trabajo FairMOT (Fuente)

Esta configuración conjunta le ayuda a mantener identidades más coherentes, especialmente en escenas concurridas donde las personas a menudo se superponen o se mueven rápidamente. FairMOT se utiliza comúnmente en escenarios como el seguimiento de peatones y la monitorización de multitudes, y también se aplica en entornos como la analítica minorista y la monitorización de tráfico, donde es importante el seguimiento de muchos objetivos en tiempo real.

Link to this section8. SiamMask#

SiamMask es un método de seguimiento de un solo objeto que va un paso más allá que muchos rastreadores al producir una máscara de segmentación junto con un cuadro delimitador. En pocas palabras, no solo dibuja un rectángulo alrededor del objetivo. También perfila la forma del objeto a nivel de píxel, lo cual puede ser útil cuando el objetivo cambia de forma, gira o queda parcialmente oculto.

Fig 6. Seguimiento y segmentación de un objeto utilizando SiamMask (Fuente)

Este enfoque utiliza un diseño de seguimiento siamés, que implica que el rastreador primero toma una pequeña vista de referencia del objetivo del primer fotograma, a menudo llamada plantilla. Luego, en cada nuevo fotograma, busca una región más grande y encuentra el punto con la mayor similitud con esa plantilla.

SiamMask se basa en esta idea basada en coincidencias. También predice una máscara a nivel de píxel para el objetivo, por lo que obtienes tanto la ubicación del objeto como un perfil más preciso a medida que se reproduce el vídeo.

Link to this sectionFactores clave al elegir una herramienta de seguimiento de objetos#

Con varias opciones de herramientas de seguimiento de objetos de código abierto disponibles en el espacio de la IA hoy en día, la mejor opción para tu proyecto de visión artificial depende de lo que requiera tu caso de uso específico. Aquí tienes algunos factores a tener en cuenta:

• Precisión: Esto es lo más significativo en escenas concurridas o visualmente complejas, donde el sistema de visión necesita mantener ID estables incluso durante la superposición, la oclusión o el movimiento rápido.
• Velocidad: Para aplicaciones en tiempo real como robótica, monitorización de tráfico y analítica deportiva, la capacidad de respuesta puede ser más importante que la precisión perfecta.
• Facilidad de integración: Algunas herramientas de seguimiento de objetos son fáciles de conectar y usar, y funcionan con solo unas pocas líneas de código, mientras que otras requieren más configuración, preparación o trabajo de pipeline personalizado.
• Limitaciones de despliegue: El entorno objetivo, como servidores GPU, dispositivos perimetrales o hardware móvil, puede determinar qué enfoque de seguimiento es práctico.
• Escalabilidad: Si tu sistema necesita realizar el seguimiento de muchos objetos a la vez o procesar múltiples secuencias de vídeo, el rastreador debe escalar de forma eficiente sin una gran caída en el rendimiento.

Cada herramienta o algoritmo de seguimiento de objetos tiene un propósito diferente. En última instancia, la elección correcta depende de tus requisitos específicos, limitaciones de tiempo de ejecución, métricas de rendimiento y de lo personalizable que requiera tu proyecto que sea el enfoque de seguimiento.

Link to this sectionConclusiones clave#

El seguimiento de objetos ha evolucionado desde las primeras técnicas artesanales hasta los sistemas de aprendizaje profundo de última generación actuales que interpretan el movimiento, la identidad y el comportamiento con una precisión impresionante. Las herramientas de código abierto han sido una fuerza impulsora detrás de este progreso. Democratizan el acceso a algoritmos potentes, fomentan la experimentación y permiten a los investigadores construir sofisticados pipelines de seguimiento sin licencias restrictivas ni infraestructuras pesadas.

Echa un vistazo a nuestra comunidad y al repositorio de GitHub para aprender más sobre IA. Explora nuestras páginas de soluciones sobre IA en la agricultura y visión artificial en la fabricación. Descubre nuestras opciones de licencia y empieza a construir tu propio modelo de visión.