Оптический поток

Оптический поток — это ключевая концепция в компьютерном зрении (CV), которая включает в себя оценку движения объектов, поверхностей и краев в визуальной сцене, вызванного относительным движением между наблюдателем (например, камерой) и сценой. Он вычисляет поле векторов, описывающих направление и скорость движения пикселей или признаков между двумя последовательными кадрами видео. Это обеспечивает детальное понимание на низком уровне того, «как» движутся объекты, что является основополагающим для многих задач анализа динамических сцен.

Как работает оптический поток

Центральным допущением большинства алгоритмов оптического потока является «постоянство яркости», которое предполагает, что интенсивность пикселя, соответствующего определенной точке на объекте, остается постоянной в течение коротких промежутков времени. Находя смещение, которое сохраняет эту яркость, алгоритмы могут оценивать движение. Существует два основных подхода к вычислению оптического потока:

• Плотный оптический поток: Этот метод вычисляет вектор движения для каждого пикселя изображения. Он предоставляет очень детализированное поле движения, которое полезно для таких задач, как сегментация изображений и понимание сложной динамики сцены. Метод Хорна-Шунка является классическим примером, в то время как современные модели глубокого обучения, такие как RAFT, предлагают самые современные показатели производительности.
• Разреженный оптический поток: Вместо анализа каждого пикселя этот метод отслеживает разреженный набор «интересных» признаков (например, углы или ключевые точки) между кадрами. Метод Лукаса-Канаде — хорошо известный алгоритм разреженного оптического потока. Этот подход более эффективен с вычислительной точки зрения и хорошо подходит для приложений, где требуется только движение определенных точек, например, в отслеживании объектов.

Оптический поток vs. Отслеживание объектов

Несмотря на взаимосвязь, оптический поток и отслеживание объектов решают разные задачи.

• Оптический поток описывает низкоуровневое движение пикселей. Его выходные данные представляют собой набор векторов, представляющих движение между двумя кадрами. Он не понимает концепцию «объекта» и не сохраняет его идентичность во времени.
• Отслеживание объектов — это задача более высокого уровня, ориентированная на определение местоположения конкретного объекта и отслеживание его пути по нескольким кадрам с присвоением ему постоянного идентификатора. Алгоритмы отслеживания часто используют такие методы, как оптический поток, в качестве входных данных для прогнозирования положения объекта в следующем кадре после того, как он был идентифицирован моделью обнаружения объектов, такой как модель Ultralytics YOLO. Вы можете увидеть это в действии в режиме отслеживания объектов Ultralytics.

Короче говоря, оптический поток отвечает на вопрос: «Как движутся пиксели?», а отслеживание объектов отвечает на вопрос: «Куда делась эта машина?».

Применение в реальном мире

Оптический поток имеет решающее значение для многих приложений, требующих понимания движения на видео:

• Автономные системы: Автономные транспортные средства и роботы используют оптический поток для визуальной одометрии (оценки собственного движения), обнаружения препятствий и понимания относительного движения объектов в окружающей среде. Например, это помогает самоуправляемому автомобилю оценить свою скорость относительно дороги или отслеживать близлежащие транспортные средства. Такие компании, как Waymo, в значительной степени полагаются на восприятие движения. Узнайте больше об ИИ в самоуправляемых автомобилях для получения дополнительной информации.
• Сжатие видео: Стандарты, такие как MPEG, используют методы оценки движения, аналогичные оптическому потоку, для прогнозирования последующих кадров на основе предыдущих. Кодируя только векторы движения и ошибки предсказания (остатки), достигается значительное сжатие данных.
• Распознавание действий: Понимание действий человека в видео, ключевая часть оценки позы, часто включает в себя анализ моделей движения, полученных из оптического потока. Это имеет решающее значение для приложений в спортивной аналитике и технологиях интеллектуального фитнеса.
• Стабилизация видео: Методы цифровой стабилизации изображения могут использовать оптический поток для оценки дрожания камеры и компенсации этого эффекта, создавая более плавное видео. Эта технология широко распространена в современных смартфонах и камерах.
• Анализ медицинских изображений: Используется для отслеживания движения тканей, таких как движение сердечной мышцы в эхокардиограммах или деформация органов во время процедур. См. ресурсы, такие как журнал Radiology: Artificial Intelligence для получения информации о связанных достижениях.
• Робототехника: Позволяет роботам перемещаться, взаимодействовать с объектами и выполнять задачи на основе визуальной обратной связи о движении в их окружении. Интеграция с такими системами, как ROS, часто включает анализ движения.

Инструменты и реализация

Библиотеки, такие как OpenCV, предоставляют реализации классических алгоритмов оптического потока, а ее документация включает подробные учебные пособия по оптическому потоку OpenCV. Для подходов глубокого обучения обычно используются такие фреймворки, как PyTorch (посетите официальный сайт PyTorch) и TensorFlow (посетите официальный сайт TensorFlow), часто с использованием предварительно обученных моделей, доступных через такие платформы, как Hugging Face. Обучение этих моделей требует крупномасштабных видеонаборов данных с информацией о потоке ground truth, таких как наборы данных FlyingThings3D или Sintel. Платформы, такие как Ultralytics HUB, могут помочь в управлении наборами данных и рабочими процессами обучения моделей для связанных задач компьютерного зрения.