Video Understanding

Понимание видео — это сложная область компьютерного зрения (CV), направленная на то, чтобы научить машины воспринимать, анализировать и интерпретировать визуальные данные во времени. В отличие от стандартного распознавания изображений, которое обрабатывает статичные снимки независимо друг от друга, понимание видео включает анализ последовательностей кадров для выявления временной динамики, контекста и причинно-следственных связей. Обрабатывая «четвёртое измерение» — время, системы искусственного интеллекта могут выйти за рамки простого обнаружения объектов и понимать действия, события и разворачивающийся в сцене сюжет. Эта возможность необходима для создания интеллектуальных систем, способных безопасно и эффективно взаимодействовать с динамичной реальной средой.

Основные компоненты анализа видео#

Для успешной интерпретации видеоконтента модели должны объединять два основных типа информации: пространственные признаки (что находится в кадре) и временные признаки (как всё изменяется). Для этого требуется сложная архитектура, которая часто сочетает несколько подходов на основе нейронных сетей.

• Свёрточные нейронные сети (CNN): эти сети обычно служат пространственной основой, извлекая из отдельных кадров визуальные признаки, такие как формы, текстуры и объекты.
• Рекуррентные нейронные сети (RNN): такие архитектуры, как блоки долгой краткосрочной памяти (LSTM), используются для обработки последовательности признаков, извлечённых CNN, что позволяет модели «помнить» предыдущие кадры и предсказывать будущие состояния.
• Оптический поток: многие системы используют алгоритмы оптического потока для явного вычисления векторов движения пикселей между кадрами, получая важные данные о скорости и направлении независимо от внешнего вида объекта.
• Визуальные трансформеры (ViTs): современные подходы всё чаще используют механизмы внимания для оценки важности разных кадров или областей, позволяя модели сосредоточиться на ключевых событиях в длинном видеопотоке.

Практические применения#

Способность понимать временной контекст открыла путь к продвинутой автоматизации в различных отраслях.

• Автономные транспортные средства: беспилотные автомобили используют понимание видео для прогнозирования траекторий пешеходов и других транспортных средств. Анализируя закономерности движения, система может предвидеть потенциальные столкновения и выполнять сложные манёвры.
• Распознавание действий: в спортивной аналитике и мониторинге здоровья системы выявляют конкретные действия людей — например, забитый игроком гол или падение пациента — чтобы автоматически формировать аналитические выводы или оповещения.
• Умная розничная торговля: магазины используют эти системы для обнаружения аномалий, чтобы выявлять кражи или анализировать схемы перемещения покупателей для более эффективной оптимизации планировки.
• Модерация контента: крупные медиаплатформы используют понимание видео для автоматической пометки неприемлемого контента или классификации загруженных материалов по темам, значительно сокращая необходимость ручной проверки.

Различие между связанными понятиями#

Хотя понимание видео охватывает широкий спектр возможностей, оно отличается от нескольких связанных терминов в области искусственного интеллекта.

• Понимание видео и отслеживание объектов: отслеживание сосредоточено на сохранении уникальной идентичности экземпляра (например, конкретного автомобиля) по мере его перемещения между кадрами. Понимание видео интерпретирует поведение этого автомобиля, например определяет, что он «паркуется» или «превышает скорость».
• Понимание видео и оценка позы: оценка позы выявляет геометрическую конфигурацию суставов тела в одном кадре или последовательности кадров. Понимание видео использует эти данные, чтобы определить смысл движения, например то, что человек «машет рукой в знак приветствия».
• Понимание видео и мультимодальный искусственный интеллект: если понимание видео сосредоточено на визуальных последовательностях, то мультимодальный искусственный интеллект объединяет видео со звуком, текстом или данными датчиков для более целостного анализа.

Реализация анализа видео с помощью Ultralytics YOLO26#

Основополагающий этап понимания видео — надёжное обнаружение и отслеживание объектов для обеспечения временной непрерывности. Модель Ultralytics YOLO26 обеспечивает передовую производительность при отслеживании в реальном времени, что служит основой для последующего анализа поведения на более высоком уровне.

В следующем примере показано, как выполнять отслеживание объектов в источнике видео с помощью Python API:

from ultralytics import YOLO

# Load the official YOLO26n model (nano version for speed)
model = YOLO("yolo26n.pt")

# Track objects in a video file with persistence to maintain IDs
# 'show=True' visualizes the tracking in real-time
results = model.track(source="path/to/video.mp4", persist=True, show=True)

Проблемы и будущие тенденции#

Несмотря на значительный прогресс, понимание видео остаётся вычислительно затратным из-за огромного объёма данных в видеопотоках высокого разрешения. Вычисление FLOPS для трёхмерных свёрток или временных трансформеров может оказаться непосильной задачей для устройств периферийного искусственного интеллекта. Для решения этой проблемы исследователи разрабатывают эффективные архитектуры, такие как модуль временного сдвига (TSM), и используют инструменты оптимизации, например NVIDIA TensorRT, чтобы обеспечить вывод в реальном времени.

Будущие разработки движутся в сторону сложного мультимодального обучения, при котором модели интегрируют звуковые сигналы (например, сирену) и текстовый контекст для более глубокого понимания. Такие платформы, как Ultralytics Platform, также развиваются, чтобы упростить аннотирование и управление сложными наборами видеоданных, облегчая обучение пользовательских моделей для конкретных временных задач.