Frame Interpolation

Интерполяция кадров — это метод компьютерного зрения и обработки видео, который синтезирует новые промежуточные кадры между существующими, чтобы повысить частоту кадров видео и сделать движение более плавным. Если раньше для этого обычно применялось простое смешивание изображений, то современные методы интерполяции кадров используют передовые модели глубокого обучения (DL) для анализа движения и содержимого соседних кадров, прогнозируя сложные перемещения пикселей и создавая высококачественные непрерывные изображения. Этот подход на основе ИИ широко применяется для преобразования обычных видеозаписей в материалы с высокой частотой обновления, создания эффекта замедленной съёмки и стабилизации динамичных последовательностей в различных мультимедийных и научных областях.

Как работает интерполяция кадров на основе ИИ#

Современные системы интерполяции отходят от простого усреднения кадров. Вместо этого они используют сложные нейронные сети (NNs) и продвинутые методы оценки движения, чтобы заполнить промежутки между последовательными входными кадрами:

• Интерполяция на основе оптического потока: этот метод вычисляет видимое движение пикселей между кадрами. Модели используют оценённый поток, чтобы деформировать входные изображения и объединить их. Несмотря на высокую скорость, этот метод может испытывать трудности при сильных перекрытиях или быстрых движениях.
• Свёрточные архитектуры и Transformer: глубокие свёрточные нейронные сети (CNNs) и более новые модели Transformer изучают сложные пространственные и временные взаимосвязи. Они обрабатывают перекрытия и быстрые движения, прогнозируя контекстные признаки в пределах более широкого рецептивного поля.
• Генеративные подходы: последние достижения используют диффузионные модели для создания промежуточных кадров. Эти модели позволяют получать реалистичный с точки зрения восприятия синтез даже при значительных промежутках движения между входными кадрами, адаптируя такие методы, как интерполяция видеокадров на основе событий (EVFI), для восстановления быстрых движений по разреженным данным с датчиков.

Различие между связанными понятиями#

Для эффективного внедрения конвейеров улучшения видео крайне важно отличать интерполяцию кадров от связанных методов искусственного интеллекта (AI):

• Интерполяция кадров и оптический поток: оптический поток — это низкоуровневая метрика, измеряющая направление и скорость движения пикселей. Интерполяция кадров — это задача более высокого уровня, в которой оптический поток часто используется как вспомогательный инструмент для деформации пикселей и создания полностью новых кадров изображения.
• Интерполяция кадров и сверхвысокое разрешение: интерполяция повышает временное разрешение, добавляя больше кадров в секунду (например, выполняя временную передискретизацию с 30 FPS до 60 FPS). В свою очередь, сверхвысокое разрешение повышает пространственное разрешение, увеличивая размеры отдельных кадров в пикселях (например, с 1080p до 4K).

Основные применения в реальном мире#

Интерполяция кадров помогает решать важные задачи в различных отраслях, устраняя пробелы в визуальных данных:

1. Трансляция медиа и спортивных мероприятий: создатели используют такие инструменты, как FILM (интерполяция кадров для больших движений) от Google, чтобы создавать сверхплавные замедленные последовательности на основе стандартных камер. Это улучшает анализ спортивных событий и кинематографические эффекты без необходимости в дорогостоящем высокоскоростном оборудовании.

2. Биологическая и медицинская визуализация: при микроскопии с интервальной съёмкой генеративная интерполяция кадров улучшает отслеживание биологических объектов, таких как делящиеся клетки или движущиеся бактерии. Синтезируя промежуточные состояния, исследователи могут снизить частоту физической визуализации, что ограничивает фототоксичность и сохраняет чувствительные образцы.

Улучшение рабочих процессов ИИ с помощью интерполированного видео#

В машинном обучении использование видео с высокой частотой кадров значительно повышает точность последующего отслеживания объектов, обеспечивая более плавные временные переходы и уменьшая скачки ограничивающих рамок. После сглаживания видео с помощью интерполяции такие модели, как Ultralytics YOLO26, легко отслеживают объекты в синтезированных кадрах.

Следующий фрагмент кода на Python показывает, как отслеживать объекты в интерполированном видео с высокой частотой кадров, используя пакет ultralytics:

from ultralytics import YOLO

# Load the latest state-of-the-art YOLO26 model
model = YOLO("yolo26n.pt")

# Run persistent object tracking on the temporally up-sampled video
# The tracker uses the smooth motion to preserve object IDs more accurately
results = model.track(source="interpolated_high_fps_video.mp4", show=True, tracker="botsort.yaml")

Для обработки видео в больших масштабах команды могут использовать Ultralytics Platform, чтобы автоматизировать аннотирование данных в интерполированных наборах данных, обеспечивая беспрепятственное облачное обучение и надёжное развёртывание моделей для сложных конвейеров понимания видео.