Temporal Consistency

Временная согласованность — это соответствие выходных данных системы ИИ во времени по мере изменения сцены. В видео это означает, что объекты сохраняют целостность идентичности, внешнего вида и прогнозируемых свойств между кадрами, а их движение соответствует происходящему в сцене. Временно согласованная последовательность сохраняет и непрерывность, и реальные изменения. Термин временная когерентность часто используется как синоним в компьютерном зрении.

Вне сферы ИИ временная согласованность также описывает соответствие записей базы данных, зависящих от времени, или стабильность повторных психологических измерений.

Как работает временная согласованность#

Кадр видео фиксирует один момент, а соседние кадры дают сведения о том, как развивается та же сцена. Независимая обработка кадров может приводить к мерцанию цветов, нестабильным оценкам глубины или меняющимся границам сегментации. В методе Blind Video Temporal Consistency, опубликованном в 2015 году, Николя Боннеэль и его коллеги стабилизируют обработанное видео, используя временную информацию из исходной последовательности. Метод применим, в частности, для улучшения видео, стилизации и прогнозирования глубины.

Установление соответствий — определение того, какие области отображают одни и те же элементы сцены, — играет ключевую роль в обеспечении согласованности. Оптический поток оценивает перемещение пикселей между кадрами. Деформация переносит предыдущий прогноз в координаты текущего кадра, позволяя сравнивать соответствующие области. Маски окклюзии определяют области, скрытые другими поверхностями, где прямое сопоставление невозможно. В своём методе переноса стиля видео 2016 года Мануэль Рудер, Алексей Досовицкий и Томас Брокс объединили эти механизмы с ограничениями на коротком и длинном временных интервалах.

Пространственная согласованность описывает отношения внутри одного кадра. Временная согласованность описывает отношения между кадрами. Сохранение идентичности — один из её компонентов: объект может сохранять идентичность, даже если его текстура мерцает.

Функция потерь временной согласованности и обучение#

Функция потерь временной согласованности штрафует за расхождения между соответствующими предсказаниями в разные моменты времени. Она служит средством регуляризации, побуждая модель сохранять информацию, подтверждаемую соседними кадрами. При стилизации видео согласованная с движением функция потерь на основе квадрата ошибки сравнивает видимые соответствующие пиксели наряду с целевыми функциями, сохраняющими содержание и художественный стиль. Сравнения на больших временных интервалах помогают сохранять внешний вид, когда ранее скрытые области снова становятся видимыми.

Для уже выровненных значений пикселей компонент квадратичной ошибки можно записать с помощью операции вычисления среднеквадратичной ошибки в PyTorch:

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

Результат — 0.0100: среднее квадратичное расхождение для трёх видимых соответствий. Замаскированная область не влияет на функцию потерь.

Другие механизмы сохраняют информацию с помощью рекуррентной нейронной сети или передают её посредством временного механизма внимания. Такие подходы переносят контекст между кадрами во время обработки, как в рекуррентной сети для обеспечения временной согласованности видео без эталона Вэй-Шэна Лая и его коллег, опубликованной в 2018 году.

Применение в видео с ИИ#

Временная согласованность влияет как на интерпретацию видео, так и на синтез изображений:

• Редактирование видео: Нейронный перенос стиля с независимой обработкой кадров создаёт меняющиеся текстуры, которые при воспроизведении выглядят как мерцание. Ограничения, учитывающие движение, стабилизируют стилизованный вид объектов при их перемещении.
• Сегментация видео: Согласованные маски отслеживают границы объектов во времени. Бенчмарк DAVIS содержит видеопоследовательности с плотной разметкой для оценки сегментации при движении и окклюзии.
• Генерация видео: Временная когерентность предполагает стабильность объектов и фона, уменьшение мерцания и плавность движения. Эти свойства оцениваются отдельно в VBench.

В отслеживании нескольких объектов согласованность заключается прежде всего в сопоставлении обнаруженных объектов с устойчивыми идентификаторами. В режиме отслеживания Ultralytics YOLO применяются трекеры, например ByteTrack, чтобы сопоставлять обнаруженные объекты YOLO26 между кадрами; на втором этапе сопоставления используются детекции с более низкой уверенностью, чтобы восстановить траектории после частичной окклюзии.

Оценка временной согласованности#

Метод оценки зависит от типа выходных данных. Для обработанного видео ошибка компенсации движения при деформации измеряет расхождение между выровненными результатами; меньшая ошибка указывает на более высокую локальную согласованность. В задаче отслеживания количество переключений идентификаторов показывает, сколько раз менялся присвоенный объекту ID. HOTA объединяет точность обнаружения и сопоставления и оценивает сопоставление идентификаторов на протяжении всей последовательности.

При оценке сгенерированного видео стабильность внешнего вида измеряется отдельно от движения. VBench оценивает согласованность объектов, согласованность фона, временное мерцание, плавность движения и степень динамичности. Оценка движения наряду со стабильностью позволяет отличить согласованное движение от почти неподвижной последовательности: для оценки плавности движения используется модель интерполяции кадров, а степень динамичности определяется по оптическому потоку, который оценивает интенсивность движения.