Temporal Consistency

시간적 일관성은 기반이 되는 장면이 변하는 동안 AI 시스템의 출력이 시간에 따라 일치하는 정도를 의미합니다. 비디오에서 이는 객체의 움직임이 장면에 충실하게 유지되는 동시에 프레임 전반에서 객체의 정체성, 외관, 예측 속성이 일관성을 유지하는 것을 뜻합니다. 시간적으로 일관된 시퀀스는 연속성과 실제 변화를 모두 보존합니다. 시간적 정합성이라는 용어는 컴퓨터 비전에서 동의어로 흔히 사용됩니다.

AI 외 분야에서 시간적 일관성은 시간에 따라 달라지는 데이터베이스 레코드 간의 일치성이나 반복된 심리 측정의 안정성을 나타내기도 합니다.

시간적 일관성의 작동 방식#

비디오 프레임은 한 순간을 포착하고, 인접한 프레임은 같은 장면이 어떻게 변화하는지에 대한 정보를 제공합니다. 프레임을 독립적으로 처리하면 색상이 깜박이거나, 깊이 추정값이 불안정해지거나, 세그멘테이션 경계가 변할 수 있습니다. Nicolas Bonneel과 동료들이 2015년에 발표한 Blind Video Temporal Consistency는 원본 시퀀스의 시간 정보를 사용해 처리된 비디오를 안정화하며, 향상, 스타일 변환, 깊이 예측 등에 적용됩니다.

대응 관계를 설정하는 것, 즉 어떤 위치가 같은 장면 요소를 나타내는지 판별하는 것은 일관성의 핵심입니다. 옵티컬 플로는 프레임 간 픽셀 움직임을 추정합니다. 워핑은 이전 예측을 현재 프레임의 좌표로 옮겨 대응하는 위치끼리 비교할 수 있게 합니다. 가림 마스크는 다른 표면에 가려져 직접 대응 관계를 확인할 수 없는 영역을 식별합니다. Manuel Ruder, Alexey Dosovitskiy, Thomas Brox는 2016년에 발표한 비디오 스타일 전이 방법에서 이러한 메커니즘을 단기 및 장기 제약 조건과 결합했습니다.

공간적 일관성은 한 프레임 내의 관계를 다룹니다. 시간적 일관성은 프레임 간의 관계를 다룹니다. 정체성 보존은 그 구성 요소 중 하나입니다. 객체의 정체성은 유지되면서 텍스처가 계속 깜박일 수도 있습니다.

시간적 일관성 손실 및 학습#

시간적 일관성 손실은 서로 다른 시점의 대응하는 예측 간 불일치에 페널티를 부과합니다. 이는 정규화 역할을 하며, 주변 프레임이 뒷받침하는 정보를 모델이 보존하도록 유도합니다. 비디오 스타일 변환에서는 움직임에 맞춰 정렬된 제곱 오차 손실 함수가 보이는 대응 픽셀을 비교하며, 콘텐츠와 예술적 스타일을 보존하는 목표도 함께 적용합니다. 장기 비교는 이전에 가려졌던 영역이 다시 나타날 때 외관을 유지하는 데 도움이 됩니다.

이미 정렬된 픽셀 값의 경우, 제곱 오차 항은 PyTorch의 평균 제곱 오차 연산을 사용해 표현할 수 있습니다.

import torch
import torch.nn.functional as F

previous_aligned = torch.tensor([[0.2, 0.4], [0.6, 0.8]])
current = torch.tensor([[0.3, 0.5], [0.7, 0.1]])
visible = torch.tensor([[True, True], [True, False]])

# Compare only corresponding pixels visible in both frames.
pixel_errors = F.mse_loss(current, previous_aligned, reduction="none")
temporal_loss = pixel_errors[visible].mean()
print(f"Temporal consistency loss: {temporal_loss.item():.4f}")

출력은 0.0100입니다. 이는 보이는 세 대응 항목에서 발생한 불일치 제곱의 평균입니다. 마스킹된 위치는 손실에 기여하지 않습니다.

다른 메커니즘은 순환 신경망을 통해 정보를 유지하거나 시간적 어텐션을 통해 정보를 전파합니다. 이러한 접근 방식은 처리 중 프레임 간에 컨텍스트를 전달하며, Wei-Sheng Lai와 동료들이 2018년에 발표한 블라인드 비디오 시간적 일관성을 위한 순환 네트워크가 그 예입니다.

비디오 AI의 응용 분야#

시간적 일관성은 비디오 해석과 이미지 생성 모두에 영향을 줍니다.

• 비디오 편집: 프레임별로 독립적으로 처리하는 뉴럴 스타일 전이는 재생 중 깜박임으로 나타나는 텍스처 변화를 일으킵니다. 움직임을 활용한 제약 조건은 객체가 움직일 때 스타일이 적용된 외관을 안정적으로 유지합니다.
• 비디오 세그멘테이션: 일관된 마스크는 시간의 흐름에 따라 객체 경계를 따라갑니다. DAVIS 벤치마크는 움직임과 가림 상황에서 세그멘테이션을 평가할 수 있도록 촘촘하게 어노테이션된 비디오 시퀀스를 제공합니다.
• 비디오 생성: 시간적 정합성에는 안정적인 피사체와 배경, 줄어든 깜박임, 부드러운 움직임이 포함됩니다. 이러한 속성은 VBench에서 각각 평가됩니다.

다중 객체 추적에서 일관성은 검출 결과를 지속적인 정체성에 연결하는 데 중점을 둡니다. Ultralytics YOLO의 추적 모드는 ByteTrack과 같은 추적기를 적용해 프레임 간 YOLO26 검출 결과를 연결합니다. 두 번째 연관 단계에서는 신뢰도가 더 낮은 검출 결과를 사용해 부분적인 가림 상황에서도 추적을 복구합니다.

시간적 일관성 측정#

평가 방법은 출력 유형에 따라 달라집니다. 처리된 비디오에서는 움직임을 보정한 워핑 오차로 정렬된 출력 간의 불일치를 측정하며, 오차가 낮을수록 국소적 일치성이 높음을 나타냅니다. 추적에서는 ID 전환 횟수로 객체에 할당된 ID의 변경을 셉니다. HOTA는 검출 정확도와 연관 정확도를 결합하고 시퀀스 전반의 정체성 연관을 평가합니다.

생성된 비디오를 평가할 때는 외관의 안정성과 움직임을 구분합니다. VBench는 피사체 일관성, 배경 일관성, 시간적 깜박임, 움직임의 부드러움, 동적 정도를 측정합니다. 안정성과 함께 움직임을 측정하면 일관된 움직임과 거의 정지된 시퀀스를 구별할 수 있습니다. 움직임의 부드러움 점수에는 프레임 보간 모델을 사용하고, 동적 정도에는 옵티컬 플로를 사용해 움직임의 양을 추정합니다.