Action Recognition

행동 인식(Action recognition)은 인간 활동 인식(HAR)으로도 널리 알려져 있으며, 비디오 데이터에서 피사체가 수행하는 특정 행동이나 움직임을 식별하고 분류하는 computer vision (CV)의 역동적인 하위 분야입니다. 전통적인 object detection이 "이미지 안에 무엇이 있는가?"라는 질문에 답한다면, 행동 인식은 "시간이 흐름에 따라 무슨 일이 일어나고 있는가?"라는 더 복잡한 질문을 다룹니다. 정적 이미지 대신 프레임 시퀀스를 분석함으로써 machine learning (ML) 모델은 "걷기", "자전거 타기", "넘어지기", "악수하기"와 같은 복잡한 활동을 구별할 수 있으며, 이를 통해 인간의 의도와 맥락을 이해하는 지능형 시스템을 구축하는 데 필수적인 요소가 됩니다.

핵심 개념 및 기술#

행동을 인식하려면 모델이 공간 정보(사물이나 사람이 어떻게 생겼는지)와 시간 정보(시간에 따라 어떻게 움직이는지)를 모두 처리해야 합니다. 이를 달성하기 위해 현대의 artificial intelligence (AI) 시스템은 표준 convolutional neural networks (CNNs)을 넘어선 특수한 아키텍처를 종종 채택합니다.

• Pose Estimation: 모델이 팔꿈치, 무릎, 어깨와 같은 인체 위의 특정 keypoints를 추적하는 강력한 기법입니다. 시간에 따른 이러한 키포인트의 기하학적 변화는 배경의 방해 요소와 무관하게 행동을 분류하는 강력한 신호를 제공합니다.
• 시간적 모델링(Temporal Modeling): 알고리즘은 Recurrent Neural Networks (RNNs) 또는 장단기 메모리(LSTM) 네트워크와 같은 구조를 활용하여 과거 프레임을 기억하고 미래의 행동을 예측합니다. 최근에는 비디오 스트림에서 장기적인 의존성을 처리하는 능력으로 Video Transformers가 인기를 얻고 있습니다.
• 투스트림 네트워크(Two-Stream Networks): 이 접근 방식은 공간적 특징(RGB 프레임)과 시간적 특징(주로 optical flow 활용)을 병렬 스트림으로 처리한 후 데이터를 융합하여 최종 분류를 수행합니다.

실제 애플리케이션 사례#

인간의 움직임을 자동으로 해석하는 능력은 다양한 산업 전반에 걸쳐 혁신적인 잠재력을 지니고 있으며, 안전성, 효율성 및 사용자 경험을 향상시킵니다.

• AI in Healthcare: 행동 인식은 환자 모니터링 시스템에 매우 중요합니다. 예를 들어, 요양원에서 자동으로 낙상을 감지하여 환자가 쓰러질 경우 즉시 직원에게 경고할 수 있습니다. 또한 remote physical rehabilitation에서도 활용되며, AI 코치가 환자의 운동 자세를 분석하여 정확하고 안전하게 동작을 수행하는지 확인합니다.
• 스마트 감시 및 보안(Smart Surveillance and Security): 단순한 모션 감지를 넘어, 고급 보안 시스템은 행동 인식을 사용하여 싸움, 소매치기, 무단 침입 등의 의심스러운 행동을 식별하는 동시에 무해한 활동은 무시합니다. 이를 통해 오인 경보를 줄이고 real-time security monitoring을 향상시킵니다.

Ultralytics를 활용한 행동 분석 구현#

일반적인 워크플로에는 사람과 그들의 골격 포즈를 먼저 감지한 다음 해당 관절의 움직임을 분석하는 과정이 포함됩니다. Ultralytics YOLO26 모델은 많은 행동 인식 파이프라인의 기반이 되는 초기 포즈 추정 단계에서 최첨단 속도와 정확도를 제공합니다.

다음 예제는 Python을 사용하여 비디오 프레임에서 골격 keypoints를 추출하는 방법을 보여줍니다:

from ultralytics import YOLO

# Load the YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image to detect person keypoints
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for result in results:
    # Access the keypoints (x, y, visibility)
    if result.keypoints is not None:
        print(f"Detected keypoints shape: {result.keypoints.data.shape}")

관련 용어 구분#

올바른 방법이 적용되도록 하려면 action recognition과 유사한 컴퓨터 비전 작업을 구별하는 것이 중요합니다.

• 행동 인식 대 Object Tracking: 객체 추적은 특정 객체나 사람이 프레임 사이를 이동할 때 그 신원(예: "A씨가 좌표 X에 있음")을 유지하는 데 중점을 둡니다. 행동 인식은 추적된 피사체의 행동(예: "A씨가 달리고 있음")을 해석합니다.
• 행동 인식 대 Video Understanding: 행동 인식이 특정 신체적 행위를 식별하는 반면, 비디오 이해는 비디오 장면 내의 전체 내러티브, 맥락 및 인과 관계를 파악하는 더 포괄적인 개념입니다.

도전 과제 및 향후 트렌드#

견고한 행동 인식 모델을 개발하는 것은 특히 Kinetics-400이나 UCF101과 같이 주석이 달린 대규모 video datasets에 대한 필요성 측면에서 어려움을 야기합니다. 비디오 데이터에 레이블을 지정하는 것은 정적 이미지에 레이블을 지정하는 것보다 훨씬 더 많은 시간이 소요됩니다. 이를 해결하기 위해 Ultralytics Platform과 같은 도구는 주석 및 학습 워크플로를 간소화하는 데 도움을 줍니다.

또한 계산 효율성이 매우 중요합니다. 고해상도 비디오를 실시간으로 처리하려면 상당한 하드웨어 리소스가 필요합니다. 업계는 지연 시간과 대역폭 사용량을 줄이기 위해 카메라와 모바일 기기에서 직접 모델을 최적화하는 Edge AI로 점점 더 이동하고 있습니다. 향후 발전 방향은 model generalization을 개선하여 시스템이 명시적으로 학습되지 않은 시점에서도 행동을 인식할 수 있도록 하는 것을 목표로 합니다.