Action Recognition

행동 인식은 일반적으로 인간 활동 인식 (HAR)이라고도 하며, 비디오 데이터에서 대상이 수행하는 특정 행동이나 움직임을 식별하고 분류하는 컴퓨터 비전 (CV)의 동적인 세부 분야입니다. 기존의 객체 감지가 "이미지에 무엇이 있는가?"라는 질문에 답한다면, 행동 인식은 "시간이 지남에 따라 무슨 일이 일어나고 있는가?"라는 더 복잡한 질문을 다룹니다. 정적인 이미지가 아닌 프레임 시퀀스를 분석함으로써 머신 러닝 (ML) 모델은 "걷기", "자전거 타기", "넘어지기", "악수하기"와 같은 복잡한 활동을 구분할 수 있으며, 이는 인간의 의도와 맥락을 이해하는 지능형 시스템을 구축하는 데 중요한 요소입니다.

핵심 개념 및 기법#

행동을 인식하려면 모델이 공간 정보(객체나 사람의 외형)와 시간 정보(시간에 따라 어떻게 움직이는지)를 모두 처리해야 합니다. 이를 위해 최신 인공지능 (AI) 시스템은 일반적인 합성곱 신경망 (CNNs)을 넘어서는 특수 아키텍처를 사용하는 경우가 많습니다.

• 포즈 추정: 모델이 팔꿈치, 무릎, 어깨와 같은 인체의 특정 키포인트를 추적하는 강력한 기법입니다. 이러한 키포인트의 시간에 따른 기하학적 변화는 배경의 복잡성과 관계없이 행동을 분류하는 강력한 신호를 제공합니다.
• 시간적 모델링: 알고리즘은 과거 프레임을 기억하고 미래의 행동을 예측하기 위해 순환 신경망 (RNNs)이나 장단기 메모리 (LSTM) 네트워크와 같은 구조를 활용합니다. 최근에는 비디오 스트림의 장거리 의존성을 처리할 수 있는 비디오 Transformer가 인기를 얻고 있습니다.
• 투 스트림 네트워크: 이 접근 방식은 공간 특징(RGB 프레임)과 시간 특징(주로 광학 흐름을 사용)을 병렬 스트림으로 처리하고, 데이터를 융합하여 최종 분류를 수행합니다.

실제 적용 사례#

인간의 움직임을 자동으로 해석하는 기능은 다양한 산업 분야에서 안전성, 효율성 및 사용자 경험을 향상하는 혁신적인 잠재력을 지닙니다.

• 헬스케어 분야의 AI: 행동 인식은 환자 모니터링 시스템에 필수적입니다. 예를 들어 요양원에서 환자의 낙상을 자동으로 감지하여 환자가 쓰러지면 직원에게 즉시 알릴 수 있습니다. 또한 원격 신체 재활에도 사용되며, 이 경우 AI 코치가 환자의 운동 자세를 분석하여 환자가 동작을 정확하고 안전하게 수행하는지 확인합니다.
• 스마트 감시 및 보안: 고급 보안 시스템은 단순한 움직임 감지를 넘어 행동 인식을 사용하여 싸움, 절도, 무단 침입과 같은 의심스러운 행동을 식별하면서 정상적인 활동은 무시합니다. 이를 통해 오탐을 줄이고 실시간 보안 모니터링을 개선할 수 있습니다.

Ultralytics를 활용한 행동 분석 구현#

일반적인 워크플로는 먼저 사람과 사람의 골격 포즈를 감지한 다음 해당 관절의 움직임을 분석하는 방식으로 진행됩니다. Ultralytics YOLO26 모델은 초기 포즈 추정 단계에서 최첨단 속도와 정확도를 제공하며, 이 단계는 여러 행동 인식 파이프라인의 기반이 됩니다.

다음 예제에서는 Python을 사용하여 비디오 프레임에서 골격 키포인트를 추출하는 방법을 보여줍니다.

from ultralytics import YOLO

# Load the YOLO26 pose estimation model
model = YOLO("yolo26n-pose.pt")

# Run inference on an image to detect person keypoints
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for result in results:
    # Access the keypoints (x, y, visibility)
    if result.keypoints is not None:
        print(f"Detected keypoints shape: {result.keypoints.data.shape}")

관련 용어 구분#

올바른 방법을 적용하려면 행동 인식을 유사한 컴퓨터 비전 작업과 구분하는 것이 중요합니다.

• 행동 인식과 객체 추적의 비교: 객체 추적은 특정 객체나 사람이 프레임을 가로질러 이동할 때 해당 객체나 사람의 ID를 유지하는 데 중점을 둡니다(예: "사람 A는 좌표 X에 있습니다"). 행동 인식은 추적된 대상의 행동을 해석합니다(예: "사람 A가 달리고 있습니다").
• 행동 인식과 비디오 이해의 비교: 행동 인식이 특정한 신체 동작을 식별하는 반면, 비디오 이해는 비디오 장면 전체의 서사, 맥락 및 인과 관계를 파악하는 더 광범위한 개념입니다.

과제와 향후 동향#

견고한 행동 인식 모델을 개발하려면 특히 Kinetics-400이나 UCF101과 같은 대규모 주석 비디오 데이터셋이 필요하다는 점에서 어려움이 따릅니다. 비디오 데이터에 라벨을 지정하는 작업은 정적 이미지에 라벨을 지정하는 것보다 훨씬 더 많은 시간이 소요됩니다. 이를 해결하기 위해 Ultralytics Platform과 같은 도구가 주석 및 학습 워크플로를 간소화하는 데 도움을 줍니다.

또한 계산 효율성도 매우 중요합니다. 고해상도 비디오를 실시간으로 처리하려면 상당한 하드웨어 리소스가 필요합니다. 업계는 지연 시간과 대역폭 사용량을 줄이기 위해 모델을 카메라와 모바일 기기에서 직접 실행하도록 최적화하는 Edge AI로 점점 더 전환하고 있습니다. 향후 발전은 모델 일반화를 개선하여 시스템이 명시적으로 학습하지 않은 시점에서도 행동을 인식할 수 있도록 하는 것을 목표로 합니다.