AI가 사람의 행동을 감지할 수 있을까요? 활동 인식 살펴보기

일상은 우리가 거의 의식하지 못하는 작은 움직임으로 가득합니다. 방을 가로질러 걷거나, 책상에 앉거나, 친구에게 손을 흔드는 일은 우리에게는 자연스럽고 수월해 보일 수 있지만, AI가 이를 감지하는 일은 훨씬 더 복잡합니다. 사람에게는 자연스러운 행동도 기계가 이해하려고 하면 훨씬 복잡한 문제가 됩니다.

이를 인간 행동 인식(HAR)이라고 하며, 컴퓨터가 인간 행동의 패턴을 감지하고 해석할 수 있게 합니다. 피트니스 앱은 HAR의 좋은 활용 사례입니다. 걸음 수와 운동 루틴을 추적해 AI가 일상 활동을 모니터링하는 방법을 보여줍니다.

HAR의 잠재력을 확인한 많은 산업에서 이 기술을 도입하기 시작했습니다. 실제로 인간 행동 인식 시장은 2033년까지 125억 6천만 달러를 넘어설 것으로 예상됩니다.

이러한 발전의 중요한 부분은 컴퓨터 비전이 이끌고 있습니다. 컴퓨터 비전은 이미지와 동영상 같은 시각 데이터를 기계가 분석하도록 하는 AI 분야입니다. 컴퓨터 비전과 이미지 인식을 활용하면서 HAR은 연구 개념에서 현대 AI 애플리케이션의 실용적인 요소로 발전했습니다.

이 글에서는 HAR이 무엇인지, 인간의 행동을 인식하는 데 어떤 방법이 사용되는지, 그리고 컴퓨터 비전이 실제 애플리케이션에서 AI가 인간 행동을 감지할 수 있는지라는 질문에 어떻게 답하는지 살펴보겠습니다.

인간 행동 인식이란 무엇인가요?#

인간 행동 인식을 사용하면 컴퓨터 시스템이 신체 움직임을 분석해 인간의 활동이나 행동을 이해할 수 있습니다. 이미지에서 사람을 단순히 감지하는 것과 달리, HAR은 그 사람이 무엇을 하는지 식별하는 데 도움을 줄 수 있습니다. 예를 들어 걷기와 달리기를 구분하고, 손을 흔드는 동작을 인식하거나, 누군가 넘어지는 것을 감지할 수 있습니다.

HAR의 기반은 움직임과 자세의 패턴입니다. 사람의 팔이나 다리 위치가 조금만 바뀌어도 다양한 행동을 나타낼 수 있습니다. 이러한 미묘한 세부 정보를 포착하고 해석하면 HAR 시스템은 신체 움직임에서 의미 있는 정보를 얻을 수 있습니다.

이를 위해 인간 행동 인식은 머신러닝, 딥러닝 모델, 컴퓨터 비전, 이미지 처리 등 여러 기술을 결합하여 신체 움직임을 분석하고 인간 행동을 더 정확하게 해석합니다.

그림 1. 인간 활동 인식에는 컴퓨터 과학의 여러 분야가 관여합니다(출처: cell.com)

초기 HAR 시스템은 기능이 훨씬 제한적이었습니다. 통제된 환경에서 몇 가지 단순하고 반복적인 동작만 처리할 수 있었으며, 실제 상황에서는 어려움을 겪는 경우가 많았습니다.

오늘날에는 AI와 방대한 동영상 데이터 덕분에 HAR의 정확도와 견고성이 크게 향상되었습니다. 최신 시스템은 훨씬 높은 정확도로 다양한 활동을 인식할 수 있어 의료, 보안, 인터랙티브 기기와 같은 분야에서 실용적으로 활용되고 있습니다.

인간 행동을 감지하는 다양한 방법#

인간 행동 인식이 무엇인지 살펴보았으니, 이제 기계가 인간의 행동을 감지할 수 있는 다양한 방법을 알아보겠습니다.

일반적인 방법은 다음과 같습니다:

• 센서 기반 방법: 가속도계, 웨어러블 기기, 스마트폰과 같은 스마트 기기는 인체에서 직접 신호를 수집할 수 있습니다. 이를 통해 걷기, 달리기, 심지어 가만히 서 있는 동작까지 움직임 패턴을 파악할 수 있습니다. 스마트워치의 걸음 수 측정기가 이 방법의 좋은 예입니다.
• 비전 기반 방법: 컴퓨터 비전과 결합한 카메라는 이미지와 동영상을 분석해 프레임마다 신체의 모습과 움직임을 추적합니다. 이를 통해 더 복잡한 활동을 인식할 수 있습니다. 제스처로 제어하는 TV나 게임 시스템이 이 방법을 활용합니다.
• 멀티모달 방법: 센서와 카메라를 결합해 한쪽에서 감지한 내용을 다른 쪽에서 확인할 수 있도록 하므로 더욱 신뢰할 수 있는 시스템을 구현합니다. 예를 들어 웨어러블 기기가 움직임을 감지하는 동안 카메라가 자세를 확인하는 방식은 노인 돌봄의 낙상 감지에 자주 사용됩니다.

인간 활동 인식에서 데이터셋의 역할#

모든 HAR 모델이나 시스템은 데이터셋에서 시작합니다. HAR 데이터셋은 걷기, 앉기, 손 흔들기와 같은 행동을 담은 동영상 클립, 이미지 또는 센서 데이터 등의 사례 모음입니다. 이러한 사례를 사용해 AI 모델을 학습시켜 인간 움직임의 패턴을 인식하게 하며, 학습된 모델은 실제 애플리케이션에 적용할 수 있습니다.

학습 데이터의 품질은 모델 성능에 직접적인 영향을 줍니다. 정돈되고 일관된 데이터는 시스템이 행동을 정확하게 인식하는 데 도움이 됩니다.

이 때문에 데이터셋은 학습 전에 전처리되는 경우가 많습니다. 일반적인 단계 중 하나는 정규화입니다. 정규화는 값을 일관된 기준으로 조정해 오류를 줄이고 과적합(모델이 학습 데이터에서는 잘 작동하지만 새로운 데이터에서는 어려움을 겪는 현상)을 방지합니다.

학습 데이터 이외의 환경에서 모델 성능을 측정하기 위해 연구자들은 공정한 테스트와 비교를 가능하게 하는 평가 지표와 벤치마크 데이터셋을 사용합니다. UCF101, HMDB51, Kinetics와 같은 인기 데이터 모음에는 인간 행동 감지를 위한 레이블이 지정된 동영상 클립 수천 개가 포함되어 있습니다. 센서 분야에서는 스마트폰과 웨어러블 기기에서 수집한 데이터셋이 유용한 움직임 신호를 제공해 다양한 환경에서 인식 모델의 견고성을 높입니다.

그림 2. 인간 활동 인식 데이터셋의 일부. (출처)

컴퓨터 비전이 인간 활동 인식을 지원하는 방식#

인간 행동을 감지하는 여러 방법 중 컴퓨터 비전은 빠르게 가장 인기 있고 활발히 연구되는 방법 중 하나가 되었습니다. 컴퓨터 비전의 주요 장점은 이미지와 동영상에서 풍부한 세부 정보를 직접 추출할 수 있다는 점입니다. 프레임마다 픽셀을 살펴보고 움직임 패턴을 분석하면 별도의 기기를 착용할 필요 없이 실시간으로 활동을 인식할 수 있습니다.

이미지를 분석하도록 설계된 합성곱 신경망(CNN)을 비롯한 최근 딥러닝의 발전으로 컴퓨터 비전은 더 빠르고 정확하며 신뢰성 높은 기술이 되었습니다.

예를 들어, 널리 사용되는 최첨단 컴퓨터 비전 모델인 Ultralytics YOLO11(이후 Ultralytics YOLO26이 이를 계승함)은 이러한 발전을 바탕으로 만들어졌습니다. YOLO11은 객체 감지, 인스턴스 분할, 동영상 프레임 간 사람 추적, 사람 자세 추정 등의 작업을 지원하므로 인간 행동 인식을 위한 훌륭한 도구입니다.

Ultralytics YOLO11 개요#

Ultralytics YOLO11은 속도와 정밀도를 모두 고려해 설계된 비전 AI 모델입니다. 객체 감지, 객체 추적, 자세 추정과 같은 핵심 컴퓨터 비전 작업을 지원합니다. 이러한 기능은 인간 활동 인식에 특히 유용합니다.

객체 감지는 장면 속 사람을 식별하고 위치를 찾으며, 추적은 동영상 프레임 전반에 걸친 움직임을 따라 행동의 순서를 인식하고, 자세 추정은 주요 인체 관절의 위치를 파악해 유사한 활동을 구분하거나 낙상과 같은 급격한 변화를 감지합니다.

예를 들어 모델에서 얻은 정보는 누군가 조용히 앉아 있다가 일어나고, 마지막으로 기뻐하며 팔을 들어 올리는 행동을 구분하는 데 활용할 수 있습니다. 이러한 일상적인 행동은 언뜻 보면 비슷해 보일 수 있지만, 순서대로 분석하면 의미가 크게 다릅니다.

그림 3. 자세 추정에 Ultralytics YOLO11 사용하기. (출처)

컴퓨터 비전과 HAR의 실제 적용 사례#

이어서 컴퓨터 비전 기반 인간 활동 인식이 일상생활에 영향을 미치는 실제 사용 사례에 어떻게 적용되는지 자세히 살펴보겠습니다.

의료 및 웰빙#

의료 분야에서는 움직임의 작은 변화도 환자의 상태에 대한 유용한 정보를 제공할 수 있습니다. 예를 들어 고령 환자가 비틀거리는 모습이나 재활 중 팔다리의 각도에서 위험이나 회복 정도를 파악할 수 있습니다. 이러한 징후는 건강검진과 같은 기존 방식으로는 놓치기 쉽습니다.

Ultralytics YOLO11은 자세 추정과 이미지 분석을 사용해 환자를 실시간으로 모니터링하는 데 도움이 됩니다. 낙상을 감지하고 회복 운동을 추적하며 걷기나 스트레칭과 같은 일상 활동을 관찰하는 데 사용할 수 있습니다. 센서나 웨어러블 기기 없이 시각 분석을 통해 작동하므로, 환자 진료를 지원하는 정확한 정보를 간편하게 수집할 수 있습니다.

그림 4. Ultralytics YOLO11의 자세 추정 기능을 활용한 신체 움직임 추적. (출처)

보안 및 감시#

보안 시스템은 배회, 제한 구역에서의 달리기, 갑작스러운 공격성 표출과 같은 비정상적인 인간 활동을 신속히 감지해야 합니다. 보안 요원이 모든 상황을 직접 지켜볼 수 없는 혼잡한 환경에서는 이러한 징후를 놓치는 경우가 많습니다. 이때 컴퓨터 비전과 Ultralytics YOLO11이 도움이 됩니다.

YOLO11은 의심스러운 움직임을 감지하고 즉시 알림을 전송하는 실시간 영상 감시 기능을 제공해 보안 모니터링을 더 쉽게 만듭니다. 공공장소의 군중 안전을 지원하고 사유 공간의 침입 감지 기능을 강화합니다.

이 접근 방식을 활용하면 보안 요원이 컴퓨터 비전 시스템과 협력해 의심스러운 활동에 더 빠르게 대응할 수 있습니다.

HAR에 컴퓨터 비전을 사용할 때의 장단점#

인간 활동 인식에 컴퓨터 비전을 사용할 때의 장점은 다음과 같습니다:

• 확장성: 한 번 설정하면 동일한 인식 시스템으로 여러 사람을 동시에 자동 모니터링할 수 있으므로 의료 시설, 공장, 공공장소의 자동화에 유용합니다.
• 실시간 처리: 비전 AI 솔루션을 사용하면 동영상 스트림을 실시간으로 분석해 더 빠르게 대응할 수 있습니다.
• 비침습적 추적: 웨어러블 기기나 센서와 달리 별도의 기기를 소지할 필요가 없어 자연스럽고 부담 없는 행동 분석이 가능합니다.

HAR에 컴퓨터 비전을 사용하면 많은 이점이 있지만 고려해야 할 한계도 있습니다. 다음 요소를 염두에 두세요:

• 개인정보 보호 우려: 동영상 기반 모니터링은 데이터 보호와 동의 문제를 일으킬 수 있으며, 특히 가정이나 직장과 같이 민감한 환경에서 우려가 큽니다.
• 잠재적 편향: 학습 데이터셋의 다양성이 부족하면 알고리즘이 특정 집단의 행동을 잘못 해석해 불공정하거나 부정확한 결과를 낼 수 있습니다.
• 환경 민감성: 조명이 어둡거나 배경이 복잡하거나 사람이 부분적으로 가려지면 정확도가 떨어질 수 있으므로 시스템을 신중하게 설계해야 합니다.

핵심 요점#

인공지능과 컴퓨터 비전 덕분에 기계가 인간 행동을 더 정확하고 실시간으로 인식할 수 있게 되었습니다. 동영상 프레임과 움직임 패턴을 분석해 일상적인 제스처와 갑작스러운 변화 모두를 식별할 수 있습니다. 기술이 계속 발전하면서 인간 활동 인식은 연구실을 넘어 의료, 보안, 일상적인 애플리케이션에서 실용적인 도구로 자리 잡고 있습니다.

GitHub 저장소를 방문하고 커뮤니티에 참여해 AI에 대해 자세히 알아보세요. 솔루션 페이지에서 로보틱스 분야의 AI와 제조 분야의 컴퓨터 비전에 대해 알아보세요. 비전 AI를 시작하려면 라이선스 옵션을 확인해 보세요.