AI가 사람의 행동을 탐지할 수 있을까요? 행동 인식 살펴보기

일상생활은 우리가 거의 멈춰서 생각해 보지 않는 작은 움직임으로 가득합니다. 방을 가로질러 걷거나, 책상에 앉거나, 친구에게 손을 흔드는 일은 우리에게는 effortless하게 느껴질 수 있지만, 이를 AI로 감지하는 일은 훨씬 복잡합니다. 인간에게 자연스러운 일이 기계가 이를 이해하려고 하면 훨씬 더 복잡한 과정으로 바뀝니다.

이러한 능력을 인간 활동 인식(HAR)이라고 하며, 컴퓨터가 인간 행동의 패턴을 감지하고 해석할 수 있도록 합니다. 피트니스 앱은 HAR이 실제로 활용되는 좋은 예입니다. 걸음 수와 운동 루틴을 추적함으로써 AI가 일상 활동을 모니터링하는 방식을 보여줍니다.

HAR의 잠재력을 확인한 많은 산업에서 이 기술을 도입하기 시작했습니다. 실제로 인간 행동 인식 시장은 2033년까지 125억 6천만 달러를 넘어설 것으로 예상됩니다.

이러한 발전의 중요한 부분은 이미지와 동영상 같은 시각 데이터를 기계가 분석할 수 있도록 하는 AI의 한 분야인 컴퓨터 비전으로 구현되고 있습니다. 컴퓨터 비전과 이미지 인식을 통해 HAR은 연구 개념에서 최첨단 AI 애플리케이션의 실용적이고 흥미로운 요소로 발전했습니다.

이 글에서는 HAR이 무엇인지, 인간의 행동을 인식하는 데 사용되는 다양한 방법, 그리고 컴퓨터 비전이 다음 질문에 답하는 데 어떻게 도움을 주는지 살펴보겠습니다. AI는 실제 애플리케이션에서 인간의 행동을 감지할 수 있을까요? 지금부터 알아보겠습니다!

인간 행동 인식이란 무엇인가요?#

인간 행동 인식을 사용하면 컴퓨터 시스템이 신체 움직임을 분석하여 인간의 활동이나 행동을 이해할 수 있습니다. 이미지에서 사람을 단순히 감지하는 것과 달리, HAR은 그 사람이 무엇을 하고 있는지 식별하는 데 도움을 줄 수 있습니다. 예를 들어 걷기와 달리기를 구분하거나, 손을 흔드는 동작을 인식하거나, 누군가 넘어지는 순간을 감지할 수 있습니다.

HAR의 기반은 움직임과 자세의 패턴에 있습니다. 사람의 팔이나 다리 위치가 조금만 바뀌어도 다양한 행동을 나타낼 수 있습니다. HAR 시스템은 이러한 미세한 세부 정보를 포착하고 해석하여 신체 움직임에서 의미 있는 인사이트를 얻을 수 있습니다.

이를 구현하기 위해 인간 행동 인식은 머신 러닝, 딥 러닝 모델, 컴퓨터 비전, 이미지 처리와 같은 여러 기술을 결합하며, 이러한 기술은 함께 작동하여 신체 움직임을 분석하고 인간의 행동을 더 높은 정확도로 해석합니다.

그림 1. 인간 활동 인식에는 컴퓨터 과학의 다양한 분야가 관련됩니다(출처: cell.com).

​​초기의 HAR 시스템은 훨씬 더 제한적이었습니다. 통제된 환경에서 몇 가지 단순하고 반복적인 행동만 처리할 수 있었으며, 실제 상황에서는 어려움을 겪는 경우가 많았습니다.

오늘날에는 AI와 방대한 양의 동영상 데이터 덕분에 HAR의 정확도와 견고성이 모두 크게 향상되었습니다. 최신 시스템은 훨씬 더 높은 정확도로 광범위한 활동을 인식할 수 있어, 이 기술은 의료, 보안, 인터랙티브 디바이스와 같은 분야에서 실용적으로 활용되고 있습니다.

인간 행동을 감지하는 다양한 방법#

이제 인간 행동 인식이 무엇인지 더 잘 이해했으므로, 기계가 인간의 행동을 감지할 수 있는 다양한 방법을 살펴보겠습니다.

일반적인 방법은 다음과 같습니다.

• 센서 기반 방법: 가속도계, 웨어러블, 스마트폰과 같은 스마트 디바이스는 인체에서 직접 신호를 포착할 수 있습니다. 이러한 신호를 통해 걷기, 달리기 또는 가만히 서 있기와 같은 움직임 패턴을 확인할 수 있습니다. 스마트워치의 걸음 수 측정기는 이 방법의 좋은 예입니다.
• 비전 기반 방법: 컴퓨터 비전과 결합된 카메라는 이미지와 동영상을 분석하여 프레임 단위로 신체의 모습과 움직임을 추적합니다. 이를 통해 더 복잡한 활동을 인식할 수 있습니다. 제스처로 제어하는 TV나 게임 시스템이 이 방법을 활용합니다.
• 멀티모달 방법: 센서와 카메라를 결합하면 한 소스가 다른 소스의 감지 결과를 확인할 수 있으므로 더욱 신뢰성 높은 시스템을 구축할 수 있습니다. 예를 들어 웨어러블이 움직임을 등록하는 동안 카메라가 자세를 확인할 수 있으며, 이러한 구성은 노인 돌봄 분야의 낙상 감지에 자주 사용됩니다.

인간 활동 인식에서 데이터셋의 역할#

모든 HAR 모델 또는 시스템에서 데이터셋은 출발점입니다. HAR 데이터셋은 걷기, 앉기, 손 흔들기와 같은 행동을 담은 동영상 클립, 이미지 또는 센서 데이터 등의 예시 모음입니다. 이러한 예시는 인간 움직임의 패턴을 인식하도록 AI 모델을 학습시키는 데 사용되며, 이후 실제 애플리케이션에 적용할 수 있습니다.

학습 데이터의 품질은 모델의 성능에 직접적인 영향을 미칩니다. 정제되고 일관된 데이터는 시스템이 행동을 정확하게 인식하기 쉽게 합니다.

따라서 데이터셋은 학습 전에 전처리되는 경우가 많습니다. 일반적인 단계 중 하나는 정규화이며, 이는 값을 일관된 방식으로 스케일링하여 오류를 줄이고 과적합(모델이 학습 데이터에서는 잘 작동하지만 새로운 데이터에서는 어려움을 겪는 현상)을 방지합니다.

모델이 학습 데이터 외에서 얼마나 잘 작동하는지 측정하기 위해 연구자들은 공정한 테스트와 비교를 가능하게 하는 평가 지표와 벤치마크 데이터셋을 사용합니다. UCF101, HMDB51, Kinetics와 같은 널리 사용되는 데이터 모음에는 인간 행동 감지를 위한 수천 개의 라벨링된 동영상 클립이 포함되어 있습니다. 센서 측면에서는 스마트폰과 웨어러블에서 수집한 데이터셋이 다양한 환경에서 인식 모델의 견고성을 높이는 유용한 움직임 신호를 제공합니다.

그림 2. 인간 활동 인식 데이터셋의 예시입니다. (출처)

컴퓨터 비전이 인간 활동 인식을 지원하는 방법#

인간의 행동을 감지하는 다양한 방법 중 컴퓨터 비전은 빠르게 가장 인기 있고 폭넓게 연구되는 방법 중 하나가 되었습니다. 컴퓨터 비전의 핵심 장점은 이미지와 동영상에서 풍부한 세부 정보를 직접 추출할 수 있다는 점입니다. 프레임 단위로 픽셀을 확인하고 움직임 패턴을 분석하면, 사람들이 추가 디바이스를 착용하지 않아도 실시간으로 활동을 인식할 수 있습니다.

이미지를 분석하도록 설계된 컨볼루션 신경망(CNNs)을 비롯한 딥 러닝의 최근 발전으로 컴퓨터 비전은 더 빠르고 정확하며 안정적으로 작동하게 되었습니다.

예를 들어 Ultralytics YOLO11과 같이 널리 사용되는 최첨단 컴퓨터 비전 모델은 이러한 발전을 기반으로 구축되었습니다. YOLO11은 객체 감지, 인스턴스 세그멘테이션, 동영상 프레임 간 사람 추적, 인간 포즈 추정과 같은 작업을 지원하므로 인간 활동 인식을 위한 훌륭한 도구입니다.

Ultralytics YOLO11 개요#

Ultralytics YOLO11은 속도와 정밀도를 모두 고려하여 설계된 비전 AI 모델입니다. 객체 감지, 객체 추적, 포즈 추정과 같은 핵심 컴퓨터 비전 작업을 지원합니다. 이러한 기능은 인간 활동 인식에 특히 유용합니다.

객체 감지는 장면 속 사람을 식별하고 위치를 찾으며, 추적은 동영상 프레임 전체에서 사람의 움직임을 따라가 행동 시퀀스를 인식합니다. 포즈 추정은 주요 인체 관절을 매핑하여 유사한 활동을 구분하거나 넘어짐과 같은 갑작스러운 변화를 감지합니다.

예를 들어 모델에서 얻은 인사이트를 통해 누군가 조용히 앉아 있다가 일어나고, 마지막으로 환호하며 팔을 들어 올리는 행동을 구분할 수 있습니다. 이러한 단순한 일상 행동은 얼핏 비슷해 보일 수 있지만, 시퀀스로 분석하면 서로 매우 다른 의미를 지닙니다.

그림 3. 포즈 추정에 Ultralytics YOLO11 사용하기. (출처)

컴퓨터 비전과 HAR의 실제 애플리케이션#

다음으로 컴퓨터 비전으로 구동되는 인간 활동 인식이 우리의 일상에 영향을 미치는 실제 사용 사례에 어떻게 적용되는지 자세히 살펴보겠습니다.

의료 및 웰빙#

의료 분야에서는 움직임의 작은 변화가 환자의 상태에 대한 유용한 인사이트를 제공할 수 있습니다. 예를 들어 고령 환자가 비틀거리거나 재활 중 팔다리의 각도가 변하는 모습은 위험이나 회복 상태를 나타낼 수 있습니다. 이러한 징후는 검진과 같은 기존 방식으로는 놓치기 쉽습니다.

Ultralytics YOLO11은 포즈 추정과 이미지 분석을 사용하여 환자를 실시간으로 모니터링하는 데 도움을 줄 수 있습니다. 낙상을 감지하고, 회복 운동을 추적하며, 걷기나 스트레칭과 같은 일상 활동을 관찰하는 데 사용할 수 있습니다. 센서나 웨어러블 디바이스 없이 시각적 분석을 통해 작동하므로, 환자 치료를 지원하는 정확한 정보를 간편하게 수집할 수 있습니다.

그림 4. 포즈 추정을 지원하는 Ultralytics YOLO11을 사용한 신체 움직임 추적. (출처)

보안 및 감시#

보안 시스템은 누군가 배회하거나, 제한 구역에서 달리거나, 갑작스러운 공격성을 보이는 등 비정상적인 인간 활동을 신속하게 감지해야 합니다. 보안 요원이 모든 상황을 수동으로 지켜볼 수 없는 혼잡한 환경에서는 이러한 징후를 놓치는 경우가 많습니다. 이때 컴퓨터 비전과 Ultralytics YOLO11이 활용됩니다.

YOLO11은 의심스러운 움직임을 감지하고 즉시 알림을 전송할 수 있는 실시간 영상 감시를 지원하여 보안 모니터링을 더욱 쉽게 합니다. 공공장소의 군중 안전을 지원하고 사유 공간의 침입 감지 기능을 강화합니다.

이러한 접근 방식을 통해 보안 요원은 컴퓨터 비전 시스템과 협력할 수 있으며, 인간과 컴퓨터의 상호작용 및 파트너십을 구축하여 의심스러운 활동에 더 빠르고 시의적절하게 대응할 수 있습니다.

HAR에 컴퓨터 비전을 사용할 때의 장단점#

인간 활동 인식에 컴퓨터 비전을 사용할 때의 장점은 다음과 같습니다.

• 확장성: 한 번 설정하면 동일한 인식 시스템으로 여러 사람을 동시에 자동 모니터링할 수 있어, 의료 시설, 공장, 공공장소의 자동화에 유용합니다.
• 실시간 처리: 비전 AI 솔루션을 사용하면 동영상 스트림을 발생하는 즉시 분석할 수 있어 더 빠르게 대응할 수 있습니다.
• 비침습적 추적: 웨어러블이나 센서와 달리 사람이 디바이스를 휴대할 필요가 없으므로 자연스럽고 편안한 행동 분석이 가능합니다.

컴퓨터 비전을 HAR에 사용하면 많은 이점이 있지만, 고려해야 할 한계도 있습니다. 다음과 같은 요소를 염두에 두어야 합니다.

• 개인정보 보호 문제: 동영상 기반 모니터링은 특히 가정이나 직장과 같이 민감한 환경에서 데이터 보호와 동의에 관한 문제를 일으킬 수 있습니다.
• 잠재적 편향: 학습 데이터셋의 다양성이 부족하면 알고리즘이 특정 집단의 행동을 잘못 해석하여 불공정하거나 부정확한 결과를 초래할 수 있습니다.
• 환경 민감성: 조명이 좋지 않거나 배경이 복잡하거나 사람이 부분적으로 가려지면 정확도가 떨어질 수 있으므로, 시스템을 신중하게 설계해야 합니다.

핵심 요점#

인공지능과 컴퓨터 비전은 기계가 인간의 행동을 더 정확하고 실시간으로 인식할 수 있도록 하고 있습니다. 이러한 시스템은 동영상 프레임과 움직임 패턴을 분석하여 일상적인 제스처와 갑작스러운 변화를 모두 식별할 수 있습니다. 기술이 계속 발전함에 따라 인간 활동 인식은 연구실을 넘어 의료, 보안 및 일상적인 애플리케이션에서 활용되는 실용적인 도구로 자리 잡고 있습니다.

GitHub 저장소를 방문하고 커뮤니티에 참여하여 AI에 대해 더 알아보세요. 로보틱스의 AI와 제조 분야의 컴퓨터 비전에 대해 알아보려면 솔루션 페이지를 확인하세요. 비전 AI를 시작하려면 라이선스 옵션을 살펴보세요.