자세 추정 도구 완벽 가이드

사람은 움직임을 본능적으로 읽습니다. 누군가 몸을 앞으로 기울이거나 고개를 돌리거나 팔을 들어 올리면 무엇을 하는지 즉시 짐작할 수 있습니다. 이는 사람들과 상호작용하고 세상을 탐색하는 방식을 형성하는, 조용하고 거의 무의식적인 능력입니다.

기술이 일상에서 차지하는 비중이 커지면서, 우리 기기도 사람처럼 자연스럽게 움직임을 이해하기를 바라는 것은 당연합니다. 특히 딥러닝 기반 기술의 발전을 비롯한 최근 인공지능의 발전이 이를 가능하게 하고 있습니다. 특히 컴퓨터 비전은 기계가 이미지와 동영상에서 의미를 추출하도록 하며 이러한 발전을 이끌고 있습니다.

예를 들어 자세 추정은 이미지나 동영상 프레임에서 사전에 정의된 신체 키포인트(예: 어깨, 팔꿈치, 엉덩이, 무릎)의 위치를 예측하는 일반적인 컴퓨터 비전 작업입니다. 이러한 키포인트를 고정된 스켈레톤 정의에 따라 연결하면 단순화된 자세 표현을 만들 수 있습니다.

Ultralytics YOLO11 및 출시 예정인 Ultralytics YOLO26과 같은 컴퓨터 비전 모델은 자세 추정과 같은 작업을 지원하며, 피트니스와 스포츠의 자세 피드백, 안전 모니터링, 인터랙티브 증강 현실 경험을 비롯한 실시간 애플리케이션에 활용할 수 있습니다.

그림 1. 자세 추정에 Ultralytics YOLO11을 사용하는 모습 (출처)

이 글에서는 자세 추정 도구를 자세히 살펴보고, 자세 추정의 작동 방식과 활용 분야, 현재 이용할 수 있는 주요 모델 및 라이브러리를 알아보겠습니다. 시작해 보겠습니다!

자세 추정이란 무엇인가요?#

자세 추정은 시스템이 이미지나 동영상에서 사람이나 객체의 위치를 이해하도록 돕는 컴퓨터 비전 기술입니다. 모든 픽셀을 똑같이 분석하는 대신 머리, 어깨, 팔꿈치, 엉덩이, 무릎, 발목과 같은 일관된 랜드마크 집합을 예측합니다.

대부분의 모델은 이러한 키포인트의 좌표와 각 예측이 정확할 가능성을 나타내는 점수를 출력합니다. 그런 다음 사전에 정의된 스켈레톤 레이아웃에 따라 키포인트를 연결하여 단순한 자세 표현을 만들 수 있습니다.

동영상에 프레임별로 적용하면 결과 키포인트를 시간에 따라 연관 지어 움직임을 추정할 수 있습니다. 이를 통해 자세 점검, 움직임 분석, 제스처 기반 상호작용과 같은 애플리케이션을 구현할 수 있습니다.

그림 2. 자세 추정 예시 (출처)

자세 추정 도구의 필요성#

인간의 움직임에는 많은 정보가 담겨 있습니다. 사람이 몸을 굽히거나 손을 뻗거나 체중을 옮기는 방식은 의도, 힘의 정도, 피로도, 심지어 부상 위험까지 드러낼 수 있습니다. 최근까지 이러한 수준의 세부 정보를 포착하려면 대개 특수 센서, 모션 캡처 슈트 또는 통제된 실험실 환경이 필요했습니다.

자세 추정은 이러한 상황을 바꿉니다. 일반적인 이미지와 동영상에서 주요 신체 랜드마크를 추출하면 컴퓨터가 표준 카메라를 사용해 움직임을 분석할 수 있습니다. 이에 따라 실제 환경에서도 움직임 분석을 더 쉽게 이용하고, 확장하며, 실용적으로 적용할 수 있습니다.

자세 추정이 영향을 미칠 수 있는 몇 가지 방법은 다음과 같습니다.

• 더 안전한 작업장: 비전 기반 시스템을 사용하면 부상이 발생하기 전에 위험한 자세, 반복성 긴장 또는 안전하지 않은 들어 올리기 동작을 감지할 수 있습니다.
• 향상된 피트니스 및 스포츠 훈련: 비전 AI 솔루션은 웨어러블 기기 없이도 자세, 균형, 기술을 실시간으로 평가하여 사용자에게 즉각적인 피드백을 제공할 수 있습니다.
• 의료 및 재활: 의료진은 간단한 동영상 녹화를 사용해 원격으로 회복 경과, 자세, 관절 가동 범위를 추적할 수 있습니다.
• 인터랙티브 경험: 자세 추정을 활용하면 디지털 아바타와 몰입형 환경이 사람의 움직임을 정확하게 따라가고 반영하기가 더 쉬워집니다.

자세 추정 알고리즘의 발전#

자세를 추정한다는 개념은 오랫동안 이어져 왔습니다. 초기 접근 방식은 단순한 기하학적 모델과 사람이 직접 설계한 규칙을 사용했으며, 일반적으로 통제된 환경에서만 작동했습니다.

예를 들어 사람을 고정된 위치에 세워 두면 시스템이 잘 작동할 수 있지만, 실제 장면에서 사람이 걷거나 몸을 돌리거나 객체와 상호작용하기 시작하면 성능이 저하될 수 있습니다. 이러한 방법은 자연스러운 움직임, 변화하는 카메라 각도, 복잡한 배경, 부분 가림에 어려움을 겪는 경우가 많았습니다.

최신 자세 추정은 이러한 문제를 처리하기 위해 딥러닝에 의존합니다. 라벨링된 대규모 데이터셋으로 합성곱 신경망을 학습시키면 모델은 서로 다른 자세, 사람, 환경에서 키포인트를 더 안정적으로 감지하는 데 도움이 되는 시각적 패턴을 학습합니다.

더 많은 사례를 학습하면 모델의 예측이 개선되고 새로운 장면에 더 잘 일반화됩니다. 이러한 발전 덕분에 자세 추정은 작업장 모니터링과 인간공학, 코치와 분석가가 선수의 움직임을 연구하는 스포츠 분석 등 다양한 실용적인 사용 사례를 지원합니다.

자세 추정 기술의 유형#

자세 추정은 환경과 측정하려는 대상에 따라 몇 가지 유형으로 나뉩니다. 다음은 주로 사용되는 유형입니다.

• 2D 자세 추정: 이 접근 방식은 2차원 이미지나 동영상 프레임에서 신체 키포인트를 감지합니다. 표준 카메라로 잘 작동하고 계산 효율성이 높아 기본적인 움직임 추적, 자세 분석, 실시간 자세 피드백과 같은 작업에 적합합니다.
• 3D 자세 추정: 이미지 좌표에 더해 깊이까지 추정하는 3D 자세 추정은 신체 움직임에 대한 공간적 이해를 제공합니다. 스포츠 분석, 재활, 생체역학, 애니메이션처럼 전후 방향의 움직임이 중요한 경우 특히 유용합니다. 구체적으로 3D 사람 자세 추정은 3D 공간에서 관절 위치와 움직임을 포착하여 2D 투영에서 발생할 수 있는 모호성을 줄입니다.
• 단일 인물 자세 추정: 이 시스템은 한 번에 한 사람을 추적하도록 설계되었습니다. 피험자가 명확하게 보이는 통제되거나 부분적으로 통제된 환경, 예를 들어 안내형 운동 애플리케이션, 화상 통화, 동작 분석 환경에서 가장 잘 작동하는 경향이 있습니다.
• 다중 인물 자세 추정: 여러 사람이 있는 장면을 대상으로 하는 이 접근 방식은 여러 사람의 자세를 동시에 감지하고 추적합니다. 피험자가 서로 겹치거나 가려질 수 있는 작업장, 체육관, 공공장소, 단체 활동과 같은 혼잡한 환경에서 특히 유용합니다.

그림 3. 3D 공간과 2D 이미지 공간에서 사람 움직임 이해하기 (출처)

사람 자세 추정 모델의 작동 방식 이해하기#

자세 추정은 다양한 종류의 객체에 적용할 수 있지만, 이해하기 쉽도록 사람 자세 추정에 초점을 맞추겠습니다.

대부분의 사람 자세 추정 시스템은 대규모 이미지 및 동영상 프레임 모음에서 주요 신체 부위에 라벨을 표시한 어노테이션 데이터셋으로 학습됩니다. 이러한 사례를 바탕으로 모델은 어깨, 팔꿈치, 엉덩이, 무릎, 발목과 같은 인체 랜드마크와 관련된 시각적 패턴을 학습하여 새로운 장면에서도 키포인트를 정확하게 예측할 수 있습니다.

또 다른 핵심 요소는 키포인트를 감지하고 이를 완전한 자세로 구성하는 방식을 결정하는 모델의 추론 아키텍처입니다. 일부 시스템은 먼저 사람을 감지한 다음 각 사람의 영역에서 키포인트를 추정하는 반면, 다른 시스템은 이미지 전체에서 키포인트를 감지한 다음 이를 사람별로 그룹화합니다. 최신 단일 단계 설계는 한 번의 처리로 자세를 예측하여 실시간 사용에 적합한 속도와 정확도의 균형을 맞출 수 있습니다.

이어서 다양한 자세 추정 접근 방식을 자세히 살펴보겠습니다.

상향식 자세 추정#

상향식 접근 방식에서 모델은 이미지 전체를 살펴보고 머리, 어깨, 팔꿈치, 엉덩이, 무릎, 발목과 같은 신체 키포인트를 먼저 찾습니다. 이 단계에서는 사람을 구분하려고 하지 않습니다. 장면 전체에서 자세 스켈레톤에 정의된 모든 키포인트 또는 신체 관절을 감지할 뿐입니다.

그런 다음 시스템은 두 번째 단계에서 점들을 연결합니다. 서로 연관된 키포인트를 연결해 사람마다 하나씩 완전한 스켈레톤으로 묶습니다. 사람을 먼저 감지할 필요가 없으므로 상향식 방법은 사람들이 겹치거나 크기가 다르거나 일부가 가려진 혼잡한 장면에서 효과적인 경우가 많습니다.

하향식 자세 감지#

반면 하향식 시스템은 먼저 이미지에서 각 사람을 감지합니다. 모든 사람 주위에 경계 상자를 배치하고, 각 상자를 분석할 독립적인 영역으로 취급합니다.

사람을 분리한 후 모델은 해당 영역 안에서 신체 키포인트를 예측합니다. 이 단계별 방식은 특히 장면에 사람이 몇 명 없고 각 사람이 명확하게 보일 때 매우 정확한 결과를 제공하는 경우가 많습니다.

단일 단계 또는 하이브리드 자세 추정#

하이브리드라고도 하는 단일 단계 모델은 한 번의 처리로 자세를 예측합니다. 사람 감지를 먼저 수행하고 두 번째로 키포인트를 추정하는 대신 사람의 위치와 신체 키포인트를 동시에 출력합니다.

모든 처리가 단일 모듈에서 이루어지므로 이러한 모델은 더 빠르고 효율적인 경우가 많아 실시간 움직임 추적 및 모션 캡처와 같은 용도에 적합합니다. Ultralytics YOLO11과 같은 모델은 이 아이디어를 바탕으로 설계되었으며 속도와 신뢰할 수 있는 키포인트 예측의 균형을 목표로 합니다.

자세 추정 모델의 학습 및 평가#

어떤 접근 방식을 사용하든 자세 추정 모델이 실제 환경에서 안정적으로 작동하려면 신중한 학습과 테스트가 필요합니다. 일반적으로 신체 키포인트에 라벨을 지정한 대규모 이미지 세트(때로는 동영상)를 사용해 학습하며, 이를 통해 다양한 자세, 카메라 각도, 환경을 처리할 수 있습니다.

잘 알려진 자세 추정 데이터셋으로는 COCO Keypoints, MPII Human Pose, CrowdPose, OCHuman이 있습니다. 이러한 데이터셋이 모델의 배포 환경을 반영하지 못하면 엔지니어는 공장, 체육관, 병원과 같은 대상 환경에서 추가 이미지를 수집하고 라벨링하는 경우가 많습니다.

그림 4. 컴퓨터 비전을 사용해 추정한 다양한 자세 (출처)

학습 후 모델의 성능을 표준 벤치마크에서 평가하여 정확도와 강건성을 측정하고, 실제 사용을 위한 추가 조정을 지원합니다. 결과는 흔히 평균 정밀도로 보고되며, 일반적으로 mAP라고 합니다. mAP는 예측 자세를 라벨링된 정답과 비교하여 다양한 신뢰도 임계값에 걸친 성능을 요약합니다.

많은 자세 벤치마크에서는 객체 키포인트 유사도(OKS)를 사용해 예측 자세를 정답 자세와 대응시킵니다. OKS는 사람의 크기와 각 키포인트의 일반적인 위치 추정 난이도 등의 요소를 고려하면서 예측 키포인트와 어노테이션된 키포인트가 얼마나 가까운지 측정합니다.

자세 모델은 감지된 사람과 개별 키포인트의 신뢰도 점수도 출력합니다. 이러한 점수는 모델의 확신 정도를 나타내며 예측의 순위를 정하고 필터링하는 데 사용됩니다. 이는 가림, 모션 블러, 특이한 카메라 각도와 같은 까다로운 조건에서 특히 중요합니다.

인기 있는 포즈 추정 도구 및 라이브러리#

오늘날 다양한 포즈 추정 도구를 사용할 수 있으며, 각 도구는 속도, 정확도, 사용 편의성 사이에서 균형을 이룹니다. 다음은 가장 널리 사용되는 도구와 라이브러리입니다.

• Ultralytics YOLO11: 최첨단 오픈 소스 비전 AI 모델로 개발된 YOLO11은 Ultralytics YOLOv8과 같은 이전 모델을 기반으로 합니다. 포즈 추정을 비롯한 다양한 컴퓨터 비전 작업을 지원하면서 속도, 정확도, 전반적인 효율성을 개선합니다. 노트북부터 엣지 디바이스까지 다양한 플랫폼에서 뛰어난 성능을 제공하는 YOLO11은 여러 실제 환경에 배포하기 좋은 선택입니다.
• Ultralytics YOLO26: 출시 예정인 차세대 모델로, 뛰어난 정확도를 유지하면서 더 가볍고 작으며 빠르게 설계되었습니다. 실시간 사용과 간편한 배포에 적합하며, 엣지 디바이스부터 대규모 시스템까지 다양한 환경에 적합한 모델 크기로 객체 탐지, 인스턴스 분할, 포즈 추정 등의 작업을 지원합니다.
• MediaPipe: 비전 및 머신러닝 파이프라인을 구축하기 위한 크로스 플랫폼 프레임워크입니다. 경량이며 모바일 디바이스, 태블릿, 웹 앱에서 효율적으로 실행되고, 전신 포즈, 얼굴 랜드마크, 손 추적을 위한 즉시 사용 가능한 솔루션과 모델을 포함합니다.
• OpenPose: 이 엔드투엔드 오픈 소스 포즈 추정 시스템은 다중 인물 키포인트 탐지로 널리 알려져 있습니다. 신체, 손, 얼굴의 키포인트를 함께 추정할 수 있으며, 연구, 애니메이션, 동작 분석 분야에서 자주 사용됩니다.
• MMPose: MMPose는 OpenMMLab 생태계의 PyTorch 기반 포즈 추정 툴킷입니다. 다양한 모델 구현, 학습 유틸리티, 구성 옵션을 제공하므로 실험과 심층적인 맞춤 설정에 유용합니다.
• HRNet 및 AlphaPose: 이들은 오래된 포즈 추정 모델이지만 오늘날에도 연구에 사용됩니다. HRNet은 네트워크 전반에서 고해상도 이미지 특징을 유지하는 포즈 모델 아키텍처로, 키포인트를 정밀하게 위치 지정하는 데 도움이 됩니다. AlphaPose는 다중 인물 포즈 추정 시스템으로 널리 사용되며, 복잡하거나 혼잡한 장면에서 높은 정확도가 필요할 때 자주 활용됩니다.

포즈 분석 및 추정의 실제 적용 사례#

포즈 추정은 일반 동영상을 유용한 움직임 인사이트로 전환하는 데 점점 더 많이 활용되고 있습니다. 이러한 시스템은 프레임마다 신체 키포인트를 추적해 카메라 피드에서 자세, 동작, 신체 행동을 추론할 수 있으므로 다양한 실제 환경에서 이 기술을 활용할 수 있습니다.

예를 들어 의료 및 재활 분야에서 포즈 추적은 치료와 회복 과정에서 환자의 움직임을 관찰하고 측정하는 데 임상의에게 도움이 될 수 있습니다. 일반 동영상 녹화본에서 신체 랜드마크를 추출하면 시간 경과에 따른 자세, 관절 가동 범위, 전반적인 움직임 패턴을 평가하는 데 사용할 수 있습니다. 이러한 측정값은 기존의 임상 평가를 보완하고 최적화할 수 있으며, 경우에 따라 웨어러블 센서나 특수 장비 없이도 진행 상황을 더 쉽게 추적할 수 있습니다.

마찬가지로 스포츠 및 방송 분야에서 포즈 추정은 동영상 피드만으로 선수의 움직임을 분석할 수 있습니다. 흥미로운 사례로는 프로 스포츠의 심판 판정 및 방송 그래픽에 사용되는 카메라 기반 추적 시스템인 Hawk-Eye가 있습니다. 또한 카메라 영상에서 선수의 신체 키포인트를 추정해 골격을 추적합니다.

적합한 포즈 추정 도구 선택하기#

적합한 포즈 추정 도구를 선택하려면 먼저 컴퓨터 비전 프로젝트의 요구 사항을 파악해야 합니다. 일부 애플리케이션은 실시간 속도를 우선시하는 반면, 다른 애플리케이션에는 더 높은 정확도와 세밀함이 필요합니다.

대상 배포 디바이스도 중요한 요소입니다. 모바일 앱과 엣지 디바이스에는 일반적으로 경량의 효율적인 모델이 필요하며, 대규모 모델은 서버나 클라우드 환경에 더 적합한 경우가 많습니다.

이와 더불어 사용 편의성도 고려할 수 있습니다. 우수한 문서, 원활한 배포, 커스텀 학습 지원은 프로젝트를 간소화할 수 있습니다.

간단히 말해, 도구마다 강점을 발휘하는 분야가 다릅니다. 예를 들어 Ultralytics YOLO models은 다양한 실제 포즈 추정 애플리케이션에 속도, 정확도, 배포 편의성의 실용적인 균형을 제공합니다.

그림 5. Ultralytics YOLO11을 사용한 동물 포즈 추정 (출처)

핵심 요점#

포즈 추정은 이미지와 동영상에서 신체 키포인트를 탐지해 컴퓨터가 사람의 움직임을 이해하도록 돕습니다. YOLO11 및 YOLO26과 같은 모델을 사용하면 스포츠, 의료, 작업장 안전, 인터랙티브 경험 등의 분야에서 실시간 애플리케이션을 더 쉽게 구축할 수 있습니다. 모델이 계속 더 빠르고 정확해짐에 따라 포즈 추정은 여러 비전 AI 시스템에서 흔히 사용되는 기능이 될 가능성이 높습니다.

AI에 대해 더 알고 싶으신가요? 커뮤니티와 GitHub 저장소를 확인해 보세요. 솔루션 페이지에서 로보틱스 분야의 AI와 제조 분야의 컴퓨터 비전에 대해 알아보세요. 라이선스 옵션을 살펴보고 지금 컴퓨터 비전 개발을 시작해 보세요!