OpenPose란 무엇인가요? 포즈 추정의 이정표 탐색

오늘날 이미지와 카메라는 우리 휴대폰, 가정, 심지어 공공장소에 이르기까지 어디에나 존재합니다. 우리는 단순히 순간을 포착하는 용도뿐만 아니라, 주변 세계를 이해하고 상호작용하는 데 도움을 받기 위해 이것들에 의존하고 있습니다.

배후에서 인공지능(AI)의 하위 분야인 computer vision은 기계가 시각 데이터를 해석할 수 있게 함으로써 이를 가능하게 합니다. 이를 통해 시스템은 객체를 감지하고, 얼굴을 인식하며, 움직임을 추적할 수 있으며, 우리가 매일 사용하는 많은 기술에서 핵심적인 역할을 수행합니다.

최근 AI의 발전 덕분에 컴퓨터 비전 모델은 이제 더 복잡한 데이터와 통찰력을 분석하고 추출할 수 있게 되었습니다. 그중 하나가 바로 인간의 움직임을 이해하는 데 중점을 둔 컴퓨터 비전 작업인 pose estimation입니다.

이는 이미지나 비디오에서 어깨, 팔꿈치, 무릎과 같은 신체의 주요 지점을 식별하는 방식으로 작동합니다. 이를 통해 사람의 움직임을 분석할 수 있게 되어 피트니스 추적, 애니메이션, 의료 등 다양한 분야에서 응용이 가능해집니다.

자세 추정을 위해 개발된 수많은 도구 중에서 OpenPose는 중요한 돌파구로 자리매김했습니다. 카네기 멜론 대학교의 Perceptual Computing Lab 연구원들이 개발한 이 시스템은 카메라만으로 실시간 다중 인원(사람당 최대 135개 키포인트)의 손, 발, 얼굴 키포인트를 포함한 전신 자세를 감지할 수 있는 최초의 오픈 소스 시스템 중 하나였습니다.

본 아티클에서는 OpenPose에 대해 알아보고, 작동 원리 및 컴퓨터 비전 분야의 이정표로서 가지는 의미를 살펴봅니다.

Fig 1. OpenPose를 사용한 다중 인원 자세 추정.

Link to this section자세 추정의 역사 살펴보기#

AI가 널리 도입되기 전, 비디오에서 인간의 움직임을 추적하려면 특수 장비가 필요했습니다. film and animation과 같은 산업에서 배우들은 통제된 스튜디오 환경 내에서 카메라가 움직임을 포착할 수 있도록 반사 마커가 부착된 수트를 착용하곤 했습니다.

이러한 마커 기반 모션 캡처 기술은 정확했지만 비용이 많이 들고 특정 설정에 국한되었습니다. 컴퓨터 비전이 발전함에 따라 연구자들은 마커 없이 신체 움직임을 추적할 방법을 모색했습니다. 이들은 이미지에서 인간의 형태를 찾기 위해 가장자리, 윤곽선, 템플릿 등을 사용했습니다.

이러한 초기 시스템들은 단순하고 명확한 사례에서는 잘 작동했으나 실제 시나리오에서는 어려움을 겪었습니다. 사람들이 예상치 못한 방식으로 움직이거나 한 프레임에 여러 사람이 나타날 경우 결과가 좋지 않은 경우가 많았습니다.

2010년대 후반, deep learning은 자세 추정 분야에 큰 변화를 가져왔습니다. 비전 AI 모델은 방대한 인간 자세 데이터셋으로 학습될 수 있게 되었습니다. 모델은 가장자리나 템플릿에 의존하는 대신 수천 개의 레이블이 지정된 이미지를 학습하여 신체 관절과 구조를 인식하는 법을 배웠습니다. 이로써 자세 추정은 더욱 정확하고 유연해졌으며, 더 광범위한 환경에서 영향력을 발휘하게 되었습니다.

Fig 2. 2017년부터 2023년까지 인간 자세 추정 모델의 진화.

Link to this sectionOpenPose: 현대적 자세 추정이 시작된 곳#

OpenPose는 2017년에 처음 출시되었으며 단일 이미지에서 다수의 사람을 동시에 자세 추정할 수 있습니다. 기존 시스템과 달리 OpenPose는 특별한 수트나 마커가 필요 없습니다. 표준 카메라와 호환되며 이미지와 비디오를 실시간으로 처리할 수 있습니다. 이러한 기능들 덕분에 개발자와 연구자들은 자세 추정에 더욱 쉽게 접근할 수 있게 되었습니다.

OpenPose가 컴퓨터 비전을 위해 마련한 기반은 다른 사람들이 다양한 응용 프로그램을 위한 새로운 아키텍처를 구축하는 데 도움을 주었습니다. 오늘날 자세 추정 작업을 지원하는 Ultralytics YOLOv8 및 Ultralytics YOLO11과 같은 비전 AI 모델은 더 빠른 결과와 낮은 지연 시간을 제공합니다.

Fig 3. 자세 추정에 YOLO11 사용.

하지만 자세 추정이 어떻게 발전해 왔는지 궁금하다면 OpenPose는 훌륭한 시작점입니다. 이 시스템은 오늘날 많은 최신 시스템이 여전히 의존하고 있는 핵심 아이디어들을 도입했습니다.

Link to this sectionOpenPose의 핵심 기능#

이제 OpenPose가 중요한 이유를 더 잘 이해했으니, 실제로 무엇을 할 수 있는지 자세히 살펴보겠습니다.

OpenPose 기능의 핵심에는 keypoint detection이라는 것이 있습니다. 키포인트는 코끝, 어깨 중심, 팔꿈치, 손목, 엉덩이, 무릎, 발목과 같이 인체의 특정 지점을 의미합니다. OpenPose는 손가락과 얼굴 특징을 포함한 세부 영역을 포함하여 사람당 최대 135개의 지점을 감지할 수 있습니다.

이 지점들을 연결하면 인간 신체의 단순화된 표현이 형성되는데, 이를 디지털 골격이라고 생각하면 됩니다. 이 골격 윤곽은 단순히 사람이 어디에 있는지뿐만 아니라 어떻게 앉아 있는지, 서 있는지, 손을 흔드는지, 웃는지, 걷는지와 같은 자세를 보여줍니다. 컴퓨터는 우리가 타인의 보디랭귀지를 직관적으로 이해하는 것처럼 이 골격을 사용하여 인간의 움직임을 시각적으로 해석할 수 있습니다.

골격 추적은 배경 노이즈와 방해 요소를 제거하고 시스템이 오직 인간의 자세와 동작에만 집중할 수 있게 해주기 때문에 특히 유용합니다. OpenPose는 모든 픽셀을 분석하는 대신 사람이 어떻게 움직이거나 상호작용하는지를 보여주는 의미 있는 지점에 집중합니다.

일상적인 이미지나 비디오에서 이러한 구조화된 정보를 추출함으로써, OpenPose는 제스처에 반응하거나, 신체 활동을 모니터링하거나, 감정적 단서를 평가하거나, 디지털 캐릭터를 애니메이션화하는 응용 프로그램을 구축할 수 있게 합니다.

Link to this sectionOpenPose는 어떻게 작동할까?#

시각적 입력에서 인간 신체의 키포인트를 감지하고 연결하는 OpenPose의 작동 방식 개요는 다음과 같습니다:

• 이미지로 시작: OpenPose는 사진, 비디오 또는 라이브 camera 피드에서 단일 이미지를 가져옵니다.
• 주요 신체 부위 포착: 시스템은 코, 팔꿈치, 손목, 무릎, 발목과 같은 신체 주요 지점을 찾습니다. 신체 부위가 위치할 것으로 확신하는 곳마다 표시가 됩니다.
• 부위 간 연결 파악: 다음으로, OpenPose는 키포인트들이 어떻게 연결되는지 확인합니다. 수학적 계산을 사용하여 어떤 관절이 같은 사람에게 속하는지 결정합니다. 예를 들어, 손목을 올바른 팔꿈치 및 어깨와 매칭하는 식입니다.
• 각 사람에 대한 골격 도출: 키포인트를 그룹화한 후, OpenPose는 이들을 각 사람의 자세를 나타내는 "스틱 피규어(막대 인형)"로 연결합니다. 이는 동일한 프레임에 여러 사람이 나타날 때도 작동합니다.
• 자세 데이터 반환: 마지막으로, 감지된 모든 키포인트의 정확한 위치를 제공합니다. 이는 움직임 추적, 제스처 인식, 대화형 도구 구축 등에 실시간으로 활용될 수 있습니다.

Fig 4. OpenPose를 사용한 인간 키포인트 감지 및 추적.

Link to this sectionOpenPose를 활용한 산업별 자세 추정 응용 분야#

OpenPose는 다양한 실제 사용 사례에서 자세 추정을 실용화한 최초의 고급 도구 중 하나였습니다. 오늘날 실시간 computer vision solutions에서 흔히 사용되지는 않지만, 스포츠, 엔터테인먼트, 교육, 안전과 같은 분야에서 초기 연구를 형성하는 데 중요한 역할을 했습니다.

이 분야들에서 OpenPose가 어떤 도움을 주었는지 자세히 살펴보겠습니다.

Link to this section피트니스 및 스포츠를 위한 OpenPose 기반 자세 추정#

야구 경기를 볼 때 투구, 스윙, 도루 등을 즉시 알아볼 수 있어 상황을 이해하기 쉽습니다. 인간으로서 우리는 신체 움직임을 직관적으로 읽고 큰 노력 없이 의미를 파악합니다. 하지만 기계가 이러한 동작을 인식하는 것은 훨씬 복잡합니다. 기계는 신체의 각 부분이 공간을 통해 어떻게 움직이는지에 대한 정확한 정보가 필요합니다.

OpenPose는 컴퓨터 비전의 이러한 영역에서 상당한 진전을 이루었습니다. 이는 다양한 환경에서 운동 형태를 분석하기 위한 실용적인 도구였습니다.

많은 연구 프로젝트에서 OpenPose를 사용하여 스윙이나 점프와 같은 움직임을 분석하고, 선수들의 움직임에 따라 특정 baseball actions을 분류하기도 했습니다. 표준 비디오를 사용하여 개방된 환경에서 작동했기 때문에 연구자들은 이러한 시스템이 실제 훈련이나 코칭 시나리오에서 어떻게 기능할지 테스트할 수 있었습니다.

이러한 초기 연구들은 오늘날 고급 sports technology에 사용되는 성능 추적 도구들의 기반을 마련하는 데 도움이 되었습니다.

Fig 5. OpenPose를 사용한 야구 동작 분류 파이프라인.

Link to this section보안 및 안전 시스템에서 OpenPose 활용#

마찬가지로 연구자들은 비디오 기반 자세 추적이 어떻게 안전 모니터링을 지원할 수 있는지 탐구하기 위해 OpenPose를 사용했습니다. 낙상, 예상치 못한 제스처 또는 공공장소에서의 움직임 패턴과 같은 detecting behaviors 분야에서 테스트되었습니다.

OpenPose는 표준 카메라와 함께 작동했기 때문에 병원이나 교통 허브와 같은 환경에서 초기 실험을 보다 쉽게 접근할 수 있게 했습니다. 이러한 연구들은 오늘날 감시, 낙상 감지, 긴급 대응 시스템에 사용되는 newer models의 개발을 촉진하는 데 기여했습니다.

Fig 6. OpenPose로 활성화된 낙상 감지.

Link to this sectionOpenPose의 장단점#

OpenPose가 제공하는 몇 가지 이점을 간략히 소개합니다:

• 연구 및 프로토타이핑에 유용: 인간-컴퓨터 상호작용, 생체 역학, 행동 분석과 같은 분야의 학술 연구에서 널리 사용되어 왔습니다.
• 크로스 플랫폼 지원: Windows, Linux, macOS에서 실행 가능하며, 중앙 처리 장치(CPU)와 graphics processing units (GPUs)를 모두 지원합니다.
• 오프라인 처리 능력: 인터넷 연결 없이 환경에서 실행할 수 있어 의료나 교육과 같이 개인정보 보호가 중요한 환경에 이상적입니다.

OpenPose는 큰 진보를 이루었지만, 반드시 고려해야 할 기술적 한계도 있습니다. OpenPose와 관련된 주요 과제들은 다음과 같습니다:

• 높은 처리 요구 사항: OpenPose를 실시간으로 실행하려면 강력한 GPU와 상당한 컴퓨팅 자원이 필요합니다.
• 환경에 민감함: 조명이 어둡거나, 사람이 붐비거나, 카메라 각도가 이상적이지 않을 경우 성능이 저하될 수 있습니다.
• 최신 모델 대비 무거움: 최신 자세 추정 모델과 비교했을 때 OpenPose는 상대적으로 크고 속도가 느립니다. 스마트폰, 태블릿, 임베디드 시스템과 같이 자원이 제한된 기기에 배포하기에는 적합하지 않습니다.

Link to this section핵심 요약#

OpenPose는 자세 추정을 더욱 접근 가능하게 만드는 데 중요한 역할을 했습니다. 수트나 특수 장비에 의존하지 않고도 단순한 카메라로 신체 움직임을 추적할 수 있음을 보여주었습니다.

이 시스템은 의료, 교육, 엔터테인먼트, 연구 전반에 걸쳐 많은 실용적인 응용 프로그램의 기반을 마련했습니다. 최신 모델들이 더 빠른 속도와 가벼운 성능을 제공하지만, OpenPose는 자세 추정이 어떻게 진화해 왔는지 이해하는 데 여전히 핵심적인 참조 지점으로 남아 있습니다.

AI에 대해 더 알아보려면 community에 가입하고 GitHub repository를 방문하세요. 자체 컴퓨터 비전 솔루션을 구축하려면 licensing options을 확인해보세요. 또한 computer vision in healthcare와 AI in logistics가 어떻게 영향을 미치고 있는지 확인해 보시기 바랍니다!