OpenPose란 무엇인가요? 포즈 추정의 이정표 탐색

오늘날 이미지와 카메라는 우리 휴대폰, 가정, 심지어 공공장소에 이르기까지 어디에나 존재합니다. 우리는 단순히 순간을 포착하는 용도뿐만 아니라, 주변 세계를 이해하고 상호작용하는 데 도움을 받기 위해 이것들에 의존하고 있습니다.

이면에서 computer vision은(는) 인공지능(AI)의 하위 분야로서 기계가 시각적 데이터를 해석할 수 있도록 지원하여 이를 가능하게 합니다. 이를 통해 시스템은 객체를 감지하고, 얼굴을 인식하며, 움직임을 추적할 수 있으며, 우리가 매일 사용하는 많은 기술에서 핵심적인 역할을 합니다.

최근 AI 발전 덕분에 computer vision 모델은 이제 더 복잡한 데이터와 인사이트를 분석하고 추출할 수 있습니다. 그 대표적인 예가 인간의 움직임을 이해하는 데 초점을 맞춘 computer vision 작업인 pose estimation입니다.

이는 이미지나 비디오에서 어깨, 팔꿈치, 무릎과 같은 신체의 주요 지점을 식별하는 방식으로 작동합니다. 이를 통해 사람의 움직임을 분석할 수 있게 되어 피트니스 추적, 애니메이션, 의료 등 다양한 분야에서 응용이 가능해집니다.

자세 추정을 위해 개발된 수많은 도구 중에서 OpenPose는 중요한 돌파구로 자리매김했습니다. 카네기 멜론 대학교의 Perceptual Computing Lab 연구원들이 개발한 이 시스템은 카메라만으로 실시간 다중 인원(사람당 최대 135개 키포인트)의 손, 발, 얼굴 키포인트를 포함한 전신 자세를 감지할 수 있는 최초의 오픈 소스 시스템 중 하나였습니다.

본 아티클에서는 OpenPose에 대해 알아보고, 작동 원리 및 컴퓨터 비전 분야의 이정표로서 가지는 의미를 살펴봅니다.

Fig 1. OpenPose를 활용한 다중 사용자 pose estimation.

자세 추정의 역사 살펴보기#

AI가 널리 채택되기 전에는 비디오에서 인간의 움직임을 추적하기 위해 특수 장비를 사용했습니다. film and animation 같은 산업에서는 통제된 스튜디오 환경에서 카메라가 움직임을 캡처할 수 있도록 배우들이 반사 마커가 부착된 수트를 자주 착용했습니다.

이러한 마커 기반 모션 캡처 기술은 정확했지만 비용이 많이 들고 특정 설정에 국한되었습니다. 컴퓨터 비전이 발전함에 따라 연구자들은 마커 없이 신체 움직임을 추적할 방법을 모색했습니다. 이들은 이미지에서 인간의 형태를 찾기 위해 가장자리, 윤곽선, 템플릿 등을 사용했습니다.

이러한 초기 시스템들은 단순하고 명확한 사례에서는 잘 작동했으나 실제 시나리오에서는 어려움을 겪었습니다. 사람들이 예상치 못한 방식으로 움직이거나 한 프레임에 여러 사람이 나타날 경우 결과가 좋지 않은 경우가 많았습니다.

2010년대 후반, deep learning은 pose estimation에 큰 변화를 가져왔습니다. Vision AI 모델은 인간 포즈의 대규모 데이터셋으로 학습될 수 있었습니다. 모델은 테두리와 템플릿에 의존하는 대신 수천 개의 레이블이 지정된 이미지를 학습하여 신체 관절과 구조를 인식하는 법을 배웠습니다. 이로 인해 pose estimation은 더욱 정확하고 유연해졌으며 다양한 환경에서 큰 영향을 미치게 되었습니다.

Fig 2. 2017년부터 2023년까지의 인간 pose estimation 모델 진화 과정.

OpenPose: 현대적 자세 추정이 시작된 곳#

OpenPose는 2017년에 처음 출시되었으며 단일 이미지에서 다수의 사람을 동시에 자세 추정할 수 있습니다. 기존 시스템과 달리 OpenPose는 특별한 수트나 마커가 필요 없습니다. 표준 카메라와 호환되며 이미지와 비디오를 실시간으로 처리할 수 있습니다. 이러한 기능들 덕분에 개발자와 연구자들은 자세 추정에 더욱 쉽게 접근할 수 있게 되었습니다.

OpenPose가 computer vision을 위해 다진 기반은 다른 이들이 다양한 기타 응용 프로그램을 위한 최신 아키텍처를 구축하는 데 도움을 주었습니다. 오늘날 pose estimation 작업을 지원하는 Ultralytics YOLOv8 및 Ultralytics YOLO11 같은 vision AI 모델은 더 빠른 결과와 더 낮은 지연 시간을 제공합니다.

Fig 3. pose estimation을 위한 YOLO11 활용.

하지만 자세 추정이 어떻게 발전해 왔는지 궁금하다면 OpenPose는 훌륭한 시작점입니다. 이 시스템은 오늘날 많은 최신 시스템이 여전히 의존하고 있는 핵심 아이디어들을 도입했습니다.

OpenPose의 핵심 기능#

이제 OpenPose가 중요한 이유를 더 잘 이해했으니, 실제로 무엇을 할 수 있는지 자세히 살펴보겠습니다.

OpenPose 기능의 핵심에는 keypoint detection이라는 기술이 있습니다. Keypoint는 코끝, 어깨 중심, 팔꿈치, 손목, 엉덩이, 무릎, 발목 등 인체상의 특정 랜드마크입니다. OpenPose는 손가락과 얼굴 특징 같은 세부 영역을 포함하여 사람당 최대 135개의 포인트를 감지할 수 있습니다.

이 지점들을 연결하면 인간 신체의 단순화된 표현이 형성되는데, 이를 디지털 골격이라고 생각하면 됩니다. 이 골격 윤곽은 단순히 사람이 어디에 있는지뿐만 아니라 어떻게 앉아 있는지, 서 있는지, 손을 흔드는지, 웃는지, 걷는지와 같은 자세를 보여줍니다. 컴퓨터는 우리가 타인의 보디랭귀지를 직관적으로 이해하는 것처럼 이 골격을 사용하여 인간의 움직임을 시각적으로 해석할 수 있습니다.

골격 추적은 배경 노이즈와 방해 요소를 제거하고 시스템이 오직 인간의 자세와 동작에만 집중할 수 있게 해주기 때문에 특히 유용합니다. OpenPose는 모든 픽셀을 분석하는 대신 사람이 어떻게 움직이거나 상호작용하는지를 보여주는 의미 있는 지점에 집중합니다.

일상적인 이미지나 비디오에서 이러한 구조화된 정보를 추출함으로써, OpenPose는 제스처에 반응하거나, 신체 활동을 모니터링하거나, 감정적 단서를 평가하거나, 디지털 캐릭터를 애니메이션화하는 응용 프로그램을 구축할 수 있게 합니다.

OpenPose는 어떻게 작동할까?#

시각적 입력에서 인간 신체의 키포인트를 감지하고 연결하는 OpenPose의 작동 방식 개요는 다음과 같습니다:

• 이미지로 시작: OpenPose는 사진, 비디오 또는 라이브 camera 피드에서 단일 이미지를 가져옵니다.
• 주요 신체 부위 포착: 시스템은 코, 팔꿈치, 손목, 무릎, 발목과 같은 신체 주요 지점을 찾습니다. 신체 부위가 위치할 것으로 확신하는 곳마다 표시가 됩니다.
• 부위 간 연결 파악: 다음으로, OpenPose는 키포인트들이 어떻게 연결되는지 확인합니다. 수학적 계산을 사용하여 어떤 관절이 같은 사람에게 속하는지 결정합니다. 예를 들어, 손목을 올바른 팔꿈치 및 어깨와 매칭하는 식입니다.
• 각 사람에 대한 골격 도출: 키포인트를 그룹화한 후, OpenPose는 이들을 각 사람의 자세를 나타내는 "스틱 피규어(막대 인형)"로 연결합니다. 이는 동일한 프레임에 여러 사람이 나타날 때도 작동합니다.
• 자세 데이터 반환: 마지막으로, 감지된 모든 키포인트의 정확한 위치를 제공합니다. 이는 움직임 추적, 제스처 인식, 대화형 도구 구축 등에 실시간으로 활용될 수 있습니다.

Fig 4. OpenPose를 이용한 인간 keypoint detection 및 추적.

OpenPose를 활용한 산업별 자세 추정 응용 분야#

OpenPose는 다양한 실제 사용 사례에서 pose estimation을 실용적으로 만든 최초의 고급 도구 중 하나였습니다. 오늘날 실시간 computer vision solutions에서 흔히 사용되지는 않지만, 스포츠, 엔터테인먼트, 교육, 안전 등의 분야에서 초기 작업을 형성하는 데 중요한 역할을 했습니다.

이 분야들에서 OpenPose가 어떤 도움을 주었는지 자세히 살펴보겠습니다.

피트니스 및 스포츠를 위한 OpenPose 기반 자세 추정#

야구 경기를 볼 때 투구, 스윙, 도루 등을 즉시 알아볼 수 있어 상황을 이해하기 쉽습니다. 인간으로서 우리는 신체 움직임을 직관적으로 읽고 큰 노력 없이 의미를 파악합니다. 하지만 기계가 이러한 동작을 인식하는 것은 훨씬 복잡합니다. 기계는 신체의 각 부분이 공간을 통해 어떻게 움직이는지에 대한 정확한 정보가 필요합니다.

OpenPose는 컴퓨터 비전의 이러한 영역에서 상당한 진전을 이루었습니다. 이는 다양한 환경에서 운동 형태를 분석하기 위한 실용적인 도구였습니다.

많은 연구 프로젝트에서 OpenPose를 사용하여 스윙이나 점프 같은 움직임을 분석했으며, 선수의 움직임에 따라 특정 baseball actions을 분류하기도 했습니다. 표준 비디오를 사용하는 개방형 환경에서 작동했기 때문에 연구원들은 이러한 시스템이 실제 훈련이나 코칭 시나리오에서 어떻게 작동할지 테스트할 수 있었습니다.

이러한 초기 연구는 고급 sports technology에서 현재 사용되는 성능 추적 도구의 기반을 다지는 데 기여했습니다.

Fig 5. OpenPose를 활용한 야구 동작 분류 파이프라인 살펴보기.

보안 및 안전 시스템에서 OpenPose 활용#

마찬가지로 연구원들은 OpenPose를 사용하여 비디오 기반 포즈 추적이 안전 모니터링을 어떻게 지원할 수 있는지 탐색했습니다. 공공장소에서의 낙상, 예기치 않은 제스처 또는 움직임 패턴과 같은 detecting behaviors 테스트에 사용되었습니다.

표준 카메라와 연동되기 때문에 OpenPose는 병원이나 교통 허브 같은 환경에서 초기 실험을 더 쉽게 접근할 수 있도록 만들었습니다. 이러한 연구는 감시, 낙상 감지, 응급 대응 시스템에서 현재 사용되는 newer models의 개발을 촉진하는 데 기여했습니다.

Fig 6. OpenPose로 구현된 낙상 감지.

OpenPose의 장단점#

OpenPose가 제공하는 몇 가지 이점을 간략히 소개합니다:

• 연구 및 프로토타이핑에 유용: 인간-컴퓨터 상호작용, 생체 역학, 행동 분석과 같은 분야의 학술 연구에서 널리 사용되어 왔습니다.
• 크로스 플랫폼 지원: 중앙 처리 장치(CPU)와 graphics processing units (GPUs)를 모두 지원하며 Windows, Linux, macOS에서 실행할 수 있습니다.
• 오프라인 처리 능력: 인터넷 연결 없이 환경에서 실행할 수 있어 의료나 교육과 같이 개인정보 보호가 중요한 환경에 이상적입니다.

OpenPose는 큰 진보를 이루었지만, 반드시 고려해야 할 기술적 한계도 있습니다. OpenPose와 관련된 주요 과제들은 다음과 같습니다:

• 높은 처리 요구 사항: OpenPose를 실시간으로 실행하려면 강력한 GPU와 상당한 컴퓨팅 자원이 필요합니다.
• 환경에 민감함: 조명이 어둡거나, 사람이 붐비거나, 카메라 각도가 이상적이지 않을 경우 성능이 저하될 수 있습니다.
• 최신 모델 대비 무거움: 최신 자세 추정 모델과 비교했을 때 OpenPose는 상대적으로 크고 속도가 느립니다. 스마트폰, 태블릿, 임베디드 시스템과 같이 자원이 제한된 기기에 배포하기에는 적합하지 않습니다.

핵심 요약#

OpenPose는 자세 추정을 더욱 접근 가능하게 만드는 데 중요한 역할을 했습니다. 수트나 특수 장비에 의존하지 않고도 단순한 카메라로 신체 움직임을 추적할 수 있음을 보여주었습니다.

이 시스템은 의료, 교육, 엔터테인먼트, 연구 전반에 걸쳐 많은 실용적인 응용 프로그램의 기반을 마련했습니다. 최신 모델들이 더 빠른 속도와 가벼운 성능을 제공하지만, OpenPose는 자세 추정이 어떻게 진화해 왔는지 이해하는 데 여전히 핵심적인 참조 지점으로 남아 있습니다.

AI에 대해 더 알아보려면 community에 참여하고 GitHub repository를 방문하세요. 자신만의 computer vision solutions을 구축하고자 한다면 licensing options을 살펴보세요. 또한 computer vision in healthcare와 AI in logistics가 어떻게 영향을 미치고 있는지 확인해 보세요!