Ultralytics YOLO11을 활용한 손 키포인트 추정 강화

최근 슈퍼볼의 수어 통역사들이 많은 관심을 받았습니다. TV에서 이들이 좋아하는 가수의 노래를 수어로 표현하는 모습을 볼 때, 수어를 안다면 뇌가 손의 움직임을 처리하여 그 내용을 이해할 수 있습니다. 하지만 컴퓨터가 똑같이 할 수 있다면 어떨까요? AI 기반 손 추적 솔루션 덕분에 기계가 놀라운 정확도로 손의 움직임을 추적하고 해석하는 것이 가능해졌습니다.

이러한 솔루션의 핵심에는 기계가 시각적 정보를 처리하고 이해할 수 있도록 하는 AI의 하위 분야인 computer vision이 있습니다. 비전 AI는 이미지와 영상을 분석하여 놀라운 정확도로 객체를 감지하고, 움직임을 추적하며, 복잡한 제스처를 인식할 수 있도록 돕습니다.

예를 들어, Ultralytics YOLO11과 같은 [computer vision models]은 포즈 추정을 사용하여 실시간으로 손 키포인트를 감지하고 분석하도록 학습될 수 있습니다. 이를 통해 이러한 모델은 제스처 인식, 수화 번역, AR/VR 상호작용 같은 애플리케이션에 활용될 수 있습니다.

본 글에서는 Ultralytics YOLO11을 통한 AI 기반 손 추적 활성화 방법, 학습에 사용된 데이터셋, 그리고 손 자세 추정을 위한 모델 custom-train 방법을 살펴봅니다. 또한 실제 적용 사례도 함께 알아봅니다. 시작하겠습니다!

AI 기반 손 키포인트 탐지 이해하기#

AI는 손목, 손끝, 손가락 관절과 같은 키포인트를 식별하여 시각 데이터 내에서 손의 움직임을 인식하고 추적하는 데 사용될 수 있습니다. pose estimation으로 알려진 접근 방식은 키포인트를 매핑하고 시간이 지남에 따라 이들이 어떻게 변화하는지 분석하여 컴퓨터가 인간의 움직임을 이해하도록 돕습니다. 이를 통해 AI 시스템은 신체 자세, 제스처, 모션 패턴을 높은 정확도로 해석할 수 있습니다.

Computer vision models은 이미지나 영상을 분석하여 손의 키포인트를 식별하고 움직임을 추적함으로써 이를 가능하게 합니다. 이러한 포인트가 매핑되면, AI는 키포인트 간의 공간적 관계와 시간 경과에 따른 변화를 분석하여 제스처를 인식할 수 있습니다.

예를 들어, 엄지와 검지 사이의 거리가 줄어들면 AI는 이를 꼬집는 동작으로 해석할 수 있습니다. 마찬가지로 키포인트가 순차적으로 어떻게 움직이는지 추적하면 복잡한 손 제스처를 식별하고 미래의 움직임을 예측하는 데 도움이 됩니다.

Fig 1. computer vision을 사용하여 손의 키포인트를 인식하는 예시.

흥미롭게도 손 추적을 위한 포즈 추정은 스마트 기기의 핸즈프리 제어부터 로봇 정밀도 향상 및 의료 애플리케이션 지원에 이르기까지 흥미로운 가능성을 열어주었습니다. AI와 컴퓨터 비전이 계속 발전함에 따라 손 추적은 일상생활에서 기술을 더 상호작용적이고 접근하기 쉬우며 직관적으로 만드는 데 더 큰 역할을 할 것입니다.

자세 추정을 위한 Ultralytics YOLO11 탐색#

AI 기반 손 추적 솔루션 구축 방법을 본격적으로 살펴보기 전에, 자세 추정의 개념과 Ultralytics YOLO11이 이 computer vision task를 지원하는 방식을 조금 더 자세히 알아보겠습니다. 전체 객체를 식별하는 표준 객체 검출과 달리, 자세 추정은 관절, 사지, 모서리 같은 주요 랜드마크를 감지하여 움직임과 자세를 분석하는 데 초점을 둡니다.

특히 Ultralytics YOLO11은 실시간 포즈 추정을 위해 설계되었습니다. 하향식 및 상향식 방법을 모두 활용하여 한 단계에서 효율적으로 사람을 탐지하고 키포인트를 추정하며, 속도와 정확도 면에서 이전 모델보다 뛰어난 성능을 보입니다.

기본적으로 Ultralytics YOLO11은 COCO-Pose dataset으로 사전 훈련되어 있으며 머리, 어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목을 포함한 인체 키포인트를 인식할 수 있습니다.

Fig 2. 인간 포즈 추정을 위해 YOLO11을 사용하는 모습.

인간 포즈 추정 외에도, Ultralytics YOLO11은 유기물과 무기물을 포함한 다양한 객체의 키포인트를 감지하도록 커스텀 학습될 수 있습니다. 이러한 유연성 덕분에 YOLO11은 광범위한 애플리케이션에 훌륭한 선택지가 됩니다.

Hand Keypoints 데이터셋 개요#

모델을 커스텀 학습하는 첫 번째 단계는 데이터를 수집하고 주석을 달거나 프로젝트 요구사항에 맞는 기존 데이터셋을 찾는 것입니다. 예를 들어, Hand Keypoints 데이터셋은 손 추정 및 포즈 추정을 위한 비전 AI 모델을 학습하는 좋은 출발점이 됩니다. 26,768개의 주석이 달린 이미지를 제공하므로 수동 라벨링 작업의 필요성을 없애줍니다.

이 데이터셋은 Ultralytics YOLO11과 같은 모델을 훈련하여 손의 움직임을 탐지하고 추적하는 방법을 빠르게 학습하도록 할 수 있습니다. 데이터셋에는 손목, 손가락, 관절을 포함하여 손당 21개의 키포인트가 포함되어 있습니다. 또한 이 데이터셋의 주석은 실시간 미디어 처리를 위한 AI 기반 솔루션을 개발하는 도구인 Google MediaPipe로 생성되어 정확하고 신뢰할 수 있는 키포인트 탐지를 보장합니다.

Fig 3. Hand Keypoints 데이터셋에 포함된 21개의 키포인트.

이와 같이 구조화된 데이터셋을 사용하면 시간을 절약할 수 있으며 개발자가 데이터를 수집하고 라벨링하는 대신 모델을 훈련하고 미세 조정하는 데 집중할 수 있습니다. 실제로 이 데이터셋은 이미 훈련(18,776개 이미지)과 검증(7,992개 이미지) 서브셋으로 나뉘어 있어 모델 성능을 쉽게 평가할 수 있습니다.

손 자세 추정을 위한 Ultralytics YOLO11 학습 방법#

손 포즈 추정을 위해 YOLO11을 학습하는 것은 간단한 과정이며, 특히 모델 설정과 학습을 더 쉽게 만들어 주는 Ultralytics Python package를 사용하면 더욱 그렇습니다. Hand Keypoints 데이터셋은 이미 학습 파이프라인에서 지원되므로 추가 포맷팅 없이 즉시 사용할 수 있어 시간과 노력을 절약할 수 있습니다.

훈련 과정은 다음과 같습니다:

• 환경 설정: 첫 번째 단계는 Ultralytics Python 패키지를 설치하는 것입니다.
• 손 키포인트 데이터셋 로드: Ultralytics YOLO11은 이 데이터셋을 기본적으로 지원하므로 자동으로 다운로드하고 준비할 수 있습니다.
• 사전 훈련된 모델 사용: 정확도를 높이고 훈련 과정을 가속화하는 데 도움이 되는 사전 훈련된 Ultralytics YOLO11 포즈 추정 모델로 시작할 수 있습니다.
• 모델 훈련: 모델은 여러 훈련 주기를 거치면서 손 키포인트를 탐지하고 추적하는 법을 배웁니다.
• 성능 모니터링: Ultralytics 패키지는 정확도 및 손실과 같은 주요 지표를 추적할 수 있는 내장 도구를 제공하여 모델이 시간이 지남에 따라 개선되도록 합니다.
• 저장 및 배포: 학습이 완료되면 모델을 exported하여 실시간 손 추정 애플리케이션에 사용할 수 있습니다.

커스텀 훈련된 모델 평가하기#

커스텀 모델을 만드는 단계를 거치면서 성능 모니터링이 필수적이라는 점을 알게 될 것입니다. 훈련 중 진행 상황을 추적하는 것과 더불어, 훈련 후 모델을 평가하여 손 키포인트를 정확하게 탐지하고 추적하는지 확인하는 것이 중요합니다.

정확도, 손실 값, mean average precision (mAP)과 같은 주요 performance metrics은 모델의 성능을 평가하는 데 도움을 줍니다. Ultralytics Python package는 결과를 시각화하고 예측 결과와 실제 주석을 비교할 수 있는 내장 도구를 제공하므로 개선이 필요한 영역을 쉽게 파악할 수 있습니다.

모델의 성능을 더 잘 이해하기 위해 훈련 로그에서 자동으로 생성되는 손실 곡선, 정밀도-재현율 그래프, 혼동 행렬과 같은 평가 그래프를 확인할 수 있습니다.

이러한 그래프는 과적합(모델이 훈련 데이터는 암기하지만 새로운 데이터는 다루기 힘들어하는 경우) 또는 과소적합(모델이 패턴을 충분히 학습하지 못해 정확하게 수행하지 못하는 경우)과 같은 문제를 식별하고 정확도를 높이기 위한 조정을 유도하는 데 도움이 됩니다. 또한 실제 시나리오에서 모델이 얼마나 잘 작동하는지 확인하기 위해 새로운 이미지나 영상으로 모델을 테스트하는 것이 중요합니다.

AI 기반 손 추적 솔루션의 애플리케이션#

다음으로, hand keypoints estimation with Ultralytics YOLO11의 가장 영향력 있는 애플리케이션 몇 가지를 살펴보겠습니다.

Ultralytics YOLO11을 활용한 실시간 제스처 인식#

손을 가볍게 흔들어 TV 볼륨을 조절하거나 공중에서 가볍게 스와이프하여 스마트홈 시스템을 탐색할 수 있다고 가정해 보세요. Ultralytics YOLO11로 구동되는 실시간 제스처 인식은 실시간으로 손 움직임을 정확하게 감지하여 이러한 비접촉 상호작용을 가능하게 합니다.

이는 AI cameras를 사용하여 손의 주요 포인트를 추적하고 제스처를 명령으로 해석하는 방식으로 작동합니다. 깊이 인식 카메라, 적외선 센서 또는 일반 웹캠이 손 움직임을 포착하며, Ultralytics YOLO11은 데이터를 처리하여 다양한 제스처를 인식할 수 있습니다. 예를 들어, 이러한 시스템은 노래를 바꾸기 위한 스와이프, 확대하기 위한 핀치, 볼륨을 조절하기 위한 원형 동작을 구분할 수 있습니다.

수어 인식을 위한 AI 기반 손 키포인트 탐지#

손 추적을 위한 AI 솔루션은 청각 장애인과 수화를 모르는 사람 간의 원활한 소통을 지원할 수 있습니다. 예를 들어, 카메라와 Ultralytics YOLO11이 통합된 스마트 기기를 사용하여 수화를 텍스트나 음성으로 즉시 번역할 수 있습니다.

Ultralytics YOLO11과 같은 발전 덕분에 수화 번역 도구의 정확도와 접근성이 높아지고 있습니다. 이는 보조 기술, 실시간 번역 서비스, 교육 플랫폼 등의 응용 분야에 영향을 미칩니다. AI는 소통의 격차를 해소하고 직장, 학교, 공공장소에서 포용성을 증진하는 데 도움을 줄 수 있습니다.

손 추적을 위한 컴퓨터 비전: AR 및 VR 경험 개선#

컨트롤러 없이도 객체를 집을 수 있는 가상현실(VR) 게임을 해본 적이 있으신가요? computer vision 기반의 손 추정은 사용자가 augmented reality (AR) 및 VR 환경에서 자연스럽게 상호작용할 수 있도록 함으로써 이를 가능하게 합니다.

Fig 4. AR 및 VR 애플리케이션의 핵심 요소인 손 추정.

Ultralytics YOLO11과 같은 모델을 사용하여 손 키포인트를 추정하면 AI가 실시간으로 움직임을 추적하여 꼬집기, 잡기, 스와이프와 같은 제스처를 가능하게 합니다. 이는 게임, 가상 훈련, 원격 협업을 향상시켜 상호작용을 더욱 직관적으로 만듭니다. 손 추적 기술이 발전함에 따라 AR과 VR은 더욱 몰입감 있고 생생하게 느껴질 것입니다.

핵심 요약#

Ultralytics YOLO11을 활용한 손 키포인트 추정은 AI 기반 손 추적 솔루션을 더 접근하기 쉽고 신뢰할 수 있게 만들고 있습니다. 실시간 제스처 인식부터 수어 해석 및 AR/VR 애플리케이션에 이르기까지 컴퓨터 비전은 인간과 컴퓨터 상호작용의 새로운 가능성을 열고 있습니다.

또한 간소화된 커스텀 훈련 및 미세 조정 과정을 통해 개발자가 다양한 실제 사용 사례를 위한 효율적인 모델을 구축하도록 돕고 있습니다. 컴퓨터 비전 기술이 발전함에 따라 의료, 로봇 공학, 게임, 보안과 같은 분야에서 더 많은 혁신을 기대할 수 있습니다.

our community에 참여하고 GitHub repository에서 AI 발전상을 살펴보세요. 솔루션 페이지를 통해 AI in manufacturing와 computer vision in healthcare의 영향력을 발견해 보세요. our licensing plans을 살펴보고 오늘 바로 AI 여정을 시작하세요!