Ultralytics YOLO11을 활용한 손 키포인트 추정 강화

최근 슈퍼볼의 수어 통역사들이 많은 관심을 받았습니다. TV에서 이들이 좋아하는 가수의 노래를 수어로 표현하는 모습을 볼 때, 수어를 안다면 뇌가 손의 움직임을 처리하여 그 내용을 이해할 수 있습니다. 하지만 컴퓨터가 똑같이 할 수 있다면 어떨까요? AI 기반 손 추적 솔루션 덕분에 기계가 놀라운 정확도로 손의 움직임을 추적하고 해석하는 것이 가능해졌습니다.

이러한 솔루션의 핵심에는 기계가 시각 정보를 처리하고 이해할 수 있도록 돕는 AI의 하위 분야인 컴퓨터 비전이 있습니다. 비전 AI는 이미지와 영상을 분석함으로써 객체를 탐지하고, 움직임을 추적하며, 복잡한 제스처를 놀라운 정확도로 인식하도록 돕습니다.

예를 들어, Ultralytics YOLO11과 같은 컴퓨터 비전 모델은 포즈 추정을 사용하여 실시간으로 손 키포인트를 탐지하고 분석하도록 훈련될 수 있습니다. 이를 통해 이러한 모델은 제스처 인식, 수어 번역, AR/VR 상호작용과 같은 애플리케이션에 사용될 수 있습니다.

이 글에서는 YOLO11이 어떻게 AI 기반 손 추적을 가능하게 하는지, 훈련에 사용되는 데이터셋, 그리고 손 포즈 추정을 위해 모델을 커스텀 훈련하는 방법을 알아봅니다. 또한 실제 적용 사례들도 살펴보겠습니다. 시작해 볼까요!

Link to this sectionAI 기반 손 키포인트 탐지 이해하기#

AI를 사용하면 손목, 손끝, 손가락 관절과 같은 키포인트를 식별하여 시각 데이터 내에서 손의 움직임을 인식하고 추적할 수 있습니다. 포즈 추정이라고 알려진 한 접근 방식은 키포인트를 매핑하고 시간이 지남에 따라 어떻게 변하는지 분석하여 컴퓨터가 인간의 움직임을 이해하도록 돕습니다. 이를 통해 AI 시스템은 신체 자세, 제스처, 동작 패턴을 높은 정확도로 해석할 수 있습니다.

컴퓨터 비전 모델은 이미지나 영상을 분석하여 손의 키포인트를 식별하고 움직임을 추적함으로써 이를 가능하게 합니다. 일단 이러한 포인트가 매핑되면, AI는 키포인트 간의 공간적 관계와 시간이 흐름에 따라 변화하는 방식을 분석하여 제스처를 인식할 수 있습니다.

예를 들어, 엄지와 검지 사이의 거리가 줄어들면 AI는 이를 꼬집는 동작으로 해석할 수 있습니다. 마찬가지로 키포인트가 순차적으로 어떻게 움직이는지 추적하면 복잡한 손 제스처를 식별하고 미래의 움직임을 예측하는 데 도움이 됩니다.

그림 1. 컴퓨터 비전을 사용하여 손의 키포인트를 인식하는 예시입니다.

흥미롭게도 손 추적을 위한 포즈 추정은 스마트 기기의 핸즈프리 제어부터 로봇 정밀도 향상 및 의료 애플리케이션 지원에 이르기까지 흥미로운 가능성을 열어주었습니다. AI와 컴퓨터 비전이 계속 발전함에 따라 손 추적은 일상생활에서 기술을 더 상호작용적이고 접근하기 쉬우며 직관적으로 만드는 데 더 큰 역할을 할 것입니다.

Link to this section포즈 추정을 위한 YOLO11 탐색#

AI 기반 손 추적 솔루션을 만드는 방법을 살펴보기 전에, 포즈 추정이 무엇이며 YOLO11이 이 컴퓨터 비전 작업을 어떻게 지원하는지 자세히 알아보겠습니다. 전체 객체를 식별하는 표준 객체 탐지와 달리 포즈 추정은 관절, 사지 또는 모서리와 같은 주요 랜드마크를 탐지하여 움직임과 자세를 분석하는 데 중점을 둡니다.

특히 Ultralytics YOLO11은 실시간 포즈 추정을 위해 설계되었습니다. 하향식 및 상향식 방법을 모두 활용하여 한 단계에서 효율적으로 사람을 탐지하고 키포인트를 추정하며, 속도와 정확도 면에서 이전 모델보다 뛰어난 성능을 보입니다.

YOLO11은 COCO-Pose 데이터셋으로 사전 훈련되어 제공되며 머리, 어깨, 팔꿈치, 손목, 엉덩이, 무릎, 발목을 포함한 인체의 키포인트를 인식할 수 있습니다.

그림 2. 인간 포즈 추정을 위한 YOLO11 사용.

인간 포즈 추정을 넘어 YOLO11은 생물과 무생물을 포함한 다양한 객체의 키포인트를 탐지하도록 커스텀 훈련될 수 있습니다. 이러한 유연성 덕분에 YOLO11은 광범위한 애플리케이션을 위한 훌륭한 옵션이 됩니다.

Link to this sectionHand Keypoints 데이터셋 개요#

모델을 커스텀 훈련하는 첫 번째 단계는 데이터를 수집하고 주석을 달거나 프로젝트 요구 사항에 맞는 기존 데이터셋을 찾는 것입니다. 예를 들어 Hand Keypoints 데이터셋은 손 추적 및 포즈 추정을 위한 비전 AI 모델을 훈련하는 좋은 시작점입니다. 26,768개의 주석이 달린 이미지로 수동 라벨링의 필요성을 없애줍니다.

이 데이터셋은 Ultralytics YOLO11과 같은 모델을 훈련하여 손의 움직임을 탐지하고 추적하는 방법을 빠르게 학습하도록 할 수 있습니다. 데이터셋에는 손목, 손가락, 관절을 포함하여 손당 21개의 키포인트가 포함되어 있습니다. 또한 이 데이터셋의 주석은 실시간 미디어 처리를 위한 AI 기반 솔루션을 개발하는 도구인 Google MediaPipe로 생성되어 정확하고 신뢰할 수 있는 키포인트 탐지를 보장합니다.

그림 3. Hand Keypoints 데이터셋에 포함된 21개의 키포인트.

이와 같이 구조화된 데이터셋을 사용하면 시간을 절약할 수 있으며 개발자가 데이터를 수집하고 라벨링하는 대신 모델을 훈련하고 미세 조정하는 데 집중할 수 있습니다. 실제로 이 데이터셋은 이미 훈련(18,776개 이미지)과 검증(7,992개 이미지) 서브셋으로 나뉘어 있어 모델 성능을 쉽게 평가할 수 있습니다.

Link to this section손 포즈 추정을 위해 YOLO11을 훈련하는 방법#

손 포즈 추정을 위해 YOLO11을 훈련하는 과정은 간단합니다. 특히 Ultralytics Python 패키지를 사용하면 모델 설정 및 훈련이 더 쉬워집니다. Hand Keypoints 데이터셋은 이미 훈련 파이프라인에서 지원되므로 추가 형식 변환 없이 바로 사용할 수 있어 시간과 노력을 절약할 수 있습니다.

훈련 과정은 다음과 같습니다:

• 환경 설정: 첫 번째 단계는 Ultralytics Python 패키지를 설치하는 것입니다.
• Hand Keypoints 데이터셋 로드: YOLO11은 이 데이터셋을 기본적으로 지원하므로 자동으로 다운로드하고 준비할 수 있습니다.
• 사전 훈련된 모델 사용: 사전 훈련된 YOLO11 포즈 추정 모델로 시작할 수 있으며, 이는 정확도를 높이고 훈련 과정을 가속화하는 데 도움이 됩니다.
• 모델 훈련: 모델은 여러 훈련 주기를 거치면서 손 키포인트를 탐지하고 추적하는 법을 배웁니다.
• 성능 모니터링: Ultralytics 패키지는 정확도 및 손실과 같은 주요 지표를 추적할 수 있는 내장 도구를 제공하여 모델이 시간이 지남에 따라 개선되도록 합니다.
• 저장 및 배포: 훈련이 완료되면 모델을 내보내기하여 실시간 손 추적 애플리케이션에 사용할 수 있습니다.

Link to this section커스텀 훈련된 모델 평가하기#

커스텀 모델을 만드는 단계를 거치면서 성능 모니터링이 필수적이라는 점을 알게 될 것입니다. 훈련 중 진행 상황을 추적하는 것과 더불어, 훈련 후 모델을 평가하여 손 키포인트를 정확하게 탐지하고 추적하는지 확인하는 것이 중요합니다.

정확도, 손실 값, mAP(mean average precision)와 같은 주요 성능 지표는 모델의 성능을 평가하는 데 도움이 됩니다. Ultralytics Python 패키지는 결과를 시각화하고 예측을 실제 주석과 비교할 수 있는 내장 도구를 제공하여 개선이 필요한 영역을 쉽게 파악할 수 있도록 합니다.

모델의 성능을 더 잘 이해하기 위해 훈련 로그에서 자동으로 생성되는 손실 곡선, 정밀도-재현율 그래프, 혼동 행렬과 같은 평가 그래프를 확인할 수 있습니다.

이러한 그래프는 과적합(모델이 훈련 데이터는 암기하지만 새로운 데이터는 다루기 힘들어하는 경우) 또는 과소적합(모델이 패턴을 충분히 학습하지 못해 정확하게 수행하지 못하는 경우)과 같은 문제를 식별하고 정확도를 높이기 위한 조정을 유도하는 데 도움이 됩니다. 또한 실제 시나리오에서 모델이 얼마나 잘 작동하는지 확인하기 위해 새로운 이미지나 영상으로 모델을 테스트하는 것이 중요합니다.

Link to this sectionAI 기반 손 추적 솔루션의 애플리케이션#

다음으로, Ultralytics YOLO11을 활용한 손 키포인트 추정의 가장 영향력 있는 애플리케이션 몇 가지를 살펴보겠습니다.

Link to this sectionYOLO11을 사용한 실시간 제스처 인식#

손을 흔들어 TV 볼륨을 조절하거나 공중에서 간단한 스와이프로 스마트 홈 시스템을 탐색할 수 있다고 가정해 보십시오. YOLO11 기반의 실시간 제스처 인식은 손의 움직임을 실시간으로 정확하게 탐지하여 이러한 비접촉식 상호작용을 가능하게 합니다.

이는 AI 카메라를 사용하여 손의 주요 지점을 추적하고 제스처를 명령으로 해석하는 방식으로 작동합니다. 깊이 인식 카메라, 적외선 센서 또는 일반 웹캠이 손의 움직임을 캡처하고, YOLO11은 데이터를 처리하여 다양한 제스처를 인식합니다. 예를 들어, 이러한 시스템은 노래를 바꾸기 위한 스와이프, 확대하기 위한 꼬집기, 볼륨 조절을 위한 원형 동작을 구분할 수 있습니다.

Link to this section수어 인식을 위한 AI 기반 손 키포인트 탐지#

손 추적을 위한 AI 솔루션은 청각 장애인과 수어를 모르는 사람 사이의 원활한 소통을 지원할 수 있습니다. 예를 들어, 카메라와 YOLO11이 통합된 스마트 기기를 사용하여 수어를 즉시 텍스트나 음성으로 번역할 수 있습니다.

YOLO11과 같은 발전 덕분에 수어 번역 도구는 더욱 정확하고 접근하기 쉬워지고 있습니다. 이는 보조 기술, 실시간 번역 서비스, 교육 플랫폼과 같은 애플리케이션에 영향을 미칩니다. AI는 의사소통 격차를 해소하고 직장, 학교, 공공장소에서 포용성을 증진하는 데 도움이 될 수 있습니다.

Link to this section손 추적을 위한 컴퓨터 비전: AR 및 VR 경험 개선#

컨트롤러 없이도 물체를 잡을 수 있는 가상 현실(VR) 게임을 해본 적이 있습니까? 컴퓨터 비전 기반의 손 추적은 사용자가 증강 현실(AR) 및 VR 환경에서 자연스럽게 상호작용할 수 있도록 하여 이를 가능하게 합니다.

그림 4. 손 추적은 AR 및 VR 애플리케이션의 핵심 부분입니다.

Ultralytics YOLO11과 같은 모델을 사용하여 손 키포인트를 추정하면 AI가 실시간으로 움직임을 추적하여 꼬집기, 잡기, 스와이프와 같은 제스처를 가능하게 합니다. 이는 게임, 가상 훈련, 원격 협업을 향상시켜 상호작용을 더욱 직관적으로 만듭니다. 손 추적 기술이 발전함에 따라 AR과 VR은 더욱 몰입감 있고 생생하게 느껴질 것입니다.

Link to this section핵심 요약#

Ultralytics YOLO11을 활용한 손 키포인트 추정은 AI 기반 손 추적 솔루션을 더 접근하기 쉽고 신뢰할 수 있게 만들고 있습니다. 실시간 제스처 인식부터 수어 해석 및 AR/VR 애플리케이션에 이르기까지 컴퓨터 비전은 인간과 컴퓨터 상호작용의 새로운 가능성을 열고 있습니다.

또한 간소화된 커스텀 훈련 및 미세 조정 과정을 통해 개발자가 다양한 실제 사용 사례를 위한 효율적인 모델을 구축하도록 돕고 있습니다. 컴퓨터 비전 기술이 발전함에 따라 의료, 로봇 공학, 게임, 보안과 같은 분야에서 더 많은 혁신을 기대할 수 있습니다.

저희 커뮤니티에 참여하고 GitHub 저장소에서 AI 발전에 대해 탐구해 보세요. 솔루션 페이지를 통해 제조 분야의 AI 및 의료 분야의 컴퓨터 비전이 미치는 영향력을 확인해 보세요. 저희 라이선스 플랜을 살펴보고 지금 바로 AI 여정을 시작하세요!