Volley는 포즈 추정, 공 탐지, 코트 분류에 Ultralytics YOLO 모델을 활용해 네 가지 스포츠에서 반응성 높은 실시간 코칭을 제공할 수 있었으며, 약 250명의 트레이너에게 시스템을 배포했습니다.
실시간 라켓 스포츠 훈련에는 여러 요소가 복합적으로 작용합니다. 실제 코트에서는 선수들이 빠르게 움직이고 공이 고속으로 날아다니며, 동일한 장비를 여러 스포츠와 코트 유형에서 사용해야 하는 경우가 많습니다.
기존의 볼 머신은 이러한 상황을 이해하지 못한 채 타이머에 따라 공을 발사할 뿐입니다. 선수가 어디에 서 있는지, 어떻게 움직이는지, 심지어 어떤 코트에 있는지도 알지 못하므로 선수에게 꼭 맞고 반응성이 뛰어나며 개인화된 코칭을 제공하기 어렵습니다.
Volley는 AI 기반 트레이너로 이러한 과제를 해결합니다. 프로그래밍 가능한 코트 내 장비는 컴퓨터 비전을 사용해 코트를 실시간으로 보고 이해합니다. 예를 들어 선수 포즈 추정, 공 탐지, 코트 분류에는 Ultralytics YOLO 모델을 사용하여 선수들이 움직이고 공을 칠 때 트레이너가 반응성 있게 상호작용할 수 있도록 합니다.
AI로 라켓 스포츠의 미래 구축#
펜실베이니아주 랭커스터에 기반을 둔 Volley는 라켓 스포츠를 위한 AI 기반 평가 및 훈련 시스템을 구축합니다. 회사는 간단한 질문에서 출발했습니다. 라켓 스포츠에도 골프만큼 흥미롭고 데이터 중심적인 훈련 및 평가 시스템이 있다면 어떨까요? 골프에는 시뮬레이터, 실시간 피드백, 객관적인 실력 향상 추적 기능이 있었지만, 라켓 스포츠에는 이에 상응하는 시스템도, 객관적인 평가도, 데이터 기반의 발전 경로도 없었습니다.
이 격차를 해소하기 위해 Volley는 세계 최초의 AI 기반 라켓 스포츠 평가 및 등급 시스템을 구축했습니다. 현재 Volley는 미국 전역의 클럽에서 사용되고 있으며, 선수와 클럽에 그동안 부족했던 객관적인 데이터를 제공합니다. 모든 장비는 미국 내에서 설계, 제작, 테스트, 출하됩니다.
그림 1. Volley의 AI 기반 트레이너 살펴보기
Volley 트레이너는 피클볼, 파델, 플랫폼 테니스, 테니스에서 사용할 수 있습니다. 작고 휴대하기 편해 동일한 장비를 어느 코트에나 옮길 수 있으며, 선수와 프로 선수는 하루 동안 여러 코트 사이에서 장비를 이동할 수 있습니다.
실시간 코트 인텔리전스의 부재#
상호작용형 훈련을 제공하려면 정확도와 속도가 모두 필요하지만 실제 코트 환경에서는 쉽지 않습니다. 선수와 카메라 사이의 거리는 달라지고, 공은 빠르게 움직이며 스포츠마다 크기도 다릅니다. 또한 동일한 트레이너를 어느 순간에는 테니스 코트에서, 다음 순간에는 플랫폼 테니스 코트에서 사용할 수 있습니다.
트레이너 앞에 사람이 있다는 사실만 알아서는 충분하지 않습니다. 시스템은 선수가 코트에서 정확히 어디에 있는지 알아야 하며, 이를 위해서는 손과 특히 발의 위치를 정확하게 파악해야 합니다. 거리가 멀어지면 이 작업은 더욱 어려워지고, 부정확한 추적은 실제 경기처럼 느껴지는 훈련에 필요한 반응성을 저하시킵니다.
안전도 고려해야 할 요소입니다. 동일한 장비를 여러 스포츠에서 사용하기 때문에 트레이너가 실수로 테니스 설정에 남아 있으면 플랫폼 테니스 코트에 있는 선수에게 시속 80마일의 공을 발사할 수 있습니다. 이는 해당 경기에서 통상 사용하는 속도보다 훨씬 빠르며 선수가 미처 대비하지 못할 정도로 빠릅니다. 이러한 설정 불일치를 방지하려면 시스템이 주변 환경을 충분히 이해해야 합니다.
이 모든 처리 작업은 실시간으로 이루어져야 합니다. Volley는 영상을 클라우드로 보내지 않고 온보드 카메라가 장착된 NVIDIA Jetson 시스템에서 비디오를 캡처하고 처리하므로, 선수들이 트레이너와 상호작용하는 동안 소형 임베디드 하드웨어에서 탐지를 실시간으로 수행해야 합니다.
Ultralytics YOLO 모델을 활용한 실시간 코칭#
Volley 시스템의 핵심은 객체 탐지, 포즈 추정, 이미지 분류와 같은 주요 컴퓨터 비전 작업을 지원하는 Ultralytics YOLO 모델 기반 비전 AI 파이프라인입니다.
Volley가 코칭 경험 전반에서 이 모델들을 활용하는 세 가지 방법은 다음과 같습니다.
- 선수와 선수의 위치 탐지: 선수의 위치와 움직임을 파악하는 기능은 YOLO의 포즈 추정 기능으로 구현되며, Volley는 코트 위 선수의 스포츠별 포즈라는 구체적인 상황에 맞춰 이를 커스텀 학습했습니다. 정확한 손과 발의 위치가 중요하므로 시스템은 2단계 접근 방식을 사용합니다. 먼저 객체 탐지로 각 선수를 정밀하게 잘라낸 다음, 해당 크롭 영역에서 포즈 추정을 수행합니다. 한 번에 수백 명의 군중이 아니라 코트에 선수가 몇 명뿐이기 때문에 이 방식이 효과적입니다.
- 공 탐지: 경기 중인 공의 위치 파악은 YOLO의 객체 탐지 지원 기능으로 가능해집니다. Volley는 지원되는 스포츠 전반에서 사용되는 다양한 공을 각기 다른 크기와 특성에 맞춰 인식하도록 모델을 학습했습니다.
- 코트 식별: 트레이너가 어떤 코트에 있는지 인식하는 기능은 YOLO의 이미지 분류 기능으로 구현됩니다. 따라서 트레이너가 테니스용으로 설정된 상태에서 플랫폼 테니스 코트로 이동하더라도 시스템이 코트 유형을 식별해 적절히 조정하므로 안전성과 편의성이 모두 향상됩니다.
탐지, 포즈 추정, 분류를 결합하면 트레이너는 실시간 인식을 바탕으로 선수들의 플레이에 반응할 수 있습니다. 현재 Volley는 프로덕션에서 Ultralytics YOLO11을 사용해 이 파이프라인을 실행하고 있습니다.
그림 2. AI 기반 Volley 트레이너의 작동 예시
Ultralytics YOLO 모델을 선택한 이유#
Ultralytics YOLO 모델은 빠르게 움직이는 코트에서 실시간 코칭에 필요한 속도와 정확도를 제공하며, 각 트레이너에 장착된 소형 임베디드 하드웨어에서도 원활하게 실행됩니다. 이러한 효율성은 클라우드에서도 유지되므로 Volley는 동일한 모델과 파이프라인을 그대로 실행할 수 있으며, 한 환경에서 개선한 사항을 다른 환경에도 적용할 수 있습니다.
이러한 성능은 추가적인 성장 여지도 만들었습니다. 하드웨어를 더 효율적으로 활용함으로써 Volley는 여유 용량을 확보했고, 이제 이를 카메라 업그레이드에 활용하여 기본 파이프라인을 변경하지 않고도 선수들이 코트에서 더 나은 경험을 할 수 있도록 하고 있습니다.
이러한 모델을 쉽게 학습하고 개선할 수 있다는 점도 중요합니다. Volley는 이미지를 수작업으로 어노테이션하는 대신 코트 세션을 녹화하고 정확히 포착해야 하는 상황을 담은 대규모 클립 라이브러리를 구축합니다.
그런 다음 트레이너에서 실시간으로 실행하기에는 너무 무거운 고성능 포즈 모델에 해당 영상을 입력해 데이터를 자동으로 라벨링합니다. 이렇게 얻은 지식은 더 빠르고 민첩한 YOLO 모델로 전달되므로, 코트 내 모델은 훨씬 무거운 모델의 학습 결과를 활용하면서도 실시간으로 실행됩니다.
Ultralytics YOLO로 네 가지 스포츠 전반에 코칭을 확장하는 Volley#
Ultralytics YOLO 모델을 기반으로 구축한 효과는 Volley가 반응성 높은 코칭을 폭넓게 제공할 수 있다는 점에서 나타납니다. 시스템은 전체적으로 약 250대의 트레이너와 카메라에 배포되었습니다. 각 장비는 온보드 하드웨어에서 실시간으로 비디오를 캡처하고 처리합니다.
하나의 트레이너로 테니스, 파델, 플랫폼 테니스, 피클볼을 모두 지원합니다. 동일한 장비를 하루 동안 여러 코트 사이에서 이동할 수 있으며, YOLO의 이미지 분류 기능 덕분에 어디로 이동하든 올바르게 작동합니다.
그림 3. Volley는 Ultralytics YOLO를 사용해 라켓 스포츠에서 선수와 공을 실시간으로 추적합니다.
이러한 실시간 인식 기능은 선수들이 실제로 경험하는 서비스의 기반이 됩니다. 20분 세션 동안 Volley의 AI는 선수의 스트로크, 움직임, 샷 선택을 평가한 다음 객관적인 Volley Skill Rating과 샷별 경기 분석을 제공합니다.
동일한 파이프라인은 선수들의 훈련 방식도 바꿉니다. 트레이너는 선수가 코트에서 서 있는 위치에 따라 공을 공급하므로, 선수는 Serve + 1과 같은 풋워크 및 패턴 훈련을 완전히 핸즈프리로 진행할 수 있습니다.
차세대 라켓 스포츠 엔지니어링#
Volley는 사업을 확장하면서 골프를 변화시킨 시스템처럼 라켓 스포츠 훈련도 측정 가능하고 데이터 중심적으로 만드는 데 집중하고 있습니다. 실시간 컴퓨터 비전과 객관적인 실력 평가를 결합하여 클럽이 단순히 코트를 운영하는 데 그치지 않고 선수 육성에 적극적으로 나서도록 지원합니다.
Ultralytics YOLO 모델은 이 작업을 계속 뒷받침하고 있습니다. Volley는 현재 프로덕션 파이프라인에 Ultralytics YOLO11을 사용하고 있으며, 더 많은 선수와 클럽에 반응성 높고 데이터가 풍부한 코칭을 제공하기 위해 차세대 실시간 비전 모델인 Ultralytics YOLO26도 이미 검토하기 시작했습니다.
비전 AI가 궁금하신가요? 프로젝트에 컴퓨터 비전을 도입할 수 있도록 라이선스 옵션을 살펴보세요. GitHub 저장소를 방문하고 커뮤니티에 참여해 보세요. 솔루션 페이지에서 로보틱스 AI와 물류 분야의 컴퓨터 비전을 살펴보세요.
