비전 AI를 활용한 공 궤적 예측 개선

좋아하는 농구 선수가 슛을 쏘면 공이 골대에 들어갈지 빗나갈지 대개 알 수 있습니다. 사람은 다양한 농구 경기를 보고 예상할 수 있는 결과를 알고 있기 때문에 이를 예측할 수 있습니다. 이제 카메라를 통해 농구 경기를 지켜보며 슛이 골대에 들어갈지 판단하려는 기계를 상상해 보세요.

훨씬 복잡한 문제입니다. 경험을 통해 발달하는 시각적 지능을 재현하는 일은 말처럼 간단하지 않습니다. 실제로 공 궤적 예측은 기계가 움직임, 회전, 각도를 분석해 공이 어디에 떨어질지 예측하는 방법을 연구하는 흥미로운 분야입니다.

그림 1. 농구 슛의 궤적. (출처)

이르면 1537년에 이탈리아의 수학자 Niccolò Tartaglia는 포탄을 45도 각도로 발사할 때 가장 멀리 날아간다는 사실을 발견했습니다. 그의 연구 결과는 오늘날 우리가 운동과 예측을 이해하는 기반이 되었습니다.

오늘날에는 컴퓨터 과학과 인공지능(AI)의 발전으로 기계가 공의 궤적을 정확하고 실시간으로 예측할 수 있습니다. AI 시스템은 공의 위치, 속도, 회전, 각도와 같은 세부 정보를 분석해 공이 어디에 떨어질지 예측할 수 있습니다. 이를 통해 선수 훈련과 경기력 분석부터 의료와 로보틱스에 이르는 다양한 분야에 활용할 수 있습니다.

특히 컴퓨터 비전은 기계가 주변 세계의 시각 정보를 해석하고 이해하도록 돕는 AI 분야입니다. 컴퓨터 비전은 시스템이 카메라나 동영상을 통해 객체를 인식하고 움직임을 추적하며 관찰한 내용을 파악할 수 있게 합니다.

공 궤적 예측에 적용하면 Ultralytics YOLO11 및 Ultralytics YOLO26과 같은 컴퓨터 비전 모델을 활용해 시스템이 프레임마다 공을 감지하고 추적하도록 할 수 있습니다. 이 시각 데이터는 각 프레임에서 공의 위치에 관한 정확한 정보를 제공하며, 이를 사용해 시간에 따른 속도와 방향을 추정할 수 있습니다. 그런 다음 AI 모델과 다양한 알고리즘이 이 데이터를 사용해 공이 다음에 어디로 이동할지 예측할 수 있습니다.

이 글에서는 공의 궤적 예측과 관련된 여러 접근 방식, 그리고 컴퓨터 비전의 역할을 살펴보겠습니다.

공 궤적 예측의 중요성#

공 궤적 예측은 흥미로운 연구 분야일 뿐 아니라 여러 분야에서 실용적이고 영향력 있는 기술의 개발을 이끌고 있습니다. 예를 들어 자율주행차에서는 궤적 예측을 통해 자동차가 다른 차량, 자전거 이용자, 보행자의 이동 경로를 미리 예측할 수 있습니다. 앞으로 몇 초 동안 이러한 이동 객체가 어디에 있을지 예측하면 자율주행 시스템은 사전에 속도를 조정하고 차선을 변경하거나 잠재적 충돌을 피함으로써 더 안전하고 효율적인 결정을 내릴 수 있습니다.

마찬가지로 로보틱스에서 공 궤적 예측을 활용하면 기계가 움직이는 객체를 높은 정밀도로 감지하고 추적하며 대응할 수 있습니다. 이는 산업용 로봇이나 배송 드론처럼 빠르게 움직이는 물체를 실시간으로 처리해야 하는 자동화 시스템에 특히 유용합니다.

공 궤적 예측의 작동 방식 개요#

그렇다면 공의 궤적을 예측하는 과정은 실제로 어떻게 작동할까요? 사용되는 방법에 따라 다릅니다. 일반적으로 모든 접근 방식은 같은 목표를 갖습니다. 공의 현재 움직임을 파악하고 다음에 어디로 이동할지 예측하는 것입니다.

사용되는 여러 접근 방식은 다음과 같습니다:

• 물리학 기반 모델링: 이 접근 방식은 운동 법칙과 공기역학을 사용해 속도, 발사 각도, 중력, 공기 저항과 같은 요소가 공의 비행 경로에 미치는 영향을 계산합니다.
• 머신러닝 모델: 이러한 모델은 방대한 움직임 데이터에서 공의 이동 패턴을 학습하므로 명시적인 물리 방정식에 의존하지 않고도 정확한 예측을 수행할 수 있습니다.
• 컴퓨터 비전 기반 예측: 이 방법은 동영상으로 프레임마다 공을 감지하고 추적하며, 알고리즘이 공의 속도, 방향, 미래 위치를 추정하는 데 도움이 되는 시각 데이터를 생성합니다.
• 센서 기반 시스템: 이러한 시스템은 움직임 센서, 레이더 또는 적외선 카메라의 데이터를 사용해 공의 위치, 속도, 회전을 실시간으로 정밀하게 측정합니다.
• 하이브리드 방법: 두 가지 이상의 기술을 결합합니다. 예를 들어 컴퓨터 비전과 물리학 기반 모델링을 통합해 더 정확하고 신뢰할 수 있는 궤적 예측을 수행합니다.

이어서 컴퓨터 비전 기반 공 궤적 예측의 작동 방식과 이를 가능하게 하는 알고리즘을 자세히 살펴보겠습니다.

공 궤적 예측의 기본#

컴퓨터 비전이 공 궤적 예측에서 어떤 역할을 하며 이러한 시스템이 어떻게 작동하는지 살펴보기 전에 기본 개념부터 알아보겠습니다.

공 궤적 예측은 일반적으로 추적과 움직임 모델링이라는 두 가지 주요 부분으로 구성됩니다. 추적 알고리즘은 동영상에서 프레임마다 공을 따라가며 공이 다음에 나타날 위치를 추정합니다. 이러한 방법은 단기 실시간 예측에 유용합니다.

반면 움직임 모델링 방법(일반적으로 물리학이나 머신러닝을 사용)은 한 단계 더 나아갑니다. 공이 떨어질 위치를 포함해 공의 전체 경로를 예측하는 것을 목표로 합니다.

간단히 말해 추적은 공의 현재 위치와 움직임을 파악하고, 모델링은 해당 정보를 사용해 공의 미래 경로와 착지 지점을 추정합니다. 두 가지를 함께 활용하면 정확한 실시간 공 궤적 예측이 가능합니다.

추적과 움직임 모델링 자세히 살펴보기#

추적과 예측의 차이가 왜 중요한지 궁금하실 수 있습니다. 이 주제를 더 자세히 살펴보면 많은 추적 알고리즘이 단순히 추적만 하는 것이 아니라는 점을 알게 됩니다. 또한 공이 다음에 나타날 위치를 단기적으로 예측합니다.

예를 들어 ByteTrack 또는 BoT-SORT와 같은 추적 알고리즘을 통해 객체 추적을 지원하는 YOLO11 같은 컴퓨터 비전 모델은 각 동영상 프레임의 탐지 데이터를 사용해 공의 다음 위치를 실시간으로 추정합니다. 이를 통해 공이 빠르게 움직이거나 일부가 가려져도 시스템이 정확한 추적을 유지할 수 있습니다.

하지만 이러한 모델은 움직임을 추적하는 데 뛰어나지만, 일반적으로 공의 전체 비행 경로나 착지 지점이 아니라 다음 위치만 예측합니다. 이때 운동 모델링 방법이 필수적입니다.

다시 말해, 컴퓨터 비전 모델만으로는 공의 궤적을 완전히 예측할 수 없습니다. 프레임별로 공의 위치를 탐지하고 추적할 수는 있지만, 중력, 회전, 항력, 공기 저항 등 공의 움직임에 영향을 주는 물리적 힘은 고려하지 않습니다.

그림 2. Ultralytics YOLO11을 사용한 공 탐지 및 세그멘테이션 예시. (출처)

정확한 장기 예측을 위해 컴퓨터 비전의 시각 데이터는 운동 모델링 방법과 결합되는 경우가 많습니다. 이러한 방법은 물리 기반 방정식이나 머신러닝 알고리즘을 사용하여 시간에 따른 공의 움직임을 분석하고 착지 지점을 포함한 전체 경로를 예측합니다.

컴퓨터 비전에서 공 추적에 사용되는 일반적인 알고리즘#

추적 알고리즘은 공 궤적 예측 시스템의 핵심 요소입니다. 추적 알고리즘은 공의 위치와 시간에 따른 움직임을 추정하면서 일시적 가림(다른 물체에 의해 공이 잠시 시야에서 가려지는 현상)과 같은 문제를 처리합니다.

이제 몇 가지 일반적인 추적 알고리즘을 살펴보겠습니다.

칼만 필터#

칼만 필터는 측정값에 잡음이 있거나 불완전한 경우에도 시간에 따른 객체의 위치와 속도를 추정하는 수학적 알고리즘입니다. 예를 들어 NASA는 비행체의 경로를 추적하고 재구성하는 데 칼만 필터를 사용해 왔습니다.

시스템은 센서 데이터를 비행체 운동 모델과 결합하여 잡음이 있는 데이터를 정제하고, 실제 비행 궤적을 정확하게 재구성하며, 비행체가 다음에 이동할 위치를 단기적으로 예측할 수 있습니다. 따라서 칼만 필터는 여러 분야에서 실시간 추적과 제어에 매우 유용합니다.

칼만 필터 자체는 컴퓨터 비전 알고리즘이 아니지만, 비전 기반 시스템에서 비디오 프레임을 따라 공과 같은 움직이는 객체를 추적하는 데 흔히 사용됩니다. 칼만 필터는 객체가 다음에 나타날 위치를 예측하고, 그 예측을 실제 탐지 데이터와 비교한 다음, 정확도를 유지하도록 추정값을 갱신합니다. 이러한 지속적인 예측 및 보정 과정 덕분에 객체가 시야에서 잠시 사라지거나 속도가 갑자기 바뀌어도 실시간 추적을 효과적으로 수행할 수 있습니다.

ByteTrack#

ByteTrack은 비디오 프레임을 따라 공과 같은 움직이는 객체를 추적하는 실시간 객체 추적 알고리즘입니다. 각 프레임에서 객체를 탐지하고 동일한 객체의 탐지 결과를 시간에 따라 연결하여 트랙릿(tracklet)이라고 하는 연속적인 시퀀스를 생성합니다.

트랙릿은 객체의 이동 경로와 움직임을 보여 주는 짧은 프레임 시퀀스입니다. 이 연결 과정을 통해 시스템은 비디오 전체에서 각 객체의 일관된 ID를 유지할 수 있습니다.

낮은 신뢰도의 탐지 결과를 버리는 이전 추적 방식과 달리 ByteTrack은 이러한 결과를 유지하고 다시 확인합니다. 따라서 객체가 빠르게 움직이거나 흐릿해지거나 잠시 가려져도 부드럽고 안정적인 추적을 유지할 수 있습니다. ByteTrack은 자체적으로 객체를 탐지하지는 않지만, 실시간으로 객체를 정확하고 안정적으로 추적하기 위해 Ultralytics YOLOv8 또는 YOLO11과 같은 컴퓨터 비전 모델과 함께 자주 사용됩니다.

BoT-SORT#

BoT-SORT는 비디오 프레임을 따라 움직이는 객체를 추적하는 시스템의 성능을 개선하는 고급 다중 객체 추적 알고리즘입니다. ByteTrack을 기반으로 카메라 움직임 보정 및 객체 재식별과 같은 주요 기능을 추가합니다.

카메라 모션 보정은 패닝이나 흔들림과 같은 카메라 움직임을 보정하고, 재식별은 객체가 화면에서 사라졌다가 다시 나타난 후에도 시스템이 같은 객체임을 인식해 추적을 이어 가도록 합니다. ByteTrack과 마찬가지로 이 기능은 YOLOv8 또는 YOLO11과 같은 모델에서 사용할 수 있도록 Ultralytics 추적 모드에서 제공됩니다.

일반적인 궤적 예측 방법#

추적이 작동하는 방식과 공의 궤적 예측과 어떻게 연결되는지 살펴보았으니, 공의 움직임을 추정하는 데 사용되는 주요 궤적 예측 알고리즘과 방법을 자세히 알아보겠습니다.

물리 기반 운동학 모델링#

물리 기반 운동학 모델링은 기본 운동 법칙을 사용하여 공의 궤적을 예측합니다. 공의 초기 속도, 발사 각도, 중력, 공기 저항, 회전과 같은 요소를 고려하여 비행 경로를 계산합니다. 모델은 이러한 요소를 결합해 특정 시점의 공 위치와 속도, 이동 방향을 추정합니다.

예를 들어 야구나 골프와 같은 스포츠에서는 스윙 속도와 발사 각도를 바탕으로 공이 얼마나 멀리, 어느 방향으로 이동할지 예측하는 데 도움이 됩니다. 통제된 환경에서는 정확도가 매우 높지만, 바람이나 바운드, 선수와의 상호작용처럼 예측하기 어려운 실제 환경에서는 성능이 저하되어 예측 오류가 발생할 수 있습니다.

컴퓨터 비전과 결합하면 물리 모델 기반 방법을 스포츠 분석과 심판 업무에 실용적으로 적용할 수 있습니다. 예를 들어 Hawk-Eye는 여러 대의 카메라를 사용하는 비전 시스템으로, 공의 3D 궤적을 실시간으로 재구성합니다.

이 시스템은 동기화된 고속 카메라 여러 대를 사용해 다양한 각도에서 공의 위치를 포착하고, 삼각 측량, 운동학 방정식 및 보간법을 적용해 경로를 추정합니다. 이러한 통합은 궤적 정확도가 라인 판정과 경기력 분석에 필수적인 테니스, 크리켓, 축구 등의 스포츠에서 정밀한 추적과 의사 결정을 지원합니다.

머신러닝 회귀 모델#

머신러닝 회귀 모델은 명시적인 물리 방정식에 의존하지 않고 공의 미래 위치나 궤적을 예측할 수 있습니다. 대신 비디오 기반 추적 시스템이나 센서로 수집한 위치, 속도, 회전, 각도 등의 데이터에서 패턴을 학습합니다.

컴퓨터 비전 추적 알고리즘과 결합하면 비전 시스템이 비디오 프레임 전체에서 공의 위치를 포착합니다. 이 위치 데이터는 회귀 모델의 입력이 되며, 회귀 모델은 시간에 따른 공의 움직임 변화를 학습합니다. 모델을 학습시키면 이미 관측한 데이터를 바탕으로 공의 다음 위치나 전체 경로를 예측할 수 있습니다.

예를 들어, 탁구 로봇 또는 핑퐁 로봇 시스템의 경우 수천 개의 추적 궤적으로 학습한 회귀 모델이 공의 비행 및 바운드 패턴을 실시간으로 예측할 수 있는 것으로 나타났습니다. 이를 통해 로봇은 위치를 조정하거나 빠르게 반응하여 탁구공을 잡거나 받아칠 수 있습니다. 이러한 모델은 실제 사례를 직접 학습하므로 순수한 물리 기반 방법보다 회전, 공기 항력, 표면 접촉과 같은 예측하기 어려운 효과를 더 잘 처리하는 경우가 많습니다.

그림 3. 탁구 로봇이 공의 궤적을 예측하는 방식. (출처)

순환 신경망(RNN) 및 장단기 메모리 네트워크(LSTM)#

순환 신경망(RNN) 및 장단기 메모리 네트워크(LSTM)는 움직임이나 기타 시계열 정보처럼 시간에 따라 변하는 데이터를 처리하도록 설계된 AI 모델입니다. 이전에 발생한 일을 기억할 수 있어 움직임 패턴을 인식하고 다음에 일어날 일을 예측하는 데 도움이 됩니다.

공 궤적 예측에서 이러한 모델은 과거 공의 위치, 속도, 회전이 다음 이동 위치에 어떤 영향을 미치는지 학습합니다. 컴퓨터 비전 및 객체 추적과 결합하면 비전 시스템이 프레임 전반에 걸친 공의 위치를 포착할 수 있습니다. 그런 다음 RNN이 이 위치 시퀀스를 사용해 공의 다음 움직임이나 전체 경로를 예측할 수 있습니다.

또한 LSTM은 더 오랜 기간 정보를 기억할 수 있어 특히 효과적입니다. 따라서 공이 빠르게 움직이거나 방향을 바꾸더라도 공의 전체 움직임을 추적할 수 있습니다.

최근 연구에서는 이 아이디어를 한층 더 발전시켰습니다. 과학자들은 선수들의 움직임과 상호작용을 분석해 팀 스포츠에서 공의 궤적을 예측할 수 있는 계층형 양방향 LSTM 모델을 개발했습니다. 이러한 모델은 선수 행동 패턴을 활용해 공이 있을 가능성이 가장 높은 위치를 추론함으로써 공이 일시적으로 가려지거나 시야에서 벗어난 경우에도 공의 위치를 추정할 수 있습니다.

공 궤적 예측의 실제 적용 사례#

컴퓨터 비전과 공 궤적 예측에 대해 더 잘 이해했으니, 스포츠, 재활, 로보틱스 등의 분야에서 실제로 어떻게 활용되는지 살펴보겠습니다.

스포츠에서의 공 궤적 예측#

공이 어떻게 움직이고 어디에 착지할지 이해하는 것은 여러 스포츠에서 매우 중요합니다. 카메라와 센서의 정보를 활용하면 AI 모델이 공의 경로와 초기 속도를 예측해 스포츠 팀이 플레이를 미리 파악하고, 기술을 향상시키며, 더 나은 의사 결정을 내리도록 지원할 수 있습니다.

또한 회전이나 릴리스 각도와 같은 요소를 분석해 선수 훈련을 지원함으로써, 선수들이 경기력을 향상하고 부상을 예방하도록 돕습니다. 오늘날 많은 최신 스포츠 훈련 시스템은 기술 개발과 전략 수립을 돕기 위해 공의 궤적 예측을 활용합니다.

예를 들어, 연구자들은 테니스 로봇이 테니스공의 경로를 감지하고 예측할 수 있는 컴퓨터 비전 시스템을 개발했습니다. 스테레오 카메라와 컨볼루션 신경망을 사용하는 이 시스템은 로봇이 공을 3차원(x축, y축, z축)으로 인식하고 경기 중 더 정확하게 대응하도록 돕습니다. 이는 선수들의 대회 준비 훈련에 유용한 도구가 될 수 있습니다.

그림 4. 빨간색은 시뮬레이션 경로를, 파란색은 로봇의 공 궤적 예측을 나타냅니다. (출처)

컴퓨터 비전 기반 공 궤적 예측의 장단점#

컴퓨터 비전 기반 공 궤적 예측 시스템을 사용하면 다음과 같은 주요 이점이 있습니다.

• 실시간 예측: 이러한 시스템은 공이 고속으로 움직이더라도 미래 경로를 즉시 정확하게 예측할 수 있습니다.
• 비침습성: 물리 센서나 마커 없이 비디오 입력만으로 작동할 수 있습니다.
• 확장성 및 적응성: 비전 기반 공 궤적 예측 시스템은 표준 카메라 설정을 사용하여 다양한 스포츠와 환경에 적용할 수 있습니다.

컴퓨터 비전 기반 공 궤적 예측에는 여러 이점이 있지만, 고려해야 할 한계도 있습니다. 다음 요소를 염두에 두어야 합니다.

• 가림 문제: 공이 선수나 다른 물체 뒤에 가려지면 예측 정확도가 떨어지는 경우가 많습니다.
• 조명 및 가시성 문제: 야간처럼 조명이 어둡거나 배경이 복잡한 환경에서는 시스템 성능이 낮아질 수 있습니다.
• 높은 연산 요구량: 높은 프레임률의 비디오와 딥러닝 모델을 처리하려면 비용이 많이 드는 고성능 하드웨어가 필요합니다.

핵심 요점#

비전 AI를 활용해 공의 궤적을 예측하려면 물리학, 컴퓨터 비전, 머신러닝을 결합해 움직임을 정확하게 이해하고 예측해야 합니다. 스포츠 경기력 분석부터 환자 회복 지원과 산업 자동화 시스템에 이르기까지, 궤적 예측은 시각 데이터를 실행 가능한 인사이트로 전환합니다. 기술이 계속 발전하면서 경기력, 안전, 의사결정을 향상하는 더 스마트하고 빠르며 적응력 높은 방법의 기반이 마련되고 있습니다.

성장하는 커뮤니티에 참여하고, 실습용 AI 리소스는 GitHub 저장소에서 살펴보세요. 지금 비전 AI를 구축하려면 라이선스 옵션을 확인하세요. 솔루션 페이지를 방문하여 농업 분야의 AI가 농업을 어떻게 변화시키고 있는지, 로보틱스 분야의 비전 AI가 미래를 어떻게 만들어 가고 있는지 알아보세요.