컴퓨터 비전에서 FPS의 역할 이해

스포츠 경기에서 좋아하는 순간을 슬로우 모션으로 다시 볼 때의 모든 세부 정보가 선명하게 보이는 것과, 일반적으로 끊김이 많고 따라가기 어려운 감시 카메라 영상을 보는 것은 매우 다릅니다. 이러한 차이의 핵심 기술 요소는 FPS(Frames Per Second, 초당 프레임 수)이며, 이는 비디오에서 1초당 표시되는 프레임 수를 의미합니다. 높은 FPS는 부드럽고 생생한 움직임을 나타내는 반면, 낮은 FPS는 끊기고 상세 정보가 부족한 영상으로 이어질 수 있습니다.

이 개념은 기계가 인간과 유사한 방식으로 시각 데이터를 해석하고 분석할 수 있게 하는 AI의 한 분야인 컴퓨터 비전에 직접적인 영향을 미칩니다. 컴퓨터 비전에서 높은 FPS는 시스템이 1초마다 더 많은 정보를 캡처할 수 있음을 의미하며, 실시간 객체 탐지 및 추적의 정확도를 향상시킵니다.

이 글에서는 FPS의 기술적 측면과 컴퓨터 비전 애플리케이션과의 관계를 살펴봅니다. 시작해 보겠습니다!

Link to this section컴퓨터 비전에서 FPS란 무엇일까요?#

레이싱 게임을 하고 있다고 가정해 봅시다. 60 FPS에서는 모든 회전이 부드럽고 반응이 빠르지만, 20 FPS에서는 컨트롤이 지연되어 장애물을 피하기가 더 어려워집니다. 간단히 말해, FPS를 1초당 보여지는 정지 이미지의 수라고 생각할 수 있습니다. 초당 더 많은 이미지가 보일수록 움직임이 부드럽고 자연스럽게 느껴지며, 적은 경우에는 움직임이 끊겨 보일 수 있습니다.

게임과 마찬가지로 FPS는 컴퓨터 비전 애플리케이션의 핵심 요소입니다. 높은 FPS는 Vision AI를 사용하여 객체를 원활하게 추적할 수 있게 해주며, 낮은 FPS는 세부 정보를 놓칠 수 있습니다.

예를 들어 스포츠 분석에서 AI 기반 카메라는 빠른 패스, 선수 움직임, 공의 궤적을 추적하기 위해 더 높은 FPS가 필요합니다. FPS가 낮으면 중요한 발과 공의 접촉이나 급격한 방향 전환을 놓쳐 분석 정확도에 영향을 줄 수 있습니다.

마찬가지로 교통 모니터링 분야에서도 시스템은 과속 차량과 차선 변경을 실시간으로 감지하기 위해 높은 FPS에 의존합니다. 적절한 FPS를 선택하는 것은 성능, 효율성, 시각적 선명함의 균형을 맞추며 각 컴퓨터 비전 애플리케이션의 특정 요구 사항에 따라 달라집니다.

Fig 1. 다양한 프레임 속도 비교.

Link to this section컴퓨터 비전에서 FPS의 기술적 측면#

FPS가 무엇이고 컴퓨터 비전에서 어떻게 사용되는지 논의했으므로, 이제 FPS 계산 방법을 시작으로 기술적인 측면을 자세히 살펴보겠습니다.

총 프레임 수를 초 단위의 지속 시간으로 나누면 비디오의 FPS가 계산됩니다. 예를 들어, 4초 동안 96개의 프레임이 있는 비디오는 24 FPS로 계산되며, 이는 매초 24개의 이미지가 표시된다는 의미입니다. 반면 4초 동안 32개의 프레임은 8 FPS가 됩니다. OpenCV와 같은 Python 라이브러리를 사용하면 비디오 메타데이터를 추출하고 프레임 수를 계산하며 자동으로 FPS를 산출하여 비디오 분석 과정을 효율화할 수 있습니다.

Fig 2. 24 FPS vs 8 FPS vs 4 FPS.

Link to this section비디오의 FPS에 영향을 미치는 요소#

하지만 컴퓨터 비전 솔루션을 개발할 때 FPS를 계산하는 것만으로는 기술적인 의사결정을 내리기에 충분하지 않습니다. 하드웨어 성능, 소프트웨어 최적화, 환경 조건 등 유효 프레임 속도에 영향을 줄 수 있는 다양한 요소를 고려하는 것도 중요합니다.

이러한 요소를 더 자세히 살펴보겠습니다.

• 하드웨어 성능: 카메라 센서의 품질과 장치의 처리 성능은 초당 캡처되는 프레임 수를 결정할 수 있습니다. 더 좋은 하드웨어는 일반적으로 더 높은 FPS와 더 부드러운 영상을 지원합니다.
• 소프트웨어 최적화: 효율적인 비디오 인코딩 및 처리 소프트웨어는 프레임을 빠르게 추출하고 분석하도록 돕습니다. 이는 불필요한 지연 없이 비디오가 처리되도록 합니다.
• 환경 조건: 장면의 조명과 움직임은 프레임이 얼마나 선명하게 캡처되는지에 영향을 줍니다. 좋은 조명과 적절한 움직임은 FPS를 개선할 수 있으며, 열악한 조건에서는 선명도를 유지하기 위해 더 높은 FPS가 필요할 수 있습니다.
• 저장 공간 필요량: 높은 FPS는 초당 더 많은 프레임을 캡처하므로 파일 크기가 더 커집니다. 이는 저장 공간 요구 사항을 증가시키며 원활한 재생을 위해 더 빠른 데이터 처리를 요구합니다.

Link to this section컴퓨터 비전 애플리케이션에서 FPS 탐색하기#

AI models like Ultralytics YOLO11 that support real-time computer vision tasks can be used to analyze videos with high frame rates. This real-time capability is critical for applications such as autonomous driving, surveillance, and robotics, where even small delays can lead to significant errors.

높은 FPS가 정확도와 성능에 필수적인 실제 Vision AI 애플리케이션 사례를 살펴보겠습니다.

Link to this section감시 및 보안 솔루션을 위한 높은 프레임 속도#

고속도로와 같이 교통량이 많은 지역을 모니터링하는 감시 시스템은 높은 FPS를 사용하여 세부 사항을 캡처하고 빠르게 움직이는 차량을 선명하게 기록합니다. 이러한 선명함은 양질의 영상에 의존하여 차량을 정확하게 식별하는 자동차 번호판 자동 인식(ANPR) 시스템에 필수적입니다.

이러한 시스템에서는 YOLO11과 같은 모델을 사용하여 비디오 피드에서 직접 번호판을 감지할 수 있습니다. 번호판이 감지되면 이미지 속 텍스트를 기계 판독 가능한 문자로 변환하는 광학 문자 인식(OCR)을 사용하여 번호판 정보를 읽습니다. 이 과정은 신속하고 정확한 차량 식별을 가능하게 하여 교통 단속 및 전반적인 보안을 강화합니다.

Fig 3. YOLO11을 사용하여 번호판 감지하기.

Link to this section자율 시스템을 위한 FPS 요구 사항 이해하기#

정지 신호 앞에서 주변 상황을 주의 깊게 분석하여 안전하게 진행할 수 있는지 판단하는 자율 주행 자동차를 생각해 보세요. 이 자동차는 거의 즉각적인 결정을 내려야 하며, 이를 위해서는 실시간으로 시각 데이터를 캡처하고 처리해야 합니다.

자율 주행 자동차가 더 높은 FPS로 영상을 캡처할 수 있는 카메라를 장착하고 있다면, 더 연속적이고 상세한 이미지 스트림을 얻을 수 있습니다. 이러한 향상된 시각적 입력은 자동차가 장애물, 보행자, 기타 차량을 빠르게 감지할 수 있게 합니다. 이를 통해 차량은 주변 환경의 변화에 즉각적으로 반응할 수 있습니다.

카메라가 더 낮은 FPS로 이미지를 처리한다면 차량은 더 끊기고 덜 자세한 화면을 받게 될 것입니다. 이는 응답 시간을 지연시켜 중요한 정보를 놓칠 위험을 높이고 안전을 위협할 수 있습니다.

Link to this sectionFPS와 스포츠 분석 사이의 연관성#

스포츠에서는 찰나의 결정이 승패를 가르기 때문에 모든 움직임을 정밀하게 포착하는 것이 중요합니다. 더 높은 FPS를 지원하는 기술을 사용하면 움직임의 아주 작은 세부 사항까지 기록할 수 있으며, 코치, 분석가, 선수는 경기를 놓치는 부분 없이 슬로우 모션으로 검토할 수 있습니다. 또한 테니스, 축구, 크리켓과 같은 스포츠에서 경기를 프레임별로 명확하게 보여줌으로써 심판이 더 정확한 판정을 내리는 데 도움을 줍니다.

예를 들어, 배구에 관한 흥미로운 연구에서는 더 높은 FPS를 사용하는 것이 성과 평가를 어떻게 개선하는지 분석했습니다. FPS를 30에서 240으로 높이자 움직임의 선명도와 객체 추적 능력이 크게 향상되었습니다. 스파이크 분석 정확도 또한 개선되어 코치가 손 위치, 공 접촉 지점, 점프 역학을 더 정밀하게 이해할 수 있게 되었습니다. 또한 해당 연구는 더 높은 FPS가 모션 블러를 줄여 서브와 수비 동작을 더 쉽게 분석할 수 있게 함을 발견했습니다.

Fig 4. 동작 선명도와 관련하여 낮은 FPS와 높은 FPS를 비교합니다.

Link to this section낮은 FPS를 사용하는 것이 비디오 분석에 효과적인 경우#

모든 컴퓨터 비전 애플리케이션이 더 높은 FPS로 영상을 기록해야 하는 것은 아닙니다. 많은 경우 작업에 따라 정확한 결과를 얻기 위해 낮은 FPS로도 충분합니다. 낮은 FPS가 선호되는 주요 분야는 다음과 같습니다.

• 오프라인 후처리 및 분석: 교통 모니터링이나 군중 분석과 같은 애플리케이션의 경우 모든 프레임을 높은 FPS로 캡처할 필요가 항상 있는 것은 아닙니다. 낮은 FPS로도 차량 흐름, 보행자 밀도, 혼잡도 추세와 같은 움직임 패턴을 분석하기에 충분한 데이터를 제공할 수 있습니다. 중복되는 프레임을 줄임으로써 이 접근 방식은 정확한 분석을 유지하면서 저장 요구 사항과 계산 부하를 최소화합니다.
• 타임랩스 환경 모니터링: 식물 성장, 건설 진행 상황, 빙하 이동과 같은 느린 변화를 추적할 때는 몇 분마다 또는 하루에 한 번 프레임을 캡처하는 것만으로도 충분하며, 장기적인 변화를 효과적으로 기록하면서 저장 공간을 절약할 수 있습니다.
• 자원 제약 환경: 야생 동물 모니터링 및 원격 보안 분야에서 낮은 FPS는 배터리 수명과 저장 공간을 보존하는 데 도움이 됩니다. 5~10 FPS로 작동하는 동작 감지 카메라는 중요한 이벤트를 오랜 기간 캡처할 수 있어 오프그리드 설치에 이상적입니다.

Link to this section딥러닝 애플리케이션을 위한 적절한 FPS 선택#

이상적인 FPS를 선택하려면 성능과 시스템 제한 사이의 균형을 맞춰야 합니다. 딥러닝 애플리케이션을 위해 FPS를 최적화할 때 고려해야 할 사항은 다음과 같습니다.

• 성능과 리소스의 균형: 더 높은 FPS는 응답성을 향상시키지만 전력과 처리 요구 사항도 증가시킵니다. FPS를 동적으로 조정하고, 프레임 보간을 사용하며, 하드웨어를 최적화하면 시스템 과부하 없이 부드러운 성능을 유지하는 데 도움이 됩니다.
• 애플리케이션별 요구 사항: 애플리케이션마다 FPS 요구 사항이 다릅니다. 배터리 구동 장치는 에너지를 절약하기 위해 더 낮은 FPS를 사용해야 하며, 드론이나 자율 주행 차량과 같은 실시간 시스템은 빠르고 정확한 반응을 위해 더 높은 FPS가 필요합니다.
• 테스트 및 최적화: FPS 설정은 이상적으로 다양한 조명 및 움직임 조건에서 테스트해야 합니다. 지연 시간을 평가하고 FPS 수준을 나란히 비교해 보면 응답성, 시각적 품질, 리소스 효율성 사이에서 최선의 균형을 결정하는 데 도움이 됩니다.

Link to this section미래의 혁신과 AI 모델을 위한 FPS 최적화#

AI 및 하드웨어 최적화의 발전으로 자원이 제한된 환경에서도 더 높은 프레임 속도를 구현할 수 있게 되었습니다. 예를 들어, 영화, 스포츠, 로봇 공학 산업은 움직임의 복잡성과 처리 성능에 따라 시스템이 FPS를 동적으로 조정하는 스마트한 프레임 속도 관리의 이점을 누릴 수 있습니다. AI 기반 프레임 보간 기술 또한 실시간으로 추가 프레임을 생성하여 비디오의 부드러움을 향상시킵니다.

한편, NVIDIA의 최근 돌파구는 FPS 성능을 한층 더 끌어올리고 있습니다. DLSS 4(Deep Learning Super Sampling)는 AI를 사용하여 추가 프레임을 예측하고 생성하는 다중 프레임 생성을 도입합니다. 이는 시스템의 작업 부하를 줄이면서 프레임 속도를 최대 8배까지 향상시킵니다.

AI가 렌더링의 일부를 처리하도록 함으로써 DLSS 4는 하드웨어에 추가적인 부담을 주지 않으면서도 비주얼을 더 부드럽게 만들어 성능과 효율성을 모두 개선합니다.

Link to this section핵심 요약#

FPS는 단순히 부드러운 비주얼을 측정하는 도구 이상이며, AI와 컴퓨터 비전에서의 실시간 의사결정을 주도합니다. 비디오의 각 프레임은 중요한 데이터를 캡처하여 기계가 객체를 추적하고, 움직임을 분석하며, 역동적인 환경에 반응할 수 있게 합니다. 장애물을 피하는 자율 주행 자동차든 위협을 즉시 감지하는 감시 시스템이든, 적절한 FPS는 정확성과 효율성을 보장합니다.

FPS의 미래는 단순히 프레임 속도를 높이는 것뿐만 아니라 이를 지능적으로 최적화하는 것에 달려 있습니다. 이러한 진화는 컴퓨터 비전 시스템을 다양한 산업 전반에서 더 빠르고 혁신적이며 리소스 효율적으로 만들 것입니다.

AI에 대해 더 알고 싶으신가요? GitHub 저장소를 둘러보고 커뮤니티에 참여하세요. 나만의 컴퓨터 비전 프로젝트를 시작할 준비가 되셨나요? 라이선스 옵션을 확인해 보세요. 솔루션 페이지를 방문하여 의료 분야의 컴퓨터 비전이 어떻게 효율성을 향상시키고 있는지 알아보고 제조 분야의 AI가 미치는 영향에 대해 살펴보세요!