컴퓨터 비전에서 FPS의 역할 이해

스포츠 경기에서 좋아하는 순간을 슬로우 모션으로 다시 볼 때의 모든 세부 정보가 선명하게 보이는 것과, 일반적으로 끊김이 많고 따라가기 어려운 감시 카메라 영상을 보는 것은 매우 다릅니다. 이러한 차이의 핵심 기술 요소는 FPS(Frames Per Second, 초당 프레임 수)이며, 이는 비디오에서 1초당 표시되는 프레임 수를 의미합니다. 높은 FPS는 부드럽고 생생한 움직임을 나타내는 반면, 낮은 FPS는 끊기고 상세 정보가 부족한 영상으로 이어질 수 있습니다.

이 개념은 기계가 인간과 유사한 방식으로 시각적 데이터를 해석하고 분석할 수 있도록 하는 AI의 한 분야인 computer vision에 직접적인 영향을 미칩니다. 컴퓨터 비전에서 더 높은 FPS는 시스템이 매초 더 많은 정보를 캡처할 수 있음을 의미하며, 실시간으로 객체 감지 및 추적의 정확도를 향상시킵니다.

이 글에서는 FPS의 기술적 측면과 컴퓨터 비전 애플리케이션과의 관계를 살펴봅니다. 시작해 보겠습니다!

컴퓨터 비전에서 FPS란 무엇일까요?#

레이싱 게임을 하고 있다고 가정해 봅시다. 60 FPS에서는 모든 회전이 부드럽고 반응이 빠르지만, 20 FPS에서는 컨트롤이 지연되어 장애물을 피하기가 더 어려워집니다. 간단히 말해, FPS를 1초당 보여지는 정지 이미지의 수라고 생각할 수 있습니다. 초당 더 많은 이미지가 보일수록 움직임이 부드럽고 자연스럽게 느껴지며, 적은 경우에는 움직임이 끊겨 보일 수 있습니다.

게임에서와 마찬가지로 FPS는 computer vision applications의 핵심적인 부분입니다. 더 높은 FPS는 Vision AI를 사용하여 객체를 부드럽게 추적할 수 있게 해주는 반면, 낮은 FPS는 세부 정보를 놓치게 할 수 있습니다.

예를 들어, 스포츠 분석에서 AI-powered cameras는 빠른 패스, 선수 움직임, 공의 궤적을 추적할 수 있도록 더 높은 FPS가 필요합니다. 낮은 FPS는 중요한 발과 공의 접촉이나 급격한 방향 전환을 놓치게 하여 분석 정확도에 영향을 미칠 수 있습니다.

마찬가지로 교통 모니터링 분야에서도 시스템은 과속 차량과 차선 변경을 실시간으로 감지하기 위해 높은 FPS에 의존합니다. 적절한 FPS를 선택하는 것은 성능, 효율성, 시각적 선명함의 균형을 맞추며 각 컴퓨터 비전 애플리케이션의 특정 요구 사항에 따라 달라집니다.

Fig 1. 다양한 프레임 레이트 비교.

컴퓨터 비전에서 FPS의 기술적 측면#

FPS가 무엇이고 컴퓨터 비전에서 어떻게 사용되는지 논의했으므로, 이제 FPS 계산 방법을 시작으로 기술적인 측면을 자세히 살펴보겠습니다.

비디오의 총 프레임 수를 초 단위의 지속 시간으로 나누면 비디오의 FPS를 얻을 수 있습니다. 예를 들어, 비디오가 4초 동안 96개의 프레임을 가지고 있다면 이는 24 FPS로 계산되며(매초 24개의 이미지가 표시됨을 의미함) 반면 4초 동안 32개의 프레임은 8 FPS가 됩니다. OpenCV와 같은 Python 라이브러리를 사용하여 비디오 메타데이터를 추출하고, 프레임을 카운트하며, 비디오 분석 프로세스를 간소화하여 FPS를 자동으로 계산할 수 있습니다.

Fig 2. 24 FPS 대 8 FPS 대 4 FPS.

비디오의 FPS에 영향을 미치는 요소#

그러나 computer vision solutions를 개발할 때 기술적 결정을 내리기 위해 단순히 FPS를 계산하는 것만으로는 충분하지 않습니다. 하드웨어 기능, 소프트웨어 최적화, 환경 조건과 같이 유효한 프레임 레이트에 영향을 미칠 수 있는 다양한 요소들을 고려하는 것도 중요합니다.

이러한 요소를 더 자세히 살펴보겠습니다.

• 하드웨어 성능: 카메라 센서의 품질과 장치의 처리 성능은 초당 캡처되는 프레임 수를 결정할 수 있습니다. 더 좋은 하드웨어는 일반적으로 더 높은 FPS와 더 부드러운 영상을 지원합니다.
• 소프트웨어 최적화: 효율적인 비디오 인코딩 및 처리 소프트웨어는 프레임을 빠르게 추출하고 분석하도록 돕습니다. 이는 불필요한 지연 없이 비디오가 처리되도록 합니다.
• 환경 조건: 장면의 조명과 움직임은 프레임이 얼마나 선명하게 캡처되는지에 영향을 줍니다. 좋은 조명과 적절한 움직임은 FPS를 개선할 수 있으며, 열악한 조건에서는 선명도를 유지하기 위해 더 높은 FPS가 필요할 수 있습니다.
• 저장 공간 필요량: 높은 FPS는 초당 더 많은 프레임을 캡처하므로 파일 크기가 더 커집니다. 이는 저장 공간 요구 사항을 증가시키며 원활한 재생을 위해 더 빠른 데이터 처리를 요구합니다.

컴퓨터 비전 애플리케이션에서 FPS 탐색하기#

실시간 computer vision tasks을 지원하는 Ultralytics YOLO11과 같은 AI 모델을 사용하여 높은 프레임 레이트의 비디오를 분석할 수 있습니다. 이 실시간 기능은 자율 주행, 감시, 로보틱스 등의 애플리케이션에 매우 중요하며, 작은 지연조차도 심각한 오류로 이어질 수 있습니다.

높은 FPS가 정확도와 성능에 필수적인 실제 Vision AI 애플리케이션 사례를 살펴보겠습니다.

감시 및 보안 솔루션을 위한 높은 프레임 속도#

고속도로와 같이 교통량이 많은 지역을 모니터링하는 감시 시스템은 높은 FPS를 사용하여 미세한 세부 정보를 캡처하고 빠르게 움직이는 차량이 선명하게 기록되도록 합니다. 이러한 선명도는 고품질 영상에 의존하여 차량을 정확하게 식별하는 automatic number plate recognition (ANPR) 시스템에 필수적입니다.

이러한 시스템에서는 Ultralytics YOLO11과 같은 모델을 사용하여 비디오 피드에서 직접 번호판을 감지할 수 있습니다. 번호판이 감지되면 텍스트 이미지를 기계 판독 가능한 문자로 변환하는 광학 문자 인식(OCR)을 사용하여 번호판 세부 정보를 읽습니다. 이 프로세스를 통해 빠르고 정확한 차량 식별이 가능해지며 교통 단속과 전반적인 보안이 강화됩니다.

Fig 3. 번호판을 감지하기 위해 YOLO11 사용.

자율 시스템을 위한 FPS 요구 사항 이해하기#

정지 표지판에 있는 self-driving car가 주변 환경을 신중하게 분석하여 안전하게 전진할 수 있는지 결정하는 상황을 가정해 보겠습니다. 이 자동차는 거의 즉각적인 결정을 내려야 하며, 이를 위해서는 실시간으로 시각 데이터를 캡처하고 처리해야 합니다.

자율 주행 자동차가 더 높은 FPS로 영상을 캡처할 수 있는 카메라를 장착하고 있다면, 더 연속적이고 상세한 이미지 스트림을 얻을 수 있습니다. 이러한 향상된 시각적 입력은 자동차가 장애물, 보행자, 기타 차량을 빠르게 감지할 수 있게 합니다. 이를 통해 차량은 주변 환경의 변화에 즉각적으로 반응할 수 있습니다.

카메라가 더 낮은 FPS로 이미지를 처리한다면 차량은 더 끊기고 덜 자세한 화면을 받게 될 것입니다. 이는 응답 시간을 지연시켜 중요한 정보를 놓칠 위험을 높이고 안전을 위협할 수 있습니다.

FPS와 스포츠 분석 사이의 연관성#

스포츠에서는 찰나의 결정이 승패를 가르기 때문에 모든 움직임을 정밀하게 포착하는 것이 중요합니다. 더 높은 FPS를 지원하는 기술을 사용하면 움직임의 아주 작은 세부 사항까지 기록할 수 있으며, 코치, 분석가, 선수는 경기를 놓치는 부분 없이 슬로우 모션으로 검토할 수 있습니다. 또한 테니스, 축구, 크리켓과 같은 스포츠에서 경기를 프레임별로 명확하게 보여줌으로써 심판이 더 정확한 판정을 내리는 데 도움을 줍니다.

예를 들어, 배구에 관한 흥미로운 연구에서는 higher FPS를 사용하는 것이 성능 평가를 어떻게 향상시키는지 분석했습니다. FPS를 30에서 240으로 높이자 모션 선명도와 객체 추적이 크게 향상되었습니다. 스파이크 분석 정확도 또한 향상되어 코치가 손 위치, 공 접촉점, 점프 역학을 더 정확하게 이해하는 데 도움이 되었습니다. 그뿐만 아니라, 이 연구는 더 높은 FPS가 모션 블러를 줄여 서브와 수비 반응을 더 쉽게 분석할 수 있게 한다는 사실을 발견했습니다.

Fig 4. 모션 선명도 측면에서의 낮은 FPS와 높은 FPS 비교.

낮은 FPS를 사용하는 것이 비디오 분석에 효과적인 경우#

모든 컴퓨터 비전 애플리케이션이 더 높은 FPS로 영상을 기록해야 하는 것은 아닙니다. 많은 경우 작업에 따라 정확한 결과를 얻기 위해 낮은 FPS로도 충분합니다. 낮은 FPS가 선호되는 주요 분야는 다음과 같습니다.

• 오프라인 후처리 및 분석: 교통 모니터링이나 군중 분석과 같은 애플리케이션의 경우 모든 프레임을 높은 FPS로 캡처할 필요가 항상 있는 것은 아닙니다. 낮은 FPS로도 차량 흐름, 보행자 밀도, 혼잡도 추세와 같은 움직임 패턴을 분석하기에 충분한 데이터를 제공할 수 있습니다. 중복되는 프레임을 줄임으로써 이 접근 방식은 정확한 분석을 유지하면서 저장 요구 사항과 계산 부하를 최소화합니다.
• 타임랩스 환경 모니터링: 식물 성장, 건설 진행 상황, 빙하 이동과 같은 느린 변화를 추적할 때는 몇 분마다 또는 하루에 한 번 프레임을 캡처하는 것만으로도 충분하며, 장기적인 변화를 효과적으로 기록하면서 저장 공간을 절약할 수 있습니다.
• 자원 제약 환경: 야생 동물 모니터링 및 원격 보안 분야에서 낮은 FPS는 배터리 수명과 저장 공간을 보존하는 데 도움이 됩니다. 5~10 FPS로 작동하는 동작 감지 카메라는 중요한 이벤트를 오랜 기간 캡처할 수 있어 오프그리드 설치에 이상적입니다.

딥러닝 애플리케이션을 위한 적절한 FPS 선택#

이상적인 FPS를 선택하려면 성능과 시스템 제한 사이의 균형을 맞춰야 합니다. 딥러닝 애플리케이션을 위해 FPS를 최적화할 때 고려해야 할 사항은 다음과 같습니다.

• 성능과 리소스의 균형: 더 높은 FPS는 응답성을 향상시키지만 전력과 처리 요구 사항도 증가시킵니다. FPS를 동적으로 조정하고, 프레임 보간을 사용하며, 하드웨어를 최적화하면 시스템 과부하 없이 부드러운 성능을 유지하는 데 도움이 됩니다.
• 애플리케이션별 요구 사항: 애플리케이션마다 FPS 요구 사항이 다릅니다. 배터리 구동 장치는 에너지를 절약하기 위해 더 낮은 FPS를 사용해야 하며, 드론이나 자율 주행 차량과 같은 실시간 시스템은 빠르고 정확한 반응을 위해 더 높은 FPS가 필요합니다.
• 테스트 및 최적화: FPS 설정은 이상적으로 다양한 조명 및 움직임 조건에서 테스트해야 합니다. 지연 시간을 평가하고 FPS 수준을 나란히 비교해 보면 응답성, 시각적 품질, 리소스 효율성 사이에서 최선의 균형을 결정하는 데 도움이 됩니다.

미래의 혁신과 AI 모델을 위한 FPS 최적화#

AI 및 하드웨어 최적화의 발전으로 자원이 제한된 환경에서도 더 높은 프레임 속도를 구현할 수 있게 되었습니다. 예를 들어, 영화, 스포츠, 로봇 공학 산업은 움직임의 복잡성과 처리 성능에 따라 시스템이 FPS를 동적으로 조정하는 스마트한 프레임 속도 관리의 이점을 누릴 수 있습니다. AI 기반 프레임 보간 기술 또한 실시간으로 추가 프레임을 생성하여 비디오의 부드러움을 향상시킵니다.

한편, NVIDIA의 최근 혁신은 FPS 성능을 더욱 끌어올리고 있습니다. DLSS 4(Deep Learning Super Sampling)는 AI를 사용하여 추가 프레임을 예측하고 생성하는 다중 프레임 생성을 도입합니다. 이는 시스템의 부하를 줄이면서 프레임 레이트를 최대 8배까지 높여줍니다.

AI가 렌더링의 일부를 처리하도록 함으로써 DLSS 4는 하드웨어에 추가적인 부담을 주지 않으면서도 비주얼을 더 부드럽게 만들어 성능과 효율성을 모두 개선합니다.

핵심 요약#

FPS는 단순히 부드러운 비주얼을 측정하는 도구 이상이며, AI와 컴퓨터 비전에서의 실시간 의사결정을 주도합니다. 비디오의 각 프레임은 중요한 데이터를 캡처하여 기계가 객체를 추적하고, 움직임을 분석하며, 역동적인 환경에 반응할 수 있게 합니다. 장애물을 피하는 자율 주행 자동차든 위협을 즉시 감지하는 감시 시스템이든, 적절한 FPS는 정확성과 효율성을 보장합니다.

FPS의 미래는 단순히 프레임 속도를 높이는 것뿐만 아니라 이를 지능적으로 최적화하는 것에 달려 있습니다. 이러한 진화는 컴퓨터 비전 시스템을 다양한 산업 전반에서 더 빠르고 혁신적이며 리소스 효율적으로 만들 것입니다.

AI에 대해 더 알고 싶으신가요? GitHub repository를 탐색하고 our community에 참여하세요. 나만의 computer vision 프로젝트를 시작할 준비가 되셨나요? licensing options을 확인해 보세요. 솔루션 페이지를 방문하여 computer vision in healthcare가 효율성을 어떻게 향상시키고 있는지 알아보고 AI in manufacturing의 영향을 살펴보세요!