컴퓨터 비전에서 FPS의 역할 이해하기

좋아하는 스포츠 순간을 슬로 모션으로 다시 보면 모든 세부 사항이 선명하게 보이지만, 보통 끊기고 알아보기 어려운 감시 영상을 볼 때와는 느낌이 매우 다릅니다. 이러한 차이를 만드는 핵심 기술 요소는 FPS, 즉 초당 프레임 수로, 비디오에서 1초마다 표시되는 프레임 수를 의미합니다. FPS가 높으면 부드럽고 생생한 움직임을 구현할 수 있지만, FPS가 낮으면 영상이 끊기고 세부 사항이 잘 드러나지 않을 수 있습니다.

이 개념은 사람이 시각 데이터를 해석하고 분석하는 방식과 유사하게 기계가 시각 데이터를 해석하고 분석하도록 하는 AI 분야인 컴퓨터 비전에 직접적인 영향을 줍니다. 컴퓨터 비전에서 FPS가 높으면 시스템이 매초 더 많은 정보를 포착할 수 있어 실시간 객체 감지와 추적의 정확도가 향상됩니다.

이 문서에서는 FPS의 기술적 측면과 컴퓨터 비전 애플리케이션과의 관계를 살펴보겠습니다.

컴퓨터 비전에서 FPS란 무엇인가요?#

레이싱 게임을 한다고 가정해 보겠습니다. 60 FPS에서는 매번 코너를 돌 때 움직임이 부드럽고 반응이 빠르지만, 20 FPS에서는 컨트롤이 지연되어 장애물을 피하기가 더 어려워집니다. 간단히 말해, FPS는 매초 표시되는 정지 이미지의 수라고 생각할 수 있습니다. 초당 이미지 수가 많을수록 움직임이 부드럽고 자연스럽게 보이며, 이미지 수가 적으면 움직임이 끊겨 보일 수 있습니다.

게임과 마찬가지로 FPS는 컴퓨터 비전 애플리케이션의 핵심 요소입니다. FPS가 높으면 비전 AI를 사용해 객체를 부드럽게 추적할 수 있지만, FPS가 낮으면 세부 사항을 놓칠 수 있습니다.

예를 들어 스포츠 분석에서는 AI 기반 카메라가 빠른 패스, 선수의 움직임, 공의 궤적을 추적할 수 있도록 높은 FPS가 필요합니다. FPS가 낮으면 중요한 발과 공의 접촉 순간이나 빠른 방향 전환을 놓쳐 분석 정확도에 영향을 줄 수 있습니다.

마찬가지로 교통 모니터링 시스템은 고속 차량과 차선 변경을 실시간으로 감지하기 위해 높은 FPS에 의존합니다. 적절한 FPS는 각 컴퓨터 비전 애플리케이션의 구체적인 요구 사항에 따라 달라지며, 성능, 효율성, 시각적 선명도 사이의 균형을 고려해야 합니다.

그림 1. 다양한 프레임 속도 비교.

컴퓨터 비전에서 FPS의 기술적 측면#

FPS가 무엇이고 컴퓨터 비전에서 어떻게 사용되는지 살펴보았으니, 이제 비디오의 FPS를 계산하는 방법부터 기술적 측면을 자세히 알아보겠습니다.

전체 프레임 수를 초 단위의 재생 시간으로 나누면 비디오의 FPS를 구할 수 있습니다. 예를 들어 비디오에 4초 동안 96개의 프레임이 있으면 24 FPS(매초 24개 이미지가 표시됨)가 되고, 4초 동안 32개 프레임이 있으면 8 FPS가 됩니다. OpenCV와 같은 Python 라이브러리를 사용하면 비디오 메타데이터를 추출하고 프레임 수를 세어 FPS를 자동으로 계산할 수 있어 비디오 분석 프로세스를 간소화할 수 있습니다.

그림 2. 24 FPS 대 8 FPS 대 4 FPS.

동영상 FPS에 영향을 미치는 요인#

하지만 FPS를 계산하는 것만으로는 컴퓨터 비전 솔루션을 개발할 때 기술적 결정을 내리기에 충분하지 않습니다. 하드웨어 성능, 소프트웨어 최적화, 환경 조건 등 실제 프레임 레이트에 영향을 미칠 수 있는 여러 요인도 고려해야 합니다.

이러한 요인을 자세히 살펴보겠습니다.

• 하드웨어 성능: 카메라 센서의 품질과 장치의 처리 능력에 따라 매초 캡처되는 프레임 수가 달라질 수 있습니다. 일반적으로 하드웨어가 우수할수록 더 높은 FPS와 부드러운 동영상을 지원합니다.
• 소프트웨어 최적화: 효율적인 동영상 인코딩 및 처리 소프트웨어는 프레임을 빠르게 추출하고 분석하는 데 도움이 됩니다. 이를 통해 불필요한 지연 없이 동영상을 처리할 수 있습니다.
• 환경 조건: 장면의 조명과 움직임은 프레임이 얼마나 선명하게 캡처되는지에 영향을 줍니다. 조명이 좋고 움직임이 적당하면 FPS를 높일 수 있지만, 환경이 좋지 않으면 선명도를 유지하기 위해 더 높은 FPS가 필요할 수 있습니다.
• 저장 공간 요구 사항: FPS가 높으면 매초 더 많은 프레임이 캡처되어 파일 크기가 커집니다. 이에 따라 저장 공간 요구량이 늘어나고 원활한 재생을 위해 더 빠른 데이터 처리가 필요합니다.

컴퓨터 비전 애플리케이션에서 FPS 살펴보기#

실시간 컴퓨터 비전 작업을 지원하는 Ultralytics YOLO11과 같은 AI 모델을 사용하면 높은 프레임 레이트의 동영상을 분석할 수 있습니다. 이러한 실시간 처리 기능은 자율 주행, 감시, 로봇 공학과 같은 애플리케이션에서 매우 중요하며, 작은 지연도 심각한 오류로 이어질 수 있습니다.

정확도와 성능을 위해 높은 FPS가 필수적인 실제 비전 AI 애플리케이션을 살펴보겠습니다.

감시 및 보안 솔루션에 더 높은 프레임 레이트 활용#

고속도로처럼 교통량이 많은 지역을 모니터링하는 감시 시스템은 미세한 세부 정보를 포착하기 위해 높은 FPS를 사용하여 빠르게 움직이는 차량을 선명하게 기록합니다. 차량을 정확히 식별하려면 고품질 영상에 의존하는 자동 번호판 인식(ANPR) 시스템에 이러한 선명도가 필수적입니다.

이러한 시스템에서는 Ultralytics YOLO11과 같은 모델을 사용해 동영상 피드에서 번호판을 직접 감지할 수 있습니다. 번호판이 감지되면 텍스트 이미지를 기계 판독이 가능한 문자로 변환하는 광학 문자 인식(OCR)을 사용해 번호판 정보를 읽습니다. 이 과정은 차량을 빠르고 정확하게 식별하여 교통 법규 집행과 전반적인 보안을 강화합니다.

그림 3. YOLO11을 사용한 번호판 감지.

자율 시스템의 FPS 요구 사항 이해#

정지 표지판 앞에 선 자율주행차가 안전하게 진행할 수 있는지 판단하기 위해 주변을 주의 깊게 분석하는 상황을 생각해 보세요. 이 차량은 거의 즉각적으로 판단해야 하므로 시각 데이터를 실시간으로 캡처하고 처리해야 합니다.

자율 주행 차량에 더 높은 FPS로 영상을 캡처할 수 있는 카메라가 장착되어 있으면 더 연속적이고 상세한 이미지 스트림을 얻을 수 있습니다. 이러한 향상된 시각 입력을 통해 차량은 장애물, 보행자, 다른 차량을 빠르게 감지할 수 있습니다. 따라서 차량은 주변 환경의 변화에 신속하게 대응할 수 있습니다.

카메라가 더 낮은 FPS로 이미지를 처리하면 차량은 더 끊기고 세부 정보가 적은 시야를 얻을 수 있습니다. 이로 인해 응답 시간이 늦어져 중요한 정보를 놓칠 위험이 커지고 안전이 저해될 수 있습니다.

FPS와 스포츠 분석의 연관성#

순간적인 판단이 승패를 가를 수 있는 스포츠에서는 모든 움직임을 정확하게 포착하는 것이 중요합니다. 더 높은 FPS를 지원하는 기술을 사용하면 움직임의 아주 작은 세부 사항까지 기록할 수 있으며, 코치, 분석가, 선수는 한순간도 놓치지 않고 플레이를 슬로 모션으로 검토할 수 있습니다. 또한 경기 장면을 프레임 단위로 선명하게 제공하여 테니스, 축구, 크리켓 등의 스포츠에서 심판이 더 정확하게 판정하도록 돕습니다.

예를 들어 배구에 관한 흥미로운 연구에서는 더 높은 FPS를 사용하는 것이 경기력 평가를 어떻게 개선하는지 분석했습니다. FPS를 30에서 240으로 높이자 움직임의 선명도와 객체 추적 성능이 크게 향상되었습니다. 스파이크 분석 정확도도 높아져 코치가 손의 위치, 공의 접촉 지점, 점프 동작을 더 정밀하게 파악할 수 있었습니다. 또한 연구 결과, FPS가 높으면 모션 블러가 줄어들어 서브와 수비 반응을 더 쉽게 분석할 수 있었습니다.

그림 4. 움직임의 선명도 측면에서 낮은 FPS와 높은 FPS 비교.

동영상 분석에서 낮은 FPS가 효과적인 경우#

모든 컴퓨터 비전 애플리케이션에서 더 높은 FPS로 영상을 녹화해야 하는 것은 아닙니다. 작업에 따라 낮은 FPS로도 정확한 결과를 얻기에 충분한 경우가 많습니다. 낮은 FPS를 선호하는 주요 분야는 다음과 같습니다.

• 오프라인 후처리 및 분석: 교통 모니터링이나 군중 분석과 같은 애플리케이션에서는 모든 프레임을 높은 FPS로 캡처할 필요가 없습니다. 낮은 FPS로도 차량 흐름, 보행자 밀도, 혼잡 추세와 같은 이동 패턴을 분석하기에 충분한 데이터를 얻을 수 있습니다. 중복 프레임을 줄이면 분석 정확도를 유지하면서 저장 공간 요구량과 연산 부하를 최소화할 수 있습니다.
• 타임랩스 환경 모니터링: 식물 성장, 건설 진행 상황, 빙하 이동처럼 느린 변화를 추적할 때는 몇 분에 한 번 또는 하루에 한 번 프레임을 캡처하는 것으로 충분합니다. 이를 통해 장기적인 변화를 효과적으로 기록하면서 저장 공간을 절약할 수 있습니다.
• 리소스가 제한된 환경: 야생 동물 모니터링과 원격 보안에서는 낮은 FPS를 사용해 배터리와 저장 공간을 절약할 수 있습니다. 5~10 FPS로 작동하는 움직임 감지 카메라는 장시간 필수 이벤트를 캡처할 수 있으므로 전력망과 연결되지 않은 설치 환경에 적합합니다.

딥러닝 애플리케이션에 적합한 FPS 선택#

적절한 FPS를 선택하려면 성능과 시스템 한계 사이의 균형을 맞춰야 합니다. 딥러닝 애플리케이션의 FPS를 최적화할 때 고려해야 할 사항은 다음과 같습니다.

• 성능과 리소스 간 균형: FPS가 높으면 응답성이 향상되지만 전력과 처리 요구량도 늘어납니다. FPS를 동적으로 조정하고, 프레임 보간을 사용하며, 하드웨어를 최적화하면 시스템에 과부하를 주지 않으면서 부드러운 성능을 유지할 수 있습니다.
• 애플리케이션별 요구 사항: 애플리케이션마다 FPS 요구 사항이 다릅니다. 배터리로 작동하는 장치는 에너지를 절약하기 위해 낮은 FPS를 사용해야 하지만, 드론과 자율 주행 차량 같은 실시간 시스템은 빠르고 정확하게 대응하기 위해 높은 FPS가 필요합니다.
• 테스트 및 최적화: 다양한 조명 및 움직임 조건에서 FPS 설정을 테스트하는 것이 좋습니다. 지연 시간 평가와 FPS 수준을 나란히 비교하면 응답성, 시각적 품질, 리소스 효율성 간의 최적 균형을 찾는 데 도움이 됩니다.

AI 모델을 위한 FPS 최적화와 향후 혁신#

AI와 하드웨어 최적화의 발전으로 리소스가 제한된 환경에서도 더 높은 프레임 레이트를 구현하기 쉬워지고 있습니다. 예를 들어 영화, 스포츠, 로봇 공학 분야에서는 움직임의 복잡성과 처리 능력에 따라 시스템이 FPS를 동적으로 조정하는 지능형 프레임 레이트 관리의 이점을 얻을 수 있습니다. AI 기반 프레임 보간은 실시간으로 프레임을 추가 생성하여 동영상의 부드러움도 개선합니다.

한편 NVIDIA의 최근 획기적인 기술은 FPS 성능을 한층 더 끌어올리고 있습니다. DLSS 4(딥 러닝 슈퍼 샘플링)는 AI를 사용해 추가 프레임을 예측하고 생성하는 다중 프레임 생성을 도입합니다. 이를 통해 시스템 부하를 줄이면서 프레임 레이트를 최대 8배까지 높일 수 있습니다.

AI가 렌더링의 일부를 처리하도록 하면 DLSS 4는 하드웨어에 추가 부담을 주지 않고도 영상을 더 부드럽게 구현하여 성능과 효율성을 모두 개선합니다.

핵심 요점#

FPS는 단순히 영상의 부드러움을 나타내는 지표가 아니라 AI와 컴퓨터 비전의 실시간 의사 결정을 이끕니다. 동영상의 각 프레임에는 중요한 데이터가 담겨 있어 기계가 객체를 추적하고, 움직임을 분석하며, 역동적인 환경에 대응할 수 있습니다. 자율 주행 자동차가 장애물을 피하거나 감시 시스템이 위협을 즉시 감지하는 경우 모두 적절한 FPS가 정확도와 효율성을 보장합니다.

FPS의 미래는 단순히 프레임 레이트를 높이는 것이 아니라 이를 지능적으로 최적화하는 데 달려 있습니다. 이러한 발전은 다양한 산업 분야에서 컴퓨터 비전 시스템을 더 빠르고 혁신적이며 리소스 효율적으로 만들 것입니다.

AI에 대해 더 알고 싶으신가요? GitHub 저장소를 살펴보고 커뮤니티에 참여해 보세요. 직접 컴퓨터 비전 프로젝트를 시작할 준비가 되셨나요? 라이선스 옵션을 확인해 보세요. 의료 분야의 컴퓨터 비전이 효율성을 어떻게 높이는지 알아보고, 솔루션 페이지에서 제조 분야의 AI의 영향도 살펴보세요!