컴퓨터 비전에서 FPS의 역할 이해

가장 좋아하는 스포츠 순간을 슬로우 모션으로 다시 보면서 모든 세부 사항이 명확하게 보이는 것은 일반적으로 끊김이 있고 따라가기 어려운 감시 영상을 보는 것과는 매우 다릅니다. 이러한 차이점 뒤에 있는 핵심 기술 세부 사항은 비디오에서 초당 표시되는 프레임 수를 나타내는 FPS(Frames Per Second)입니다. FPS가 높을수록 부드럽고 생생한 동작이 나타나고, FPS가 낮을수록 끊기고 덜 자세한 영상이 될 수 있습니다.

이 개념은 기계가 인간과 유사하게 시각적 데이터를 해석하고 분석할 수 있도록 하는 AI의 한 분야인 컴퓨터 비전에 직접적인 영향을 미칩니다. 컴퓨터 비전에서 FPS가 높을수록 시스템이 매초 더 많은 정보를 캡처할 수 있으므로 실시간으로 객체 감지 및 추적의 정확도가 향상됩니다.

이 기사에서는 FPS의 기술적 측면과 컴퓨터 비전 애플리케이션과의 관련성을 살펴봅니다. 시작해 보겠습니다!

컴퓨터 비전에서 FPS는 무엇을 의미합니까?

레이싱 게임을 예로 들어보겠습니다. 60 FPS에서는 모든 회전이 부드럽고 즉각적으로 느껴지지만, 20 FPS에서는 컨트롤에 랙이 발생하여 장애물을 피하기가 더 어려워집니다. 간단히 말해, FPS는 초당 표시되는 정지 사진의 수라고 생각할 수 있습니다. 초당 사진 수가 많을수록 움직임이 부드럽고 자연스럽게 보이고, 사진 수가 적을수록 끊기는 것처럼 보일 수 있습니다.

게임과 마찬가지로 FPS는 컴퓨터 비전 애플리케이션의 핵심 요소입니다. FPS가 높을수록 Vision AI를 사용하여 객체를 부드럽게 추적할 수 있지만, FPS가 낮으면 세부 사항을 놓칠 수 있습니다. 

예를 들어, 스포츠 분석에서 AI 기반 카메라는 빠른 패스, 선수 움직임, 공의 궤적을 추적하기 위해 더 높은 FPS가 필요합니다. FPS가 낮으면 중요한 발과 공의 접촉 또는 급격한 방향 전환을 놓쳐 분석 정확도에 영향을 미칠 수 있습니다. 

마찬가지로 교통 모니터링 시스템은 실시간으로 과속 차량과 차선 변경을 감지하기 위해 높은 FPS에 의존합니다. 적절한 FPS를 선택하는 것은 성능, 효율성 및 시각적 선명도의 균형을 맞추어 각 컴퓨터 비전 애플리케이션의 특정 요구 사항에 따라 달라집니다.

‍

컴퓨터 비전에서 FPS의 기술적 측면

이제 FPS가 무엇이고 컴퓨터 비전에서 어떻게 사용되는지 논의했으므로 비디오의 FPS를 계산하는 방법부터 시작하여 기술적 측면을 자세히 살펴보겠습니다. 

총 프레임 수를 초 단위의 지속 시간으로 나누면 비디오의 FPS를 얻을 수 있습니다. 예를 들어, 비디오가 4초 동안 96프레임을 가지고 있다면 24 FPS로 계산됩니다. 즉, 매초 24개의 이미지가 표시됩니다. 반면 4초 동안 32프레임은 8 FPS를 나타냅니다. OpenCV와 같은 Python 라이브러리를 사용하여 비디오 메타데이터를 추출하고, 프레임을 계산하고, FPS를 자동으로 계산하여 비디오 분석 프로세스를 간소화할 수 있습니다.

‍

비디오의 FPS에 영향을 미치는 요인

그러나 컴퓨터 비전 솔루션을 개발할 때 FPS를 계산하는 것만으로는 기술적인 결정을 내리기에 충분하지 않습니다. 하드웨어 성능, 소프트웨어 최적화, 환경 조건과 같이 유효 프레임 속도에 영향을 줄 수 있는 다양한 요소를 고려하는 것도 중요합니다. 

다음은 이러한 요소를 자세히 살펴본 것입니다.

• 하드웨어 성능: 카메라 센서의 품질과 장치의 처리 능력은 초당 캡처되는 프레임 수를 결정할 수 있습니다. 일반적으로 더 나은 하드웨어는 더 높은 FPS와 더 부드러운 비디오를 지원합니다.
  ‍
• 소프트웨어 최적화: 효율적인 비디오 인코딩 및 처리 소프트웨어는 프레임을 빠르게 추출하고 분석하는 데 도움이 됩니다. 이는 불필요한 지연 없이 비디오가 처리되도록 합니다.
  ‍
• 환경 조건: 장면의 조명과 움직임은 프레임이 얼마나 선명하게 캡처되는지에 영향을 미칩니다. 좋은 조명과 적당한 움직임은 FPS를 향상시킬 수 있지만, 열악한 조건에서는 선명도를 유지하기 위해 더 높은 FPS가 필요할 수 있습니다.
  ‍
• 저장 용량 요구 사항: FPS가 높을수록 초당 더 많은 프레임을 캡처하므로 파일 크기가 커집니다. 이는 저장 용량 요구 사항을 증가시키고 원활한 재생을 보장하기 위해 더 빠른 데이터 처리를 요구합니다.

컴퓨터 비전 애플리케이션에서 FPS 탐색

실시간 컴퓨터 비전 작업을 지원하는 Ultralytics YOLO11과 같은 AI 모델은 높은 프레임 속도로 비디오를 분석하는 데 사용할 수 있습니다. 이러한 실시간 기능은 자율 주행, 감시 및 로봇 공학과 같이 작은 지연도 심각한 오류로 이어질 수 있는 애플리케이션에 매우 중요합니다. 

정확성과 성능에 높은 FPS가 필수적인 실제 Vision AI 애플리케이션을 살펴보겠습니다. 

감시 및 보안 솔루션을 위한 더 높은 프레임 속도

고속도로와 같이 교통량이 많은 지역을 모니터링하는 감시 시스템은 빠른 속도로 움직이는 차량을 명확하게 기록하기 위해 높은 FPS를 사용합니다. 이러한 선명도는 차량을 정확하게 식별하기 위해 양질의 영상에 의존하는 자동 번호판 인식(ANPR) 시스템에 필수적입니다.

이러한 시스템에서는 YOLO11과 같은 모델을 사용하여 비디오 피드에서 직접 번호판을 감지할 수 있습니다. 번호판이 감지되면 텍스트 이미지를 기계가 읽을 수 있는 문자로 변환하는 광학 문자 인식(OCR)을 사용하여 번호판 세부 정보를 읽습니다. 이 프로세스를 통해 빠르고 정확한 차량 식별이 가능하여 교통 단속 및 전반적인 보안이 강화됩니다.

‍

자율 시스템을 위한 FPS 요구 사항 이해

정지 표지판에서 주변을 주의 깊게 분석하여 안전하게 진행할 수 있는지 여부를 결정하는 자율 주행 자동차를 생각해 보십시오. 이 자동차는 거의 즉각적인 결정을 내려야 하며, 이를 위해서는 시각적 데이터를 실시간으로 캡처하고 처리해야 합니다. 

자율 주행 차량에 더 높은 FPS로 영상을 캡처할 수 있는 카메라가 장착되어 있다면, 더욱 연속적이고 상세한 이미지 스트림을 받을 수 있습니다. 이러한 향상된 시각적 입력은 차량이 장애물, 보행자 및 다른 차량을 신속하게 감지할 수 있도록 하며, 주변 환경의 변화에 즉시 대응할 수 있게 합니다.

카메라가 더 낮은 FPS로 이미지를 처리하는 경우, 차량은 끊기고 덜 상세한 화면을 받을 수 있습니다. 이는 응답 시간을 지연시켜 중요한 정보를 놓칠 위험을 증가시키고 잠재적으로 안전을 위협할 수 있습니다.

FPS와 스포츠 분석의 연관성

스포츠에서는 찰나의 순간이 승패를 좌우할 수 있기 때문에 모든 움직임을 정확하게 포착하는 것이 중요합니다. 더 높은 FPS를 지원하는 기술을 통해 움직임의 모든 세부 사항을 기록할 수 있으며, 코치, 분석가 및 운동선수는 중요한 순간을 놓치지 않고 슬로우 모션으로 플레이를 검토할 수 있습니다. 또한 테니스, 축구, 크리켓과 같은 스포츠에서 심판이 액션을 프레임 단위로 명확하게 볼 수 있도록 지원하여 더욱 정확한 판정을 내릴 수 있도록 돕습니다.

예를 들어, 흥미로운 배구 연구에서는 높은 FPS를 사용하는 것이 어떻게 성능 평가를 향상시키는지 분석했습니다. FPS를 30에서 240으로 높이면 동작 선명도와 객체 추적이 크게 향상되었습니다. 스파이크 분석 정확도 또한 향상되어 코치가 손의 위치, 공 접촉 지점 및 점프 메커니즘을 보다 정확하게 이해하는 데 도움이 되었습니다. 게다가, 이 연구는 더 높은 FPS가 모션 블러를 줄여 서브와 수비 반응을 더 쉽게 분석할 수 있다는 것을 발견했습니다. 

‍

비디오 분석에서 낮은 FPS가 효과적인 경우

모든 컴퓨터 비전 애플리케이션이 더 높은 FPS로 영상을 기록해야 하는 것은 아닙니다. 많은 경우 작업에 따라 더 낮은 FPS로도 정확한 결과를 얻을 수 있습니다. 다음은 낮은 FPS가 선호되는 주요 영역입니다.

• 오프라인 사후 처리 및 분석: 교통 모니터링 및 군중 분석과 같은 애플리케이션의 경우, 모든 프레임을 높은 FPS로 캡처할 필요는 없습니다. 낮은 FPS로도 차량 흐름, 보행자 밀도 및 혼잡 추세와 같은 이동 패턴을 분석하기에 충분한 데이터를 제공할 수 있습니다. 중복 프레임을 줄임으로써 이 접근 방식은 정확한 분석을 유지하면서 스토리지 요구 사항과 계산 부하를 최소화합니다.
  ‍
• 저속 촬영 환경 모니터링: 식물 성장, 건설 진행 상황 또는 빙하 이동과 같은 느린 변화를 추적하는 경우, 몇 분마다 또는 하루에 한 번 프레임을 캡처하는 것으로 충분하며, 스토리지 공간을 절약하면서 장기적인 변화를 효과적으로 기록할 수 있습니다.
  ‍
• 리소스 제약 환경: 야생 동물 모니터링 및 원격 보안에서 낮은 FPS는 배터리 수명과 스토리지 공간을 절약하는 데 도움이 됩니다. 5~10 FPS로 작동하는 동작 감지 카메라는 장기간 필수 이벤트를 캡처할 수 있으므로 오프 그리드 설치에 이상적입니다.

딥러닝 애플리케이션에 적합한 FPS 선택

이상적인 FPS를 선택하려면 성능과 시스템 제한 사항 간의 균형을 맞춰야 합니다. 딥러닝 애플리케이션에 대한 FPS를 최적화할 때 염두에 두어야 할 몇 가지 고려 사항은 다음과 같습니다.

• 성능과 리소스의 균형: FPS가 높을수록 응답성이 향상되지만 전력 및 처리 요구 사항도 증가합니다. FPS를 동적으로 조정하고, 프레임 보간을 사용하고, 하드웨어를 최적화하면 시스템에 과부하를 주지 않고도 원활한 성능을 유지할 수 있습니다.
  ‍
• 애플리케이션별 요구 사항: 애플리케이션마다 FPS 요구 사항이 다릅니다. 배터리 전원 장치는 에너지를 절약하기 위해 더 낮은 FPS를 사용해야 하는 반면, 드론 및 자율 주행 차량과 같은 실시간 시스템은 빠르고 정확한 응답을 위해 더 높은 FPS가 필요합니다.
  ‍
• 테스트 및 최적화: FPS 설정은 다양한 조명 및 동작 조건에서 테스트하는 것이 좋습니다. 대기 시간을 평가하고 FPS 수준을 나란히 비교하면 응답성, 시각적 품질 및 리소스 효율성 간의 최상의 균형을 결정하는 데 도움이 됩니다.

AI 모델을 위한 미래 혁신 및 FPS 최적화

AI 및 하드웨어 최적화의 발전으로 리소스가 제한된 환경에서도 더 높은 프레임 속도를 달성할 수 있게 되었습니다. 예를 들어, 영화, 스포츠 및 로봇 공학과 같은 산업은 시스템이 동작 복잡성과 처리 능력에 따라 FPS를 동적으로 조정하는 더욱 스마트한 프레임 속도 관리의 이점을 누릴 수 있습니다. AI 기반 프레임 보간은 또한 실시간으로 추가 프레임을 생성하여 비디오 부드러움을 향상시킵니다.

한편, NVIDIA의 최근 혁신은 FPS 성능을 더욱 향상시키고 있습니다. DLSS 4(Deep Learning Super Sampling)는 AI를 사용하여 추가 프레임을 예측하고 생성하는 다중 프레임 생성을 도입했습니다. 이를 통해 시스템의 작업 부하를 줄이면서 프레임 속도를 최대 8배까지 높일 수 있습니다.

DLSS 4는 AI가 렌더링의 일부를 처리하도록 함으로써 하드웨어에 추가적인 부담을 주지 않고도 시각적 효과를 더욱 부드럽게 만들어 성능과 효율성을 모두 향상시킵니다.

주요 내용

FPS는 단순한 부드러운 시각 효과의 척도 그 이상입니다. AI 및 컴퓨터 비전에서 실시간 의사 결정을 주도합니다. 비디오의 각 프레임은 중요한 데이터를 캡처하여 기계가 객체를 추적하고, 동작을 분석하고, 역동적인 환경에 대응할 수 있도록 합니다. 자율 주행차가 장애물을 피하거나 감시 시스템이 즉시 위협을 감지하는 등, 적절한 FPS는 정확성과 효율성을 보장합니다.

FPS의 미래는 단순히 프레임 속도를 높이는 것뿐만 아니라 지능적으로 최적화하는 데에도 있습니다. 이러한 진화는 다양한 산업 전반에서 컴퓨터 비전 시스템을 더 빠르고, 더 혁신적이며, 더 효율적으로 만들 것입니다.

AI에 대해 더 자세히 알고 싶으신가요? GitHub 저장소를 탐색하고 커뮤니티에 참여하세요. 컴퓨터 비전 프로젝트를 시작할 준비가 되셨나요? 라이선스 옵션을 확인하세요. 의료 분야의 컴퓨터 비전이 어떻게 효율성을 향상시키는지 알아보고 솔루션 페이지를 방문하여 제조 분야의 AI의 영향을 살펴보세요!