스트리밍 비전 AI의 비하인드 스토리

좋아하는 프로그램을 감상하는 것이 어떻게 그렇게 쉬워졌는지 궁금해하신 적이 있나요? 얼마 전까지만 해도 entertainment 환경은 지금과 매우 달랐습니다. TV 편성표는 고정되어 있었고, 시청자들은 대개 방송 중인 프로그램을 시청했습니다. 스트리밍 서비스는 이러한 패러다임을 바꾸어 놓았습니다. 조사에 따르면 global video streaming 시장 규모는 2023년에 1,068억 3,000만 달러로 평가되었으며, 2034년에는 8,658억 5,000만 달러에 이를 것으로 예상됩니다.

Artificial intelligence (AI) 기술은 이러한 진화의 핵심적인 역할을 해왔습니다. 특히 이 분야에서 computer vision 혁신이 증가하고 있는 추세입니다. 비전 AI를 통해 스트리밍 플랫폼은 프레임을 분석하고 패턴을 인식함으로써 비디오 콘텐츠를 이해하고 해석할 수 있습니다.

visual data를 처리함으로써 컴퓨터 비전은 플랫폼이 더 스마트한 추천을 생성하고, 콘텐츠 구성을 개선하며, 상호작용 기능을 강화할 수 있도록 돕습니다. 본 글에서는 컴퓨터 비전이 스트리밍 플랫폼의 콘텐츠 전달 개선, 사용자 참여도 제고, 콘텐츠 탐색 단순화를 어떻게 돕는지 살펴보겠습니다. 시작하겠습니다!

Fig 1. 글로벌 비디오 스트리밍 시장.

컴퓨터 비전과 스트리밍 플랫폼 탐색#

스트리밍 플랫폼의 경우, 컴퓨터 비전은 비디오를 개별 프레임으로 분할하고 Ultralytics YOLO11과 같은 모델을 사용하여 분석하는 데 도움을 줍니다. YOLO11은 라벨이 지정된 방대한 예제 데이터셋으로 커스텀 학습될 수 있습니다. 라벨이 지정된 예제는 포함된 객체, 발생하는 작업, 또는 장면의 유형 등의 세부 정보가 태그된 이미지나 비디오 프레임입니다. 이는 모델이 유사한 패턴을 인식하는 방법을 학습하는 데 도움을 줍니다. 이러한 모델은 객체를 탐지하고, classify scenes, 실시간으로 패턴을 식별하여 콘텐츠에 대한 유용한 인사이트를 제공할 수 있습니다.

이 과정이 어떻게 작동하는지 더 잘 이해하기 위해 컴퓨터 비전이 스트리밍 플랫폼에 적용되어 사용자 경험을 최적화하고 콘텐츠 접근성을 높이는 몇 가지 사례를 살펴보겠습니다.

개인화된 추천을 위한 장면 인식#

장면 인식은 시각적 콘텐츠와 테마를 기반으로 이미지나 비디오 프레임을 분류하는 computer vision technique입니다. 이는 개별 객체보다는 장면의 전체적인 설정이나 분위기를 식별하는 데 초점을 맞춘 이미지 분류의 특수한 형태로 볼 수 있습니다.

예를 들어, 장면 인식 시스템은 색상, 질감, 조명, 객체와 같은 특징을 분석하여 장면을 "침실", "숲속 오솔길" 또는 "바위가 많은 해안"과 같은 카테고리로 그룹화할 수 있습니다. 장면 인식을 통해 스트리밍 플랫폼은 콘텐츠를 효과적으로 태그하고 구성할 수 있습니다.

Fig 2. AI를 사용한 장면 분류.

이는 personalized recommendations에서 핵심적인 역할을 합니다. 사용자가 "화창한 해안" 같은 평온한 야외 환경이나 "세련된 주방" 같은 트렌디한 인테리어가 포함된 콘텐츠를 자주 시청하는 경우, 플랫폼은 유사한 시각적 요소를 가진 프로그램이나 영화를 추천할 수 있습니다. 장면 인식을 통해 콘텐츠 탐색이 간소화되고 사용자의 시청 선호도에 부합하는 추천이 제공됩니다.

이미지 및 썸네일 생성#

Image and thumbnail generation은 시청자의 이목을 끌고 주요 순간을 강조하기 위해 비디오의 시각적 미리보기를 생성하는 과정입니다. AI와 컴퓨터 비전은 이 과정을 자동화하여 썸네일이 관련성 있고 눈에 띄도록 보장할 수 있습니다.

프로세스 작동 방식은 다음과 같습니다.

• 프레임 분석: 컴퓨터 비전 시스템은 수천 개의 비디오 프레임을 스캔하여 눈에 띄는 순간을 식별하는 것으로 시작합니다. 여기에는 감정 표현, 주요 동작 또는 비디오 콘텐츠를 가장 잘 나타내는 시각적으로 인상적인 장면이 포함될 수 있습니다.
• 동작 분석: 잠재적인 프레임이 선택되면, Vision AI를 사용하여 프레임이 선명하고 흐림 현상이 없는지 확인하여 썸네일의 전반적인 시각적 품질을 높입니다.
• Object Detection 및 장면 분석: 객체 탐지 및 인스턴스 세분화와 같은 컴퓨터 비전 작업을 지원하는 YOLO11과 같은 모델을 사용하여, 시스템은 프레임 내의 객체, 등장인물, 설정과 같은 중요한 요소를 탐지할 수 있습니다. 이 단계는 썸네일이 비디오의 본질을 정확하게 반영하고 있음을 재확인해 줍니다.
• 이미지 정교화: 선택된 프레임은 camera 각도, 조명, 구도 등의 요소를 고려하여 한층 더 정교화됩니다.
• 개인화: 마지막으로, machine learning 알고리즘을 사용하여 사용자 선호도와 시청 기록을 기반으로 썸네일을 개인화할 수 있습니다. 이를 통해 시각적 요소를 개인의 취향에 맞게 조정함으로써 사용자의 주의를 더 잘 끌고 참여를 유도할 수 있습니다.

이와 유사한 실제 적용 사례로는 자동으로 썸네일을 생성하기 위한 Netflix’s use of computer vision을 들 수 있습니다. 프레임을 분석하여 감정, 맥락, 시네마틱 디테일을 감지함으로써, 넷플릭스는 개별 시청자의 선호도에 공감하는 썸네일을 생성합니다. 예를 들어, 로맨틱 코미디를 즐겨보는 사용자에게는 밝고 유쾌한 순간을 강조하는 썸네일이 표시되는 반면, 액션 팬에게는 강렬하고 에너지 넘치는 장면에 노출될 수 있습니다.

그림 3. TV 쇼 썸네일은 시청자 선호도에 맞춰 맞춤화될 수 있습니다.

자동화된 콘텐츠 미리보기#

스트리밍 플랫폼을 탐색할 때 눈에 띄는 짧고 eye-catching previews는 무작위로 생성된 것이 아닙니다. 이는 사용자의 이목을 사로잡고 비디오의 가장 매력적인 순간을 부각하기 위해 컴퓨터 비전과 같은 기술을 사용하여 세심하게 제작된 것입니다. 최고의 순간이 선택되면, 이들은 부드럽고 매력적인 하나의 미리보기로 매끄럽게 연결됩니다.

그러한 순간을 선택하는 과정에는 몇 가지 핵심 단계가 포함됩니다.

• 장면 분할: 비디오는 조명, 카메라 앵글 또는 시각적 요소의 변화와 같은 자연스러운 전환을 기준으로 더 작은 섹션으로 나뉩니다.
• 동작 감지: 미리보기가 시선을 사로잡을 수 있도록 역동적이고 액션이 가득한 순간을 식별합니다.
• 현저성 모델: 장면에서 가장 눈길을 끄는 부분을 정확히 파악하기 위해 색상, 밝기, 대비와 같은 시각적 특징을 분석합니다.
• Facial Expression Analysis: 시청자와의 더 깊은 유대감을 형성하기 위해 강한 감정 표현이 담긴 순간들이 선택됩니다.

콘텐츠 분류 및 태깅#

장르, 분위기 또는 특정 테마별로 movies를 탐색하는 기능은 정확한 콘텐츠 분류 및 태깅에 의존합니다. 인기 스트리밍 플랫폼은 비디오에서 객체, 행동, 설정 또는 감정을 분석한 후 관련 태그를 할당하는 방식으로 이 과정을 자동화하기 위해 컴퓨터 비전을 사용합니다. 이는 방대한 미디어 라이브러리를 정리하는 데 도움을 주며, 콘텐츠를 시청자의 선호도에 맞춰 개인화된 추천의 정확도를 높여줍니다.

장면 세분화, 객체 탐지, activity recognition과 같은 비전 AI 기법은 콘텐츠에 효과적으로 태그를 지정하는 데 사용될 수 있습니다. 객체, 감정적 어조, 행동과 같은 핵심 요소를 식별함으로써 각 타이틀에 대한 상세한 메타데이터를 생성합니다. 그런 다음 이 메타데이터를 머신 러닝을 통해 분석하여 사용자가 원하는 콘텐츠를 더 쉽게 찾고 전반적인 탐색 경험을 향상할 수 있는 카테고리를 만들 수 있습니다.

그림 4. 개인화된 스트리밍 추천을 위한 자동화된 콘텐츠 분류 사례.

AI 지원 스트리밍 플랫폼의 이점과 과제#

컴퓨터 비전은 사용자 경험을 향상하는 혁신적인 기능으로 스트리밍 플랫폼을 개선하고 있습니다. 고려해야 할 몇 가지 고유한 이점은 다음과 같습니다.

• 적응형 스트리밍 품질: 컴퓨터 비전은 비디오 장면을 분석하여 더 높은 품질이 필요한 고동작 또는 세밀한 순간을 찾아낼 수 있습니다. 이러한 통찰력을 사용하여 사용자의 기기와 인터넷 속도에 맞게 스트리밍 품질을 조정할 수 있습니다.
• 실시간 행동 모니터링: AI는 라이브 스트림을 모니터링하여 실시간으로 불법 복제를 감지하는 데 사용될 수 있습니다. 또한 로고나 광고와 같은 오버레이를 추가하거나 스트림을 다른 플랫폼으로 재방송하는 등의 무단 행위를 식별할 수 있습니다.
• 에너지 효율적인 콘텐츠 전달: 비전 AI 인사이트는 사용자 수요와 시청 패턴을 분석하여 콘텐츠 전달을 최적화할 수 있습니다. 인기 콘텐츠를 로컬에 캐시하고 비디오 품질을 조정함으로써 대역폭 사용량과 에너지 소비를 줄여 스트리밍을 더 sustainable하게 만들 수 있습니다.

다양한 장점에도 불구하고 이러한 혁신을 구현할 때 염두에 두어야 할 특정 한계가 있습니다.

• High Computational Demands: 컴퓨터 비전 알고리즘은 비디오 콘텐츠를 처리하고 분석하는 데 막대한 연산 능력이 필요하며, 이는 비용 증가와 에너지 소비로 이어질 수 있습니다.

• Data Privacy Concerns: 컴퓨터 비전은 사용자 상호작용과 콘텐츠로 이루어진 방대한 데이터셋에 의존하기 때문에, 데이터 프라이버시와 보안에 대한 우려를 야기할 수 있습니다.

• Data Bias: 컴퓨터 비전 모델은 학습 데이터에 내재된 편향을 반영할 수 있습니다. 이로 인해 특정 유형의 콘텐츠를 편애하고 추천의 다양성이 줄어들 수 있습니다.

스트리밍 플랫폼에서 AI의 미래#

엣지 컴퓨팅과 3D 기술 같은 혁신은 우리가 엔터테인먼트를 경험하는 방식의 미래를 형성하는 데 기여하고 있습니다. Edge computing은 스트리밍이 이루어지는 곳에 더 가까운 위치에서 비디오를 처리하는 데 사용될 수 있습니다. 이는 reduces delays하고 대역폭을 절약해주며, 라이브 스트리밍과 인터랙티브 콘텐츠에 특히 중요합니다. 더 빠른 응답 시간은 시청자에게 더 부드럽고 몰입감 넘치는 경험을 의미합니다.

동시에 3D 기술은 쇼, 영화, 인터랙티브 기능에 깊이감과 현실감을 더하고 있습니다. 이러한 발전은 augmented reality (AR) 및 가상현실(VR)과 같은 새로운 가능성의 문을 열어주고 있습니다. VR 헤드셋 같은 기기를 통해 시청자는 완전히 몰입할 수 있는 환경 속으로 걸어 들어갈 수 있습니다. 디지털 세계와 물리적 세계의 경계가 모호해져 전혀 새로운 차원의 참여도를 만들어낼 수 있습니다.

Fig 5. VR 기반 인터랙티브 경험으로 재편되는 스트리밍.

핵심 요약#

컴퓨터 비전은 비디오 분석을 더 스마트하게 만들고, 콘텐츠 분류를 더 빠르게 하며, 추천 기능을 더 개인화함으로써 스트리밍 플랫폼을 재정의하고 있습니다. Ultralytics YOLO11과 같은 모델을 통해 플랫폼은 실시간으로 객체를 감지하고 장면을 분류할 수 있습니다. 이는 콘텐츠 태깅을 쉽게 만들고 쇼와 영화가 제안되는 방식을 개선하는 데 도움이 됩니다.

Vision AI가 통합된 스트리밍 플랫폼은 시청자에게 더 매력적인 경험을 제공하는 동시에 더 원활하고 효율적인 플랫폼 운영을 보장합니다. 기술이 발전함에 따라 스트리밍 서비스는 더욱 상호작용적이고 풍부하며 몰입감 있는 엔터테인먼트 경험을 제공하게 될 것입니다.

AI에 대해 더 알고 싶으신가요? GitHub repository를 방문하여 더 많은 내용을 살펴보고 저희 community에 참여해 보세요. AI in healthcare 및 computer vision in agriculture의 다양한 활용 사례를 발견해 보세요.