Dando uma olhada nos bastidores da IA de visão em streaming

Já te perguntaste como é que as plataformas de streaming tornam tão fácil ver os teus programas favoritos? Há pouco tempo, o entertainment era muito diferente. Os horários de TV eram fixos e os espectadores viam geralmente o que estava no ar. Os serviços de streaming mudaram este paradigma. As sondagens mostram que o mercado de global video streaming foi avaliado em 106,83 mil milhões de dólares em 2023 e prevê-se que atinja 865,85 mil milhões de dólares até 2034.

A Artificial intelligence (AI) tem sido fundamental nesta evolução. Especificamente, estamos a ver um aumento nas inovações de computer vision neste campo. A visão IA permite que as plataformas de streaming compreendam e interpretem conteúdos de vídeo através da análise de fotogramas e do reconhecimento de padrões.

Ao processar visual data, a visão por computador ajuda as plataformas a criar recomendações mais inteligentes, a melhorar a organização de conteúdos e até a potenciar funcionalidades interativas. Neste artigo, vamos explorar como a visão por computador ajuda as plataformas de streaming a melhorar a entrega de conteúdos, a refinar o envolvimento do utilizador e a simplificar a descoberta de conteúdos. Vamos a isto!

Fig 1. O Mercado Global de Streaming de Vídeo.

Explorando a visão computacional e plataformas de streaming#

Quando se trata de plataformas de streaming, a visão por computador pode ajudar a dividir os vídeos em fotogramas individuais e a analisá-los utilizando modelos como o Ultralytics YOLO11. O YOLO11 pode ser treinado à medida em grandes conjuntos de dados de exemplos rotulados. Os exemplos rotulados são imagens ou fotogramas de vídeo marcados com detalhes como os objetos que contêm, as ações que ocorrem ou o tipo de cena. Isto ajuda o modelo a aprender a reconhecer padrões semelhantes. Estes modelos conseguem detetar objetos, classify scenes e identificar padrões em tempo real, fornecendo informações valiosas sobre o conteúdo.

Para entender melhor como isso funciona, vamos ver alguns exemplos de como a visão computacional é aplicada em plataformas de streaming para otimizar a experiência do utilizador e tornar o conteúdo mais acessível.

Reconhecimento de cena para recomendações personalizadas#

O reconhecimento de cenas é uma computer vision technique que categoriza imagens ou fotogramas de vídeo com base no seu conteúdo visual e temas. Pode ser encarado como uma forma especializada de classificação de imagens, em que o foco está em identificar o cenário geral ou a atmosfera de uma cena em vez de objetos individuais.

Por exemplo, um sistema de reconhecimento de cena pode agrupar cenas em categorias como "quarto de hóspedes", "caminho na floresta" ou "costa rochosa", analisando características como cores, texturas, iluminação e objetos. O reconhecimento de cena permite que as plataformas de streaming marquem e organizem conteúdo de forma eficaz.

Fig 2. Categorização de cenas com recurso a IA.

Desempenha um papel fundamental em personalized recommendations. Se um utilizador vê frequentemente conteúdos com ambientes exteriores tranquilos como "costas ensolaradas" ou interiores modernos como "cozinha elegante", a plataforma pode recomendar programas ou filmes com visuais semelhantes. O reconhecimento de cenas simplifica a descoberta de conteúdos e apresenta aos utilizadores recomendações que correspondem às suas preferências de visualização.

Geração de imagem e miniatura#

A Image and thumbnail generation é o processo de criação de pré-visualizações visuais para vídeos, de forma a atrair espectadores e destacar momentos-chave. A IA e a visão por computador podem automatizar este processo para garantir que as miniaturas são relevantes e apelativas.

Eis como o processo funciona:

• Análise de Fotogramas: Um sistema de visão computacional pode começar por digitalizar milhares de fotogramas de vídeo para identificar momentos de destaque. Estes podem incluir expressões emocionais, ações chave ou cenas visualmente impressionantes que melhor representam o conteúdo do vídeo.
• Análise de Movimento: Uma vez selecionados os potenciais fotogramas, a IA de visão pode ser usada para verificar se estão nítidos e livres de desfocagem, aumentando a qualidade visual geral da miniatura.
• Object Detection e Análise de Cenas: Utilizando modelos como o YOLO11 (que suportam tarefas de visão por computador como deteção de objetos e segmentação de instâncias), o sistema consegue detetar elementos importantes no fotograma, tais como objetos, personagens ou cenários. Este passo reconfirma que a miniatura reflete com precisão a essência do vídeo.
• Refinação de Imagem: Os fotogramas selecionados são depois refinados tendo em conta fatores como ângulos de camera, iluminação e composição.
• Personalização: Por fim, os algoritmos de machine learning podem ser utilizados para personalizar as miniaturas com base nas preferências e histórico de visualização do utilizador. Ao fazê-lo, os visuais são adaptados aos gostos individuais, tornando-os mais propensos a captar a atenção e a impulsionar o envolvimento.

Um bom exemplo de uma aplicação real semelhante é a Netflix’s use of computer vision para gerar miniaturas automaticamente. Ao analisar fotogramas para detetar emoções, contexto e detalhes cinematográficos, a Netflix cria miniaturas que ressoam com as preferências individuais dos espectadores. Por exemplo, os utilizadores que gostam de comédias românticas podem ver uma miniatura a destacar um momento leve, enquanto os fãs de ação podem deparar-se com uma cena intensa e de alta energia.

Fig 3. As miniaturas de programas de TV podem ser personalizadas para corresponder às preferências do espectador.

Pré-visualizações de conteúdo automatizadas#

Quando percorres uma plataforma de streaming, as eye-catching previews curtas que vês não são aleatórias. São cuidadosamente criadas utilizando tecnologias como a visão por computador para captar a atenção e destacar os momentos mais marcantes de um vídeo. Uma vez selecionados os melhores momentos, são unidos numa pré-visualização fluida e envolvente.

O processo por detrás da seleção desses momentos envolve vários passos chave:

• Segmentação de Cena: O vídeo é dividido em secções mais pequenas com base em transições naturais, como mudanças na iluminação, ângulos de câmara ou visuais.
• Deteção de Movimento: Momentos dinâmicos e cheios de ação são identificados para garantir que a pré-visualização capte a atenção.
• Modelos de Saliência: Características visuais como cor, brilho e contraste são analisadas para localizar as partes mais chamativas de uma cena.
• Facial Expression Analysis: Os momentos com expressões emocionais fortes são selecionados para criar uma ligação mais profunda com os espectadores.

Categorização e marcação de conteúdo#

A capacidade de navegar por movies por género, estado de espírito ou temas específicos depende de uma categorização e marcação precisas de conteúdos. As plataformas de streaming populares utilizam a visão por computador para automatizar este processo, analisando os vídeos em busca de objetos, ações, cenários ou emoções, e atribuindo depois etiquetas relevantes. Isto ajuda a organizar grandes bibliotecas multimédia e torna as recomendações personalizadas mais precisas, fazendo corresponder o conteúdo às preferências do espectador.

As técnicas de visão IA, como a segmentação de cenas, a deteção de objetos e o activity recognition, podem ser utilizadas para etiquetar conteúdos de forma eficaz. Ao identificar elementos essenciais como objetos, tons emocionais e ações, criam metadados detalhados para cada título. Os metadados podem então ser analisados utilizando aprendizagem automática para criar categorias que facilitam a procura do que os utilizadores pretendem e melhoram a experiência global de navegação.

Fig 4. Um exemplo de categorização automatizada de conteúdo para recomendações de streaming personalizadas.

Benefícios e desafios das plataformas de streaming habilitadas por IA#

A visão computacional está a melhorar as plataformas de streaming com funcionalidades inovadoras que aprimoram a experiência do utilizador. Aqui estão alguns benefícios únicos a considerar:

• Qualidade de Streaming Adaptável: A visão computacional pode analisar cenas de vídeo para detetar momentos de alto movimento ou detalhados que necessitam de maior qualidade. Estas informações podem então ser usadas para ajustar a qualidade do streaming para se adequar ao dispositivo e à velocidade da internet do utilizador.
• Monitorização de Comportamento em Tempo Real: A IA pode ser usada para monitorizar transmissões em direto para detetar pirataria em tempo real. Também pode identificar ações não autorizadas, como adicionar sobreposições (ex.: logótipos ou anúncios) ou retransmitir streams para outras plataformas.
• Entrega de Conteúdos Eficiente em Termos Energéticos: as informações da visão IA podem otimizar a entrega de conteúdos através da análise da procura dos utilizadores e dos padrões de visualização. Armazenar conteúdos populares em cache localmente e ajustar a qualidade do vídeo reduz a utilização de largura de banda e o consumo de energia, tornando o streaming mais sustainable.

Apesar da gama de vantagens, existem também certas limitações a ter em conta ao implementar estas inovações:

• High Computational Demands: Os algoritmos de visão por computador exigem um elevado poder computacional para processar e analisar conteúdos de vídeo, o que pode resultar num aumento de custos e de consumo de energia.

• Data Privacy Concerns: Como a visão por computador depende de grandes conjuntos de dados de interações de utilizadores e conteúdos, pode levantar preocupações sobre a privacidade e a segurança dos dados.

• Data Bias: Os modelos de visão por computador podem refletir preconceitos nos seus dados de treino. Isto pode fazer com que favoreçam determinados tipos de conteúdo e reduzam a variedade nas recomendações.

O futuro da IA em plataformas de streaming#

Inovações como a computação de borda e a tecnologia 3D estão a ajudar a moldar o futuro da forma como vamos experienciar o entretenimento. O Edge computing pode ser utilizado para processar vídeos mais perto de onde são transmitidos. reduces delays e poupa largura de banda, o que é especialmente importante para transmissões em direto e conteúdos interativos. Tempos de resposta mais rápidos significam experiências mais suaves e envolventes para os espectadores.

Ao mesmo tempo, a tecnologia 3D está a adicionar profundidade e realismo a programas, filmes e funcionalidades interativas. Estes avanços também abrem a porta a novas possibilidades, como a augmented reality (AR) e a realidade virtual (VR). Com dispositivos como óculos de realidade virtual, os espectadores podem entrar em ambientes totalmente imersivos. As fronteiras entre os mundos digital e físico podem ser esbatidas para criar um nível totalmente novo de envolvimento.

Fig 5. A reconfiguração do streaming com experiências interativas impulsionadas por VR.

Principais pontos#

A visão computacional está a redefinir as plataformas de streaming ao tornar a análise de vídeo mais inteligente, a categorização de conteúdo mais rápida e as recomendações mais personalizadas. Com modelos como o Ultralytics YOLO11, as plataformas podem detetar objetos e classificar cenas em tempo real. Isto ajuda a facilitar a marcação de conteúdo e melhora a forma como programas e filmes são sugeridos.

As plataformas de streaming integradas com IA de visão oferecem experiências mais envolventes para os espectadores, garantindo operações de plataforma mais fluidas e eficientes. À medida que a tecnologia avança, os serviços de streaming provavelmente tornar-se-ão mais interativos, oferecendo experiências de entretenimento mais ricas e imersivas.

Curioso sobre IA? Visita o nosso GitHub repository para explorar mais e ligar-te à nossa community. Descobre várias aplicações de AI in healthcare e computer vision in agriculture.