Uma visão dos bastidores da IA de visão no streaming

Já se perguntou como as plataformas de streaming tornam tão fácil assistir às suas séries favoritas? Ainda não faz muito tempo, o entretenimento era muito diferente. Os horários dos programas de TV eram fixos e, em geral, os espectadores assistiam ao que estava no ar. Os serviços de streaming mudaram esse paradigma. Pesquisas mostram que o mercado global de streaming de vídeo foi avaliado em 106,83 bilhões de dólares em 2023 e deverá atingir 865,85 bilhões de dólares até 2034.

A inteligência artificial (AI) foi fundamental nessa evolução. Especificamente, estamos a assistir a um aumento das inovações de visão computacional neste campo. A IA de visão permite que as plataformas de streaming compreendam e interpretem o conteúdo de vídeo analisando frames e reconhecendo padrões.

Ao processar dados visuais, a visão computacional ajuda as plataformas a criar recomendações mais inteligentes, melhorar a organização do conteúdo e até aperfeiçoar funcionalidades interativas. Neste artigo, vamos explorar como a visão computacional ajuda as plataformas de streaming a melhorar a distribuição de conteúdo, aperfeiçoar o envolvimento dos utilizadores e simplificar a descoberta de conteúdo. Vamos começar!

Fig. 1. O mercado global de streaming de vídeo.

Explorar a visão computacional e as plataformas de streaming#

Nas plataformas de streaming, a visão computacional pode ajudar a dividir os vídeos em frames individuais e analisá-los com modelos como o Ultralytics YOLO11. O YOLO11 pode ser treinado de forma personalizada com grandes conjuntos de dados de exemplos anotados. Os exemplos anotados são imagens ou frames de vídeo marcados com detalhes como os objetos que contêm, as ações que estão a ocorrer ou o tipo de cena. Isto ajuda o modelo a aprender a reconhecer padrões semelhantes. Estes modelos podem detetar objetos, classificar cenas e identificar padrões em tempo real, fornecendo informações valiosas sobre o conteúdo.

Para compreender melhor como isto funciona, vejamos alguns exemplos de como a visão computacional é aplicada nas plataformas de streaming para otimizar a experiência do utilizador e tornar o conteúdo mais acessível.

Reconhecimento de cenas para recomendações personalizadas#

O reconhecimento de cenas é uma técnica de visão computacional que categoriza imagens ou frames de vídeo com base no seu conteúdo visual e nos seus temas. Pode ser entendido como uma forma especializada de classificação de imagens, na qual o foco está em identificar o cenário ou a atmosfera geral de uma cena, em vez de objetos individuais.

Por exemplo, um sistema de reconhecimento de cenas pode agrupar cenas em categorias como "quarto sobressalente", "caminho na floresta" ou "costa rochosa", analisando características como cores, texturas, iluminação e objetos. O reconhecimento de cenas permite que as plataformas de streaming etiquetem e organizem o conteúdo de forma eficaz.

Fig. 2. Categorização de cenas com IA.

Desempenha um papel fundamental nas recomendações personalizadas. Se um utilizador assiste frequentemente a conteúdos com ambientes exteriores tranquilos, como "costas ensolaradas", ou a interiores modernos, como "cozinhas elegantes", a plataforma pode recomendar séries ou filmes com visuais semelhantes. O reconhecimento de cenas simplifica a descoberta de conteúdo e apresenta aos utilizadores recomendações alinhadas com as suas preferências de visualização.

Geração de imagens e miniaturas#

A geração de imagens e miniaturas é o processo de criar pré-visualizações visuais de vídeos para atrair espectadores e destacar momentos importantes. A IA e a visão computacional podem automatizar este processo para garantir que as miniaturas sejam relevantes e chamativas.

Eis como o processo funciona:

• Análise de frames: Um sistema de visão computacional pode começar por analisar milhares de frames de vídeo para identificar momentos marcantes. Estes podem incluir expressões emocionais, ações importantes ou cenas visualmente impressionantes que representem melhor o conteúdo do vídeo.
• Análise de movimento: Depois de selecionados os frames potenciais, a IA de visão pode ser utilizada para verificar se estão nítidos e sem desfocagem, melhorando a qualidade visual geral da miniatura.
• Deteção de objetos e análise de cenas: Ao utilizar modelos como o YOLO11 (que suportam tarefas de visão computacional como deteção de objetos e segmentação de instâncias), o sistema pode detetar elementos importantes no frame, como objetos, personagens ou cenários. Esta etapa confirma novamente que a miniatura reflete com precisão a essência do vídeo.
• Aperfeiçoamento da imagem: Os frames selecionados são depois aperfeiçoados tendo em conta fatores como os ângulos da câmara, a iluminação e a composição.
• Personalização: Por fim, os algoritmos de aprendizagem automática podem ser utilizados para personalizar as miniaturas com base nas preferências e no histórico de visualização do utilizador. Isto adapta os elementos visuais aos gostos individuais, tornando-os mais propensos a chamar a atenção e a aumentar o envolvimento.

Um bom exemplo de uma aplicação semelhante no mundo real é a utilização de visão computacional pela Netflix para gerar miniaturas automaticamente. Ao analisar frames para detetar emoções, contexto e detalhes cinematográficos, a Netflix cria miniaturas que correspondem às preferências de cada espectador. Por exemplo, os utilizadores que apreciam comédias românticas podem ver uma miniatura que destaca um momento descontraído, enquanto os fãs de ação podem ver uma cena intensa e cheia de energia.

Fig. 3. As miniaturas de séries de TV podem ser personalizadas de acordo com as preferências dos espectadores.

Pré-visualizações automatizadas de conteúdo#

Quando percorres uma plataforma de streaming, as curtas pré-visualizações chamativas que vês não são aleatórias. São cuidadosamente criadas com tecnologias como a visão computacional para captar a atenção e destacar os momentos mais interessantes de um vídeo. Depois de selecionados os melhores momentos, estes são unidos numa pré-visualização fluida e envolvente.

O processo de seleção desses momentos envolve várias etapas importantes:

• Segmentação de cenas: O vídeo é dividido em secções mais pequenas com base em transições naturais, como alterações na iluminação, nos ângulos da câmara ou nos elementos visuais.
• Deteção de movimento: São identificados momentos dinâmicos e repletos de ação para garantir que a pré-visualização capta a atenção.
• Modelos de saliência: Características visuais como cor, luminosidade e contraste são analisadas para localizar as partes mais chamativas de uma cena.
• Análise de expressões faciais: São selecionados momentos com expressões emocionais fortes para criar uma ligação mais profunda com os espectadores.

Categorização e etiquetagem de conteúdo#

A possibilidade de navegar por filmes por género, estado de espírito ou temas específicos depende de uma categorização e etiquetagem precisas do conteúdo. As plataformas de streaming populares utilizam a visão computacional para automatizar este processo, analisando os vídeos em busca de objetos, ações, cenários ou emoções e atribuindo depois etiquetas relevantes. Isto ajuda a organizar grandes bibliotecas multimédia e torna as recomendações personalizadas mais precisas, associando o conteúdo às preferências dos espectadores.

Técnicas de IA de visão, como segmentação de cenas, deteção de objetos e reconhecimento de atividades, podem ser utilizadas para etiquetar conteúdo de forma eficaz. Ao identificar elementos importantes, como objetos, tons emocionais e ações, estas técnicas criam metadados detalhados para cada título. Os metadados podem depois ser analisados com aprendizagem automática para criar categorias que facilitam a localização do conteúdo pretendido pelos utilizadores e melhoram a experiência geral de navegação.

Fig. 4. Um exemplo de categorização automatizada de conteúdo para recomendações personalizadas de streaming.

Benefícios e desafios das plataformas de streaming com IA#

A visão computacional está a melhorar as plataformas de streaming com funcionalidades inovadoras que aperfeiçoam a experiência do utilizador. Eis alguns benefícios exclusivos a considerar:

• Qualidade de streaming adaptativa: A visão computacional pode analisar cenas de vídeo para detetar momentos com muito movimento ou com muitos detalhes que exigem maior qualidade. Estas informações podem ser utilizadas para ajustar a qualidade do streaming ao dispositivo e à velocidade da Internet do utilizador.
• Monitorização do comportamento em tempo real: A IA pode ser utilizada para monitorizar transmissões em direto e detetar pirataria em tempo real. Também pode identificar ações não autorizadas, como adicionar sobreposições (por exemplo, logótipos ou anúncios) ou retransmitir transmissões para outras plataformas.
• Distribuição de conteúdo energeticamente eficiente: As informações da IA de visão podem otimizar a distribuição de conteúdo através da análise da procura dos utilizadores e dos padrões de visualização. Armazenar conteúdo popular localmente em cache e ajustar a qualidade do vídeo reduz a utilização de largura de banda e o consumo de energia, tornando o streaming mais sustentável.

Apesar da variedade de vantagens, também existem algumas limitações a ter em conta ao implementar estas inovações:

• Elevadas exigências computacionais: Os algoritmos de visão computacional exigem um elevado poder computacional para processar e analisar conteúdo de vídeo, o que pode levar ao aumento dos custos e do consumo de energia.

• Preocupações com a privacidade dos dados: Como a visão computacional depende de grandes conjuntos de dados de interações dos utilizadores e de conteúdos, pode suscitar preocupações relacionadas com a privacidade e a segurança dos dados.

• Enviesamento dos dados: Os modelos de visão computacional podem refletir enviesamentos presentes nos seus dados de treino. Isto pode levá-los a favorecer determinados tipos de conteúdo e reduzir a variedade das recomendações.

O futuro da IA nas plataformas de streaming#

Inovações como a computação de edge e a tecnologia 3D estão a ajudar a moldar o futuro da forma como vamos experienciar o entretenimento. A computação de edge pode ser utilizada para processar vídeos mais perto do local onde são transmitidos. Ela reduz os atrasos e poupa largura de banda, o que é especialmente importante para transmissões em direto e conteúdos interativos. Tempos de resposta mais rápidos significam experiências mais fluidas e envolventes para os espectadores.

Ao mesmo tempo, a tecnologia 3D está a acrescentar profundidade e realismo a séries, filmes e funcionalidades interativas. Estes avanços também abrem caminho a novas possibilidades, como a realidade aumentada (AR) e a realidade virtual (VR). Com dispositivos como headsets de VR, os espectadores podem entrar em ambientes totalmente imersivos. As fronteiras entre os mundos digital e físico podem ser esbatidas para criar um nível de envolvimento totalmente novo.

Fig. 5. A transformar o streaming com experiências interativas baseadas em VR.

Principais conclusões#

A visão computacional está a redefinir as plataformas de streaming, tornando a análise de vídeo mais inteligente, a categorização de conteúdo mais rápida e as recomendações mais personalizadas. Com modelos como o Ultralytics YOLO11, as plataformas podem detetar objetos e classificar cenas em tempo real. Isto facilita a etiquetagem do conteúdo e melhora a forma como as séries e os filmes são recomendados.

As plataformas de streaming integradas com IA de visão proporcionam experiências mais envolventes aos espectadores, assegurando simultaneamente operações mais fluidas e eficientes. À medida que a tecnologia avança, é provável que os serviços de streaming se tornem mais interativos, oferecendo experiências de entretenimento mais ricas e imersivas.

Tens curiosidade sobre IA? Visita o nosso repositório no GitHub para explorar mais e contactar a nossa comunidade. Descobre várias aplicações de IA na área da saúde e de visão computacional na agricultura.