深入了解流媒体中视觉人工智能的幕后故事

你有没有想过，流媒体平台为什么能让你如此轻松地观看你喜爱的节目？不久前，entertainment 还是完全不同的面貌。电视节目表是固定的，观众通常只能看正在播出的内容。流媒体服务改变了这种模式。调查显示，2023 年global video streaming 市场的价值为 1068.3 亿美元，预计到 2034 年将达到 8658.5 亿美元。

Artificial intelligence (AI) 在这一演变过程中起到了关键作用。具体而言，我们看到该领域的 computer vision 创新日益增多。视觉 AI 允许流媒体平台通过分析帧和识别模式来理解和解释视频内容。

通过处理 visual data，计算机视觉帮助平台创建更聪明的推荐、改进内容组织，甚至增强互动功能。在本文中，我们将探讨计算机视觉如何帮助流媒体平台改善内容分发、提升用户参与度并简化内容发现。我们开始吧！

Fig 1. 全球视频流媒体市场。

探索计算机视觉与流媒体平台#

对于流媒体平台，计算机视觉可以帮助将视频分解为单个帧，并使用诸如 Ultralytics YOLO11 等模型进行分析。YOLO11 可以在包含大量标注示例的数据集上进行自定义训练。标注示例是带有详细信息的图像或视频帧，例如它们包含的对象、正在发生的动作或场景类型。这有助于模型学习识别类似模式。这些模型可以实时检测对象、classify scenes 并识别模式，从而为内容提供宝贵的洞察。

为了更好地理解其工作原理，让我们看看计算机视觉如何在流媒体平台中应用，以优化用户体验并提高内容的可访问性。

用于个性化推荐的场景识别#

场景识别是一种 computer vision technique，根据图像或视频帧的视觉内容和主题对其进行分类。它可以被看作是图像分类的一种特殊形式，其重点是识别场景的整体环境或氛围，而不是单个对象。

例如，场景识别系统可以通过分析颜色、纹理、光照和对象等特征，将场景分为“备用卧室”、“林间小路”或“岩石海岸”等类别。场景识别使流媒体平台能够有效地标记和组织内容。

Fig 2. 使用 AI 对场景进行分类。

它在 personalized recommendations 中发挥着关键作用。如果用户经常观看具有宁静户外环境（如“阳光海岸”）或时尚室内装潢（如“时尚厨房”）的内容，平台就可以推荐具有类似视觉效果的节目或电影。场景识别简化了内容发现，并向用户展示符合其观看偏好的推荐。

图像和缩略图生成#

Image and thumbnail generation 是为视频创建视觉预览以吸引观众并突出关键时刻的过程。AI 和计算机视觉可以使这一过程自动化，以确保缩略图相关且引人注目。

以下是该过程的工作方式：

• 帧分析： 计算机视觉系统可以首先扫描数千个视频帧，以识别出众的时刻。这些时刻可能包括情绪表达、关键动作或最能代表视频内容的视觉震撼场景。
• 运动分析： 一旦选择了潜在的帧，就可以使用视觉 AI 来检查它们是否清晰且没有模糊，从而提升缩略图的整体视觉质量。
• Object Detection 与场景分析： 使用诸如 YOLO11（支持对象检测和实例分割等计算机视觉任务）的模型，系统可以检测帧中的重要元素，例如对象、角色或环境。这一步再次确认了缩略图准确地反映了视频的精髓。
• 图像精炼： 然后，通过考虑 camera 角度、光线和构图等因素来精炼选定的帧。
• 个性化： 最后，可以利用 machine learning 算法根据用户的偏好和观看历史来个性化缩略图。这样做可以根据个人口味定制视觉效果，使它们更有可能吸引注意力并推动参与度。

类似实际应用的一个好例子是 Netflix’s use of computer vision 自动生成缩略图。通过分析帧来检测情绪、背景和电影细节，Netflix 创建了能够引起个别观众偏好共鸣的缩略图。例如，喜欢浪漫喜剧的用户可能会看到突出轻松时刻的缩略图，而动作迷可能会看到紧张、高能量的场景。

图 3. 电视节目缩略图可以根据观众偏好进行定制。

自动化内容预览#

当你浏览流媒体平台时，你看到的简短、eye-catching previews 并不是随机的。它们是使用计算机视觉等技术精心制作的，旨在吸引注意力并突出视频中最引人注目的时刻。一旦选出最佳时刻，它们就会被拼接成流畅、引人入胜的预览。

选择这些时刻背后的过程涉及几个关键步骤：

• 场景分割：视频根据自然过渡（例如光照、摄像机角度或视觉效果的变化）被划分为更小的部分。
• 运动检测：识别出动态、充满动作的时刻，以确保预览能够吸引注意力。
• 显著性模型：分析颜色、亮度和对比度等视觉特征，以精准定位场景中最引人注目的部分。
• Facial Expression Analysis：选择具有强烈情绪表达的时刻，以与观众建立更深层次的联系。

内容分类和标记#

按流派、心情或特定主题浏览 movies 的能力依赖于准确的内容分类和打标签。流行的流媒体平台使用计算机视觉通过分析视频中的对象、动作、环境或情绪来自动化此过程，然后分配相关的标签。这有助于组织大型媒体库，并通过将内容与观众偏好相匹配来使个性化推荐更准确。

诸如场景分割、对象检测和 activity recognition 等视觉 AI 技术可用于有效地为内容打标签。通过识别对象、情感基调和动作等关键元素，它们为每个标题创建详细的元数据。然后可以使用机器学习对元数据进行分析，以创建类别，使用户更容易找到他们正在寻找的内容并改善整体浏览体验。

图 4. 个性化流媒体推荐的自动化内容分类示例。

AI 驱动的流媒体平台的优势与挑战#

计算机视觉正在通过创新功能改善流媒体平台，从而提升用户体验。以下是一些值得考虑的独特优势：

• 自适应流媒体质量：计算机视觉可以分析视频场景，以识别需要更高质量的高动态或精细时刻。这些见解随后可用于调整流媒体质量，以适应用户的设备和互联网速度。
• 实时行为监控： AI 可用于监控实时流，以实时检测盗版。它还可以识别未经授权的操作，例如添加覆盖层（如徽标或广告）或将流重新广播到其他平台。
• 节能的内容分发：视觉 AI 洞察可以通过分析用户需求和观看模式来优化内容分发。在本地缓存热门内容并调整视频质量可减少带宽使用和能耗，从而使流媒体更加 sustainable。

尽管有各种优势，但在实施这些创新时也需要牢记某些局限性：

• High Computational Demands：计算机视觉算法需要强大的计算能力来处理和分析视频内容，这可能导致成本和能耗增加。

• Data Privacy Concerns：由于计算机视觉依赖于用户互动和内容的大型数据集，它可能会引发对数据隐私和安全的担忧。

• Data Bias：计算机视觉模型可以反映其训练数据中的偏差。这可能会导致它们偏爱某些类型的内容并减少推荐的多样性。

流媒体平台中 AI 的未来#

边缘计算和 3D 技术等创新正在塑造我们体验娱乐方式的未来。Edge computing 可用于在更靠近流式传输的地方处理视频。它 reduces delays 并节省带宽，这对于直播和互动内容尤为重要。更快的响应时间意味着为观众带来更流畅、更引人入胜的体验。

与此同时，3D 技术正在为节目、电影和互动功能增加深度和真实感。这些进步也为 augmented reality (AR) 和虚拟现实 (VR) 等新可能性打开了大门。通过 VR 头显等设备，观众可以步入完全沉浸式的环境中。数字世界和物理世界之间的界限可以模糊，从而创造出全新水平的参与度。

Fig 5. 用 VR 驱动的互动体验重塑流媒体。

关键要点#

计算机视觉通过使视频分析更智能、内容分类更快、推荐更个性化，正在重新定义流媒体平台。借助像 Ultralytics YOLO11 这样的模型，平台可以实时检测对象并对场景进行分类。这有助于简化内容标记，并改进节目和电影的推荐方式。

集成了视觉 AI 的流媒体平台为观众提供了更具吸引力的体验，同时确保了更流畅、更高效的平台运营。随着技术的进步，流媒体服务很可能会变得更具交互性，提供更丰富、更身临其境的娱乐体验。

对 AI 好奇吗？访问我们的 GitHub repository 以探索更多内容并与我们的 community 联系。发现 AI in healthcare 和 computer vision in agriculture 的各种应用。