AI Video Editing

AI 视频编辑是利用机器学习自动化或辅助剪辑、编排和修改录制视频素材的过程。模型可以转录对话、查找镜头边界、跟踪场景中的主体、将主体从背景中分离出来并生成替换像素。因此，过去需要逐帧花费数小时的工作，例如为访谈添加字幕，或将横屏视频重新构图为适合手机屏幕的比例，如今只需几分钟。这个术语既涵盖传统编辑软件中的辅助功能，也涵盖能将原始录制素材转为成片的全自动工具。

AI 在剪辑中能处理哪些工作#

Adobe Premiere Pro、DaVinci Resolve 以及以转录文本为先的编辑器 Descript 等软件内置了许多此类功能：

• 语音转文本编辑：与时间线对齐的转录稿能让编辑者直接删除文本中的句子，并移除对应的视频素材。
• 字幕：同一份转录稿可以生成字幕初稿，供编辑者检查措辞是否准确、说话者是否识别正确以及时间是否同步。
• 场景检测： 模型会在长时间录制或已编辑的文件中找到剪辑点，并将其拆分为单独镜头。
• 自动重新构图： 跟踪功能会在主体移动时将其保持在竖屏或方形裁剪区域内，从而将一份宽屏母版转换成适用于社交平台的多个版本。
• 遮罩与物体移除：分割技术会隔离人物或物体，使其能够单独进行调色或移除；修复技术则会逐帧一致地填补空缺。
• 通过动作识别提取精彩片段：模型会识别进球、扣篮和其他关键比赛瞬间，体育转播机构可以在比赛结束后几分钟内利用这些结果制作集锦。
• 通过帧插值实现慢动作：模型会合成中间帧，因此可以放慢正常速度拍摄的视频素材，同时避免画面卡顿。
• 音频清理： 语音增强模型会去除在不理想环境下录制的对话中的背景噪声和房间回声。
• 为数据隐私进行遮挡处理：在分享视频素材之前，先检测并模糊处理人脸、人物或车牌。

这些功能背后的视觉模型#

大多数视觉编辑功能会串联三项计算机视觉任务。目标检测会找出每帧中的主体，并为主体绘制边界框。目标跟踪会使用稳定 ID 将这些检测结果跨帧关联起来，从而让重新构图或模糊效果在人物走过镜头时仍跟随同一个人。如果某种效果需要精确勾勒主体轮廓，实例分割会为每个物体提供像素级掩码。这三种模型都属于视频理解模型，只描述视频素材而不对其进行修改；编辑功能会先运行这些模型，再决定要修改哪些内容。

其余工作由生成模型完成。修复模型会移除不需要的物体，视频生成模型则会改变镜头风格、将片段延长几秒，或生成从未存在过的视频素材。自动编辑在一些可预测的场景中容易出错：快速运动和运动模糊、主体相互遮挡、跟踪应该结束时出现的场景切换，以及尺寸较小或部分可见的主体。由于这些技术也能改变录制内容呈现的画面，它们还可以生成深度伪造；发布者可以附加 Content Credentials，记录文件经过哪些工具编辑。

自动化遮挡处理#

对于发布活动、街道或工作场所视频素材的团队来说，遮挡处理是最容易自动化的编辑之一。Ultralytics 的物体模糊解决方案会在每帧上运行带跟踪功能的 YOLO26检测器，并模糊处理所选类别的每个检测框；使用 COCO 预训练模型时，类别 0 表示“人”：

import cv2
from ultralytics import solutions

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov")
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
writer = cv2.VideoWriter("blurred.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))

# 使用 YOLO26 检测人物（COCO 类别 0），并模糊每一帧中的所有边界框
blurrer = solutions.ObjectBlurrer(model="yolo26n.pt", classes=[0])
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    results = blurrer(frame)
    writer.write(results.plot_im)

cap.release()
writer.release()

输出 blurred.mp4 会显示所有检测到的人物都已模糊处理，并用带标签的边界框标出以供审核；blur_ratio（默认值为 0.5）用于设置模糊强度。OpenCV 只会写入视频帧，因此必须在编辑器中或使用 FFmpeg 将原始音频加回去。被画面边缘截断或从特殊角度拍摄的人物最容易漏检；任何漏检帧都会导致输出中的该人物未被模糊处理。