AI Video Editing

Видеомонтаж с помощью ИИ — это использование машинного обучения для автоматизации или поддержки нарезки, компоновки и изменения записанного видео. Модели расшифровывают диалоги, находят границы планов, отслеживают объекты в сцене, отделяют их от фона и генерируют заменяющие пиксели. Поэтому задачи, которые раньше требовали часами обрабатывать каждый кадр, например добавление субтитров к интервью или изменение формата пейзажного видео для экрана телефона, теперь занимают минуты. Термин охватывает как вспомогательные функции традиционных видеоредакторов, так и полностью автоматические инструменты, превращающие исходные записи в готовые клипы.

Какие задачи ИИ решает при монтаже#

В программах для монтажа, таких как Adobe Premiere Pro, DaVinci Resolve и редактор Descript, ориентированный на работу с расшифровками, встроено множество таких функций:

• Монтаж с помощью распознавания речи: Расшифровка, привязанная к монтажной шкале, позволяет редактору удалить предложение из текста и убрать соответствующий видеоматериал.
• Субтитры: Та же расшифровка становится черновиком субтитров, который редакторы проверяют на точность формулировок, идентификацию говорящих и синхронизацию.
• Определение сцен: Модели находят склейки в длинной записи или уже смонтированном файле и делят его на отдельные кадры.
• Автоматическое кадрирование: Отслеживание удерживает главный объект в вертикальной или квадратной области кадра, пока он движется, позволяя подготовить из одной широкоэкранной версии варианты для социальных платформ.
• Маскирование и удаление объектов: Сегментация выделяет человека или объект, чтобы отдельно скорректировать цвет или удалить его; затем дорисовка последовательно заполняет образовавшуюся пустоту в каждом кадре.
• Лучшие моменты с помощью распознавания действий: Модели обнаруживают голы, данки и другие ключевые эпизоды, позволяя спортивным вещателям собирать нарезки лучших моментов в течение нескольких минут после события.
• Замедленное воспроизведение с помощью интерполяции кадров: Модели синтезируют промежуточные кадры, позволяя замедлять видео, снятое с обычной частотой кадров, без рывков.
• Очистка аудио: Модели улучшения речи удаляют фоновый шум и эхо помещения из диалогов, записанных в неподходящих условиях.
• Сокрытие данных для защиты конфиденциальности: Перед публикацией на видео обнаруживают и размывают лица, людей или автомобильные номера.

Модели компьютерного зрения, лежащие в основе этих функций#

Большинство функций видеомонтажа использует цепочку из трёх задач компьютерного зрения. Обнаружение объектов находит каждый объект в кадре и обводит его ограничивающей рамкой. Отслеживание объектов связывает найденные объекты между кадрами с помощью постоянных идентификаторов, благодаря чему изменение кадрирования или размытие остаётся привязанным к одному и тому же человеку, пока он проходит через сцену. Если для эффекта нужен точный контур объекта, сегментация экземпляров создаёт попиксельную маску каждого объекта. Все три метода относятся к моделям понимания видео: они описывают видео, не изменяя его. Функция монтажа сначала запускает эти модели, чтобы определить, что нужно изменить.

Остальные задачи решают генеративные модели. Модели дорисовки удаляют нежелательные объекты, а модели генерации видео меняют стиль плана, продлевают его на несколько секунд или создают несуществовавшие кадры. Автоматизированный монтаж предсказуемо даёт сбои при быстром движении и размытии движения, пересечении объектов, смене сцены, когда трек должен завершиться, а также при обработке мелких или частично видимых объектов. Поскольку те же методы могут изменить то, что, как кажется, изображено на записи, они также позволяют создавать дипфейки. Издатели могут добавлять учётные данные о содержимом, фиксирующие инструменты, которыми был изменён файл.

Автоматизация сокрытия данных#

Сокрытие данных — одно из самых простых действий для автоматизации командами, которые публикуют видео с мероприятий, улиц или рабочих мест. Решение Ultralytics для размытия объектов запускает детектор YOLO26 с отслеживанием на каждом кадре и размывает все рамки выбранных классов; класс 0 в модели, предварительно обученной на COCO, — это «человек»:

import cv2
from ultralytics import solutions

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov")
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
writer = cv2.VideoWriter("blurred.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))

# Обнаружение людей (класс COCO 0) с помощью YOLO26 и размытие каждой рамки в каждом кадре
blurrer = solutions.ObjectBlurrer(model="yolo26n.pt", classes=[0])
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    results = blurrer(frame)
    writer.write(results.plot_im)

cap.release()
writer.release()

В результате, blurred.mp4, размыты все обнаруженные люди, а для проверки они обведены рамками с метками; параметр blur_ratio (по умолчанию 0.5) задаёт силу размытия. OpenCV записывает только видеокадры, поэтому исходную звуковую дорожку нужно добавить обратно в редакторе или с помощью FFmpeg. Чаще всего детектор пропускает людей, обрезанных краем кадра или снятых под необычным углом; если человек не обнаружен в каком-либо кадре, в итоговом видео он останется неразмытым.