AI Video Editing

Yapay zekâ destekli video düzenleme; kaydedilmiş görüntüleri kesme, düzenleme ve değiştirme işlerini otomatikleştirmek veya bu işlere yardımcı olmak için makine öğreniminin kullanılmasıdır. Modeller konuşmaları yazıya döker, plan sınırlarını bulur, sahne boyunca özneleri izler, onları arka plandan ayırır ve değiştirilecek pikselleri üretir. Böylece eskiden saatlerce kare kare çalışmayı gerektiren röportajlara altyazı eklemek veya yatay videoyu telefon ekranına göre yeniden kadrajlamak gibi işler dakikalar içinde yapılır. Terim, geleneksel düzenleme yazılımlarındaki yardımcı özelliklerden ham kayıtları tamamlanmış kliplere dönüştüren tamamen otomatik araçlara kadar her şeyi kapsar.

Yapay Zekânın Düzenleme Sürecinde Üstlendiği İşler#

Adobe Premiere Pro, DaVinci Resolve ve transkript odaklı düzenleyici Descript gibi yazılımlar bu özelliklerin çoğunu bünyesinde barındırır:

• Konuşmadan metne düzenleme: Zaman çizelgesiyle eşleştirilmiş bir döküm, editörün metindeki bir cümleyi silerek ona karşılık gelen görüntüleri de kaldırmasını sağlar.
• Altyazılar: Aynı döküm, editörlerin doğru ifadeler, konuşmacı tanımlaması ve zamanlama açısından gözden geçirdiği bir altyazı taslağına dönüşür.
• Sahne algılama: Modeller, uzun bir kayıttaki veya önceden düzenlenmiş bir dosyadaki kesmeleri bulup dosyayı tek tek planlara böler.
• Otomatik yeniden kadrajlama: Takip, ana öznenin hareket ettikçe dikey veya kare bir kırpımın içinde kalmasını sağlar; böylece tek bir geniş ekran ana kopyasından sosyal platformlara uygun sürümler oluşturulur.
• Maskeleme ve nesne kaldırma: Bölütleme, bir kişiyi veya nesneyi ayırarak ayrı renk düzenlemesi yapılmasını ya da kaldırılmasını sağlar; iç boyama ise boşluğu kareler arasında tutarlı biçimde doldurur.
• Eylem tanımayla önemli anları bulma: Modeller golleri, smaçları ve diğer önemli oyun anlarını tespit eder; spor yayıncıları da bu özellikten yararlanarak aksiyondan birkaç dakika sonra önemli anlar derlemeleri hazırlar.
• Kare enterpolasyonuyla ağır çekim: Modeller ara kareler sentezleyerek normal hızda çekilmiş görüntülerin takılma olmadan yavaşlatılmasını sağlar.
• Ses temizleme: Konuşma iyileştirme modelleri, elverişsiz koşullarda kaydedilmiş konuşmalardaki arka plan gürültüsünü ve oda yankısını giderir.
• Veri gizliliği için sansürleme: Görüntüler paylaşılmadan önce yüzler, kişiler veya araç plakaları tespit edilip bulanıklaştırılır.

Özelliklerin Ardındaki Görsel Modeller#

Görsel düzenleme özelliklerinin çoğu, üç bilgisayarlı görü görevini ardışık olarak kullanır. Nesne algılama, karedeki her özneyi bulur ve çevresine bir sınırlayıcı kutu çizer. Nesne takibi, bu algılamaları kareler arasında sabit kimliklerle ilişkilendirir; böylece yeniden kadrajlama veya bulanıklaştırma, kişi çekim boyunca yürürken aynı kişiye bağlı kalır. Bir efekt öznenin tam dış hatlarına ihtiyaç duyduğunda, örnek bölütleme her nesne için piksel düzeyinde bir maske sağlar. Üçü de görüntüleri değiştirmeden görüntü içeriğini açıklayan video anlama modelleridir ve düzenleme özelliği neyi değiştireceğine karar vermek için önce bu modelleri çalıştırır.

Geri kalan işleri üretken modeller üstlenir. İç boyama modelleri istenmeyen nesneleri kaldırır; video üretimi modelleri ise bir çekimin tarzını değiştirir, çekimi birkaç saniye uzatır veya hiç var olmamış görüntüler oluşturur. Otomatik düzenlemelerin aksadığı yerler öngörülebilirdir: hızlı hareket ve hareket bulanıklığı, öznelerin birbirinin önünden geçmesi, bir izleğin sona ermesi gereken sahne kesmeleri ve küçük ya da kısmen görünen özneler. Aynı teknikler bir kayıtta görünenleri değiştirebildiğinden deepfake de üretebilir; içerik yayımlayanlar, bir dosyanın hangi araçlarla düzenlendiğini kaydeden Content Credentials ekleyebilir.

Sansürlemeyi Otomatikleştirme#

Sansürleme, etkinlik, sokak veya işyeri görüntüleri yayımlayan ekipler için otomatikleştirilmesi en kolay düzenlemelerden biridir. Ultralytics'in nesne bulanıklaştırma çözümü, izlemeyle birlikte her karede bir YOLO26 algılayıcısı çalıştırır ve seçilen sınıflara ait her kutuyu bulanıklaştırır. COCO verileriyle önceden eğitilmiş modelde 0. sınıf "kişi"dir:

import cv2
from ultralytics import solutions

cap = cv2.VideoCapture("https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov")
w = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
h = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = cap.get(cv2.CAP_PROP_FPS)
writer = cv2.VideoWriter("blurred.mp4", cv2.VideoWriter_fourcc(*"mp4v"), fps, (w, h))

# YOLO26 ile kişileri (COCO 0. sınıf) algıla ve her karedeki tüm kutuları bulanıklaştır
blurrer = solutions.ObjectBlurrer(model="yolo26n.pt", classes=[0])
while cap.isOpened():
    success, frame = cap.read()
    if not success:
        break
    results = blurrer(frame)
    writer.write(results.plot_im)

cap.release()
writer.release()

Çıktı olan blurred.mp4, algılanan tüm kişilerin bulanıklaştırıldığını ve inceleme için etiketli bir kutuyla çevrelendiğini gösterir; blur_ratio (varsayılan 0.5) ise bulanıklaştırma gücünü belirler. OpenCV yalnızca video karelerini yazar; bu nedenle özgün ses, bir düzenleyicide veya FFmpeg ile yeniden eklenmelidir. Kare kenarında kesilen ya da alışılmadık açılardan görülen kişiler, kaçırılma olasılığı en yüksek algılamalardır; algılamanın kaçırıldığı her karede o kişi çıktıda bulanıklaştırılmadan kalır.