Identity Preservation

Kimlik koruma, bir modelin belirli bir özneyi çıktılarının tümünde aynı kişi olarak tanınabilir tutabilme becerisidir: üretilmiş portreler dizisinde aynı yüz, üretilmiş bir videonun ilk karesinden son karesine kadar aynı karakter ya da bir otobüsün arkasından geçip yeniden görünen yaya için aynı takip kimliği. Bu terimi iki topluluk kullanır. Üretken yapay zekâda gerçek bir kişiyi veya ürünü kimliğini değiştirmeden yeni sahnelere yerleştiren kişiselleştirme yöntemlerini ifade eder. Çoklu nesne takibinde (MOT) ise nesnelerin kimliklerini örtülme, kesişme ve kamera değişiklikleri boyunca sabit tutmak anlamına gelir. Her iki kullanımda da aynı kişi için birbirine yakın, farklı kişiler içinse birbirinden uzak konumlanan özellik vektörleri olan kimlik gömme vektörleri ölçümde kullanılır.

Görüntü ve Video Üretiminde Kimlik Koruma#

Bir metinden görüntüye modeli "bir kadın"ın veya "bir köpek"in nasıl göründüğünü bilir; ancak belirli bir kadın veya köpeğin nasıl göründüğünü bilmez. Kişiselleştirme yöntemleri bu bilgiyi ekler. İnce ayar yöntemleri, birkaç fotoğraftan bu bilgiyi öğrenir. Google'ın DreamBooth (2022) yöntemi, bir öznenin üç ila beş görüntüsüyle, özneyi nadir bir token'a bağlayarak tüm difüzyon modelinin ince ayarını yapar. Modele diğer köpekleri normal biçimde üretmeyi sürdüren, sınıfa özgü bir önsel koruma kaybı ekler. LoRA bağdaştırıcılarıysa aynı fikri kişi başına eğitim yapılabilecek kadar düşük maliyetli hâle getirir.

Kodlayıcı tabanlı yöntemlerde her özne için ayrı eğitim yapılmaz. Tencent'in IP-Adapter'ı (2023), görüntü gömme vektörlerini ayrı bir çapraz dikkat katmanı aracılığıyla difüzyon modeline verir. InstantID (Ocak 2024) ise yüz tanıma ağından alınan gömme vektörünü beş yüz işaret noktasıyla koşullandırılmış bir ControlNet olan IdentityNet ile birleştirerek tek bir fotoğraftaki yüzü korur. Daha güçlü kimlik koşullandırması, çıktının referansa daha çok benzemesini sağlarken referansın pozunu, ifadesini ve aydınlatmasını da daha fazla kopyalar. Bu nedenle bu araçlarda benzerlik ile istemin sahneyi ne ölçüde değiştirebileceği arasında denge kuran bir güç ayarı bulunur.

Üretilen yüzler, referans fotoğrafın ve çıktının ArcFace gömme vektörleri arasındaki kosinüs benzerliği ile puanlanır. Jiankang Deng ve çalışma arkadaşlarının CVPR 2019'da tanıttığı ArcFace, kimliklerin hiperkürede net biçimde ayrılması için yüz gömme vektörlerini açısal marjla eğitir. Video, özneyi kareler boyunca tutarlı tutma gereksinimini de beraberinde getirir; VBench bunu kareler arasındaki DINO özelliklerini karşılaştırarak özne tutarlılığı şeklinde ölçer. Video üretiminde yüzü birkaç saniye içinde değişen bir karakter, her bir kare gerçekçi görünse bile bu testte başarısız olur.

Takipte Kimlik Koruma#

Bir takipçi, her karenin algılamalarını mevcut izlerle eşleştirerek kimlik atar. Her kutunun konumunu tahmin eden bir Kalman filtresi ve kesişim/birleşim (IoU) eşleştirmesine dayalı yalnızca hareket bilgisi, iki kişi kesişene veya biri engelin arkasında kaybolana kadar işe yarar. Sonra takipçi kimliklerini değiştirir ya da yeni bir kimlik başlatır; bu hata kimlik değişimi olarak sayılır. Görünüş özellikleri bu sorunların çoğunu çözer. Nicolai Wojke, Alex Bewley ve Dietrich Paulus'un DeepSORT (2017) yöntemi, hareket bilgisiyle çalışan SORT takipçisine kişi yeniden tanıma veri kümesinde eğitilmiş bir ağdan alınan gömme vektörlerini ekledi ve kimlik değişimlerini yüzde 45 azalttı. Ergys Ristani ve çalışma arkadaşlarının 2016'da önerdiği IDF1 ölçütü, doğru kimlik atanan algılamaların oranı olarak kimlik korumayı doğrudan puanlar.

Ultralytics YOLO takibinde varsayılan olarak TrackTrack (Shim ve çalışma arkadaşları, CVPR 2025) kullanılır. Bu yöntem, kaybolan izleri 30 kare boyunca canlı tutarak (track_buffer) geri dönen bir nesnenin kimliğini yeniden almasını sağlar ve yeni bir kimlik oluşturmadan önce yinelenen kimlikleri bastırır. Takipçi YAML dosyasında with_reid: True ayarını belirlemek, varsayılan olarak algılayıcının kendi özellikleriyle, isteğe bağlı olarak da 2,8 milyon parametreli YOLO26n-reid gibi özel bir kodlayıcıyla görünüş eşleştirmesi ekler. Aşağıdaki kod parçası, örnek bir videodaki kişileri ReID açık ve kapalıyken takip eder ve her çalıştırmada atanan farklı kimlikleri sayar:

from ultralytics import YOLO
from ultralytics.utils import ROOT, YAML

# Copy the default TrackTrack config and turn on appearance re-identification
cfg = YAML.load(ROOT / "cfg/trackers/tracktrack.yaml")
cfg.update(with_reid=True, model="yolo26n-reid.onnx")
YAML.save("tracktrack_reid.yaml", cfg)

video = "https://github.com/ultralytics/assets/releases/download/v0.0.0/decelera_portrait_min.mov"
for tracker in ["tracktrack.yaml", "tracktrack_reid.yaml"]:
    model = YOLO("yolo26n.pt")  # fresh model so each run starts with no tracks
    ids = set()
    for result in model.track(video, tracker=tracker, classes=[0], stream=True, verbose=False):
        if result.boxes.is_track:
            ids.update(result.boxes.id.int().tolist())
    print(f"{tracker}: {len(ids)} person IDs")

Bu kısa klipte her iki çalıştırma da 3 kişi kimliği atıyor; dolayısıyla görünüş eşleştirmesi burada fark yaratmıyor. İnsanların kareden çıkıp geri döndüğü daha uzun görüntülerde ise önem kazanıyor. Aynı kişiler için farklı kimlik sayısının azalması, kimlik değişimlerinin de azalması demektir. Sonraki işlemlerde kullanılan sayımlar buna bağlıdır: geri dönen bir müşteriye yeni kimlik veren bir kişi sayma sistemi, o müşteriyi iki kez sayar.

İlgili Terimler#

• Yüz tanıma: Bir kişinin yüz gömme vektörünü bilinen kişilerin yer aldığı bir galeriyle karşılaştırarak kişiyi tanımlar; kimlik koruyan üreticilerin koşullandırma için kullandığı türden gömme vektörlerinden yararlanır.
• Veri gizliliği: Maskeleme ve anonimleştirme, kimliği kasıtlı olarak ortadan kaldırır; amaç bunun tam tersidir.
• Deepfake: Yüz değiştirme, öznenin rızası olmadan kimlik koruyan üretim yöntemlerinden yararlanır.