Letterboxing

Letterbox yöntemi, hedef boyuta ulaşmak için dolgu eklerken görüntünün en-boy oranını koruyan bir görüntü yeniden boyutlandırma tekniğidir. Görüntüyü eşit oranda ölçeklendirir, ardından kullanılmayan alanı kenarlık pikselleriyle doldurarak nesnelerin oranlarını ve görüş alanının tamamını korur. Bilgisayarlı görüde, farklı boyutlara sahip görüntüleri ortak bir girdi boyutunu kabul eden modeller için hazırlar.

Yapay zekâ dışındaki alanlarda letterbox yöntemi, geniş ekranlı filmlerin yatay çubuklarla gösterilmesini de ifade eder.

Letterbox Yöntemi Görüntü Geometrisini Nasıl Korur?#

En-boy oranı, görüntünün genişliği ile yüksekliği arasındaki ilişkidir. Veri ön işleme sırasında letterbox yöntemi, iki ölçek faktöründen küçük olanı seçer: hedef genişliğin özgün genişliğe oranı ve hedef yüksekliğin özgün yüksekliğe oranı. Her iki boyut da bu faktörle ölçeklendirilir; böylece yeniden boyutlandırılan görüntü hedef boyutların içine sığar. Geriye kalan pikseller dolguya dönüşür. TensorFlow'un yeniden boyutlandırma ve dolgu işlemi, sıfır değerli kenarlıklar kullanarak bu yaklaşımı uygular.

Örneğin, 1280 x 720 boyutlarındaki bir görüntü 640 x 640 hedef boyutuna sığdırılırken 0,5 ölçek faktörü kullanılır. Görüntü içeriği 640 x 360 boyutlarına gelir ve 280 satır dolgu alanı kalır: ortalandığında üstte 140, altta 140 satır. Dikey görüntülere yan kenarlıklar eklenir. Bu nedenle letterbox uygulanmış bir görüntüde yatay veya dikey dolgu bulunabilir; hedef boyutlar dikdörtgen de olabilir.

Ultralytics YOLO; algılama, segmentasyon ve poz girdilerinde geometriyi korumak için varsayılan olarak 114 değerinde gri dolgu kullanan LetterBox dönüşümünü kullanır. YOLO26 ile algılama, segmentasyon ve poz tahmini yapılırken, minimum dikdörtgen dolgusu, batch boyutları ve çıkarım arka ucu desteklediğinde kenarlıkları uyumlu bir stride katına indirir.

Letterbox Yöntemi, Esnetme ve Kırpma Karşılaştırması#

Görüntü ve hedef boyutları uyuşmadığında üç yeniden boyutlandırma seçeneği farklı sonuçlar verir:

• Letterbox yöntemi, oranları ve görüntünün tamamını korur; girdinin bir kısmını dolguya ayırır.
• Esnetme, hedefi doldurmak için genişlik ve yüksekliği birbirinden bağımsız olarak yeniden boyutlandırır. Ölçek faktörleri farklı olduğunda daireler elipse dönüşür.
• Kırpma, eşit oranlı yeniden boyutlandırmayla birlikte kullanıldığında oranları korur, ardından seçilen bölgenin dışındaki içeriği kaldırır. Görüntü kenarlarına yakın nesneler kesilebilir.

Bu seçenekler; şekillerin ve konumların önemli olduğu nesne algılamayı ve kırpmanın bir sınıfa ilişkin görünür kanıtları değiştirdiği görüntü sınıflandırmasını etkiler.

Dolgu da girdi alanının bir kısmını kullanır. 1280 x 720 örneğinde görüntü içeriği karenin %56,25'ini, dolgu ise %43,75'ini kaplar. Alt örnekleme, görüntü içeriğindeki ince ayrıntıları azaltır; kenarlık pikselleri eklemek nesne ayrıntısını artırmaz. Küçük nesneler içeren yüksek çözünürlüklü görüntülerde döşemeli çıkarım, nesnelerin etkin ölçeğini artırmak için ayrı görüntü bölgelerini işler.

Python ile Letterbox Uygulaması Örneği#

Pillow'u pip install pillow ile yükle. ImageOps.pad işlemi, görüntüyü yeniden boyutlandırıp dolgulu bir tuvalin ortasına yerleştirir. Bu örnekte, görsel algılama eğitim materyalleriyle birlikte dağıtılan otobüs fotoğrafı kullanılır.

from urllib.request import urlretrieve

from PIL import Image, ImageOps

urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = Image.open("bus.jpg")
image = image.convert("RGB")

# Preserve proportions and fill the unused area with gray.
letterboxed = ImageOps.pad(image, (640, 640), color=(114, 114, 114))
letterboxed.save("letterboxed_bus.png")
print(f"{image.size} -> {letterboxed.size}")

Çıktı boyutları, genişlik ve yükseklik olarak ifade edilen (810, 1080) -> (640, 640) değeridir. Kaydedilen görüntüde, her iki yanında 80 piksellik kenarlık bulunan ve 480 x 640 boyutlarına yeniden ölçeklendirilmiş fotoğrafın tamamı yer alır.

Etiketleri ve Tahminleri Eşleme#

Letterbox yöntemi yalnızca pikselleri değil, koordinat sistemini de dönüştürür. Her sınırlayıcı kutu koordinatı, sol veya üst dolgu miktarı kadar ölçeklendirilmeli ve kaydırılmalıdır. Aynı geometri, poz tahminindeki anahtar noktalar ve örnek segmentasyonundaki nesne dış hatları için de geçerlidir. Eğitim sırasında etiketleri değiştirmeden bırakmak, hedefleri tanımladıkları nesnelerle hizasız hâle getirir.

Çıkarım sonrasında koordinatları yeniden ölçeklendirme işlemi dönüşümü tersine çevirir: dolgu ofsetini çıkar, ardından yeniden boyutlandırma ölçeğine böl. Dolgusu sıfır olmayan, doğru konumlandırılmış bir kutuda bu ofseti hesaba katmamak kutuyu kaydırır ve gerçek değerle olan kesişim/birleşim oranını düşürür. Otobüs örneğinde, dolgulu koordinatlardaki (320, 320) noktası, x koordinatından 80 çıkarılıp her iki koordinat 640 / 1080'e bölündükten sonra özgün koordinatlarda (405, 540) noktasına karşılık gelir.