Letterboxing

Le letterboxing est une technique de redimensionnement d’image qui préserve son rapport d’aspect tout en ajoutant des marges de remplissage pour atteindre une taille cible. L’image est mise à l’échelle uniformément, puis l’espace inutilisé est rempli de pixels de bordure, ce qui préserve les proportions des objets et l’intégralité du champ de vision. En vision par ordinateur, cette technique prépare des images de formes différentes pour des modèles qui acceptent une forme d’entrée commune.

En dehors de l’IA, le letterboxing désigne aussi l’affichage d’un film au format large avec des bandes horizontales.

Comment le letterboxing préserve la géométrie des images#

Le rapport d’aspect exprime la relation entre la largeur et la hauteur d’une image. Lors du prétraitement des données, le letterboxing choisit le plus petit de deux facteurs d’échelle : la largeur cible divisée par la largeur d’origine, et la hauteur cible divisée par la hauteur d’origine. Les deux dimensions utilisent ce facteur, de sorte que l’image redimensionnée tient dans les dimensions cibles. Les pixels restants forment les marges de remplissage. L’opération de redimensionnement et de remplissage de TensorFlow applique cette méthode avec des bordures de valeur zéro.

Par exemple, une image de 1280 x 720 intégrée dans une cible de 640 x 640 utilise un facteur d’échelle de 0.5. Son contenu passe à 640 x 360, laissant 280 lignes pour les marges de remplissage : 140 au-dessus et 140 en dessous lorsqu’elles sont centrées. Les images en mode portrait reçoivent des bordures latérales. Une image avec letterboxing peut donc avoir des marges de remplissage horizontales ou verticales ; les dimensions cibles peuvent aussi être rectangulaires.

Ultralytics YOLO utilise la transformation LetterBox pour préserver la géométrie des entrées de détection, de segmentation et de pose, avec une valeur par défaut de 114 pour les marges grises. Pour la prédiction de détection, de segmentation et de pose avec YOLO26, le remplissage en rectangle minimal réduit les bordures à un multiple compatible du pas lorsque les formes du lot et le moteur d’inférence le permettent.

Letterboxing, étirement et recadrage#

Trois méthodes de redimensionnement traitent différemment les incompatibilités entre les dimensions de l’image et celles de la cible :

• Le letterboxing préserve les proportions et l’image complète, en réservant une partie de l’entrée aux marges de remplissage.
• L’étirement redimensionne indépendamment la largeur et la hauteur pour remplir la cible. Les cercles deviennent des ellipses lorsque les facteurs d’échelle diffèrent.
• Le recadrage préserve les proportions lorsqu’il est associé à un redimensionnement uniforme, puis supprime le contenu situé hors de la région sélectionnée. Les objets près des bords de l’image peuvent être coupés.

Ces choix ont une incidence sur la détection d’objets, où les formes et les positions comptent, ainsi que sur la classification d’images, où le recadrage modifie les éléments visibles qui permettent d’identifier une classe.

Les marges de remplissage occupent aussi une partie de la surface d’entrée. Dans l’exemple de 1280 x 720, le contenu de l’image occupe 56.25 % du carré et les marges de remplissage, 43.75 %. La réduction de résolution diminue les détails fins du contenu ; l’ajout de pixels de bordure ne crée aucun détail supplémentaire sur les objets. Pour les images haute résolution contenant de petits objets, l’inférence par tuiles traite des régions distinctes de l’image à une échelle effective plus grande pour les objets.

Exemple de letterboxing en Python#

Installe Pillow avec pip install pillow. Son opération ImageOps.pad redimensionne et centre une image sur une toile avec marges de remplissage. Cet exemple utilise la photographie d’un bus distribuée pour les tutoriels de vision.

from urllib.request import urlretrieve

from PIL import Image, ImageOps

urlretrieve("https://ultralytics.com/images/bus.jpg", "bus.jpg")
image = Image.open("bus.jpg")
image = image.convert("RGB")

# Preserve proportions and fill the unused area with gray.
letterboxed = ImageOps.pad(image, (640, 640), color=(114, 114, 114))
letterboxed.save("letterboxed_bus.png")
print(f"{image.size} -> {letterboxed.size}")

Les dimensions de sortie sont (810, 1080) -> (640, 640), exprimées en largeur et en hauteur. L’image enregistrée contient la photographie complète, redimensionnée à 480 x 640, avec une bordure de 80 pixels de chaque côté.

Mappage des annotations et des prédictions#

Le letterboxing transforme le système de coordonnées autant que les pixels. Chaque coordonnée de boîte englobante doit être mise à l’échelle et décalée selon la marge de remplissage gauche ou supérieure. La même géométrie s’applique aux points clés en estimation de pose et aux contours d’objets en segmentation d’instance. Si les annotations restent inchangées pendant l’entraînement, les cibles ne sont plus alignées sur les objets qu’elles décrivent.

Après l’inférence, le changement d’échelle des coordonnées inverse la transformation : soustrais le décalage des marges de remplissage, puis divise par le facteur de redimensionnement. Pour une boîte correctement positionnée par ailleurs et avec des marges de remplissage non nulles, omettre ce décalage déplace la boîte et réduit son intersection sur union avec la vérité terrain. Dans l’exemple du bus, un point aux coordonnées avec marges de remplissage (320, 320) correspond aux coordonnées d’origine (405, 540) après avoir soustrait 80 à x et divisé les deux coordonnées par 640 / 1080.