Image Inpainting

La restauración de imágenes es una técnica de visión artificial que reconstruye regiones faltantes, dañadas o enmascaradas intencionalmente de una imagen para que el área completada se integre con su entorno. En lugar de simplemente cubrir los píxeles no deseados, un sistema de restauración de imágenes estima contenido de reemplazo plausible a partir de la textura cercana, la estructura de la escena y, en sistemas generativos, patrones visuales aprendidos. Los objetivos comunes incluyen restaurar fotografías dañadas, eliminar objetos o texto y rellenar huecos creados durante la edición de imágenes.

Cómo funciona la restauración de imágenes#

Un flujo de trabajo de restauración de imágenes suele tener dos entradas: la imagen original y una máscara que identifica los píxeles que se van a reemplazar. El sistema conserva los píxeles fuera de la máscara mientras sintetiza o reconstruye el contenido dentro de ella. Las convenciones de las máscaras varían según la herramienta, por lo que los desarrolladores deben confirmar si los píxeles blancos, negros, cero o distintos de cero representan la región editable.

Los métodos tradicionales de computer vision propagan colores, bordes y texturas hacia el interior desde el límite de la máscara. Por ejemplo, el OpenCV image inpainting workflow rellena las áreas enmascaradas utilizando píxeles vecinos y ofrece algoritmos diseñados para continuar las estructuras circundantes. Estos enfoques son eficientes y a menudo funcionan bien para arañazos, polvo, texto fino y agujeros pequeños. (docs.opencv.org)

Los sistemas basados en aprendizaje infieren contexto de un nivel superior. Un modelo puede reconocer que un área enmascarada se encuentra sobre ladrillos, césped, ropa o la cara de una persona y generar contenido coherente con esa interpretación. Sin embargo, el resultado es plausible en lugar de una recuperación de los píxeles originales desconocidos.

Máscaras y enfoques de modelos#

La calidad de la máscara afecta fuertemente al resultado. Una máscara que es demasiado pequeña puede dejar atrás bordes de objetos o sombras, mientras que una máscara sobredimensionada elimina contexto útil. Se pueden crear máscaras precisas manualmente o generarlas con image segmentation. La Instance segmentation es especialmente útil porque produce una máscara independiente a nivel de píxel para cada objeto.

La Ultralytics SAM 2 documentation describe la segmentación guiada por puntos y cuadros para seleccionar interactivamente un objeto. Para clases de objetos conocidas, la Ultralytics YOLO segmentation task devuelve máscaras de objetos y coordenadas de polígonos. Los equipos también pueden crear y refinar máscaras poligonales con el Ultralytics Platform annotation editor, que admite anotación manual, asistida por SAM y asistida por YOLO.

Varias familias de modelos pueden realizar el rellenado real:

• Los métodos clásicos amplían píxeles cercanos, contornos o patrones de intensidad suaves. La scikit-image restoration API incluye la restauración biarmónica para regiones enmascaradas.
• Las Generative adversarial networks aprenden a producir finalizaciones visualmente realistas mediante la competencia entre redes generadoras y discriminadoras.
• Los Diffusion models transforman iterativamente el ruido dentro de la máscara en contenido condicionado a la imagen visible y, opcionalmente, a una instrucción de texto.

Restauración de imágenes frente a tareas relacionadas#

La restauración de imágenes se define por el reemplazo localizado. Las tareas relacionadas tienen diferentes objetivos:

• La eliminación de objetos es una aplicación de la restauración de imágenes: la segmentación selecciona el objeto y la restauración de imágenes rellena el agujero resultante.
• La segmentación de imágenes identifica qué píxeles pertenecen a un objeto o clase, pero no los reemplaza.
• La reducción de ruido disminuye el ruido generalizado al tiempo que conserva generalmente el contenido de la escena.
• La ampliación de imágenes extiende el contenido más allá del lienzo original en lugar de reparar una región interna. La Google Cloud mask-based image editing guide distingue entre insertar, eliminar, expandir y reemplazar contenido.
• La superresolución aumenta la resolución y el detalle de la imagen en lugar de apuntar a una máscara definida por el usuario.

La eliminación de texto sigue el mismo flujo de trabajo que la eliminación de objetos. El texto se enmascara y, a continuación, el sistema predice el fondo oscurecido. Si el texto cubre una cara única, un símbolo o un detalle del documento, la información original no se puede recuperar de manera fiable.

Aplicaciones en el mundo real#

Limpieza de imágenes minoristas: Un vendedor en línea puede segmentar un cable perdido, un reflejo, un soporte o un objeto de fondo de la fotografía de un producto y restaurar el área. Los defectos pequeños pueden ser adecuados para Adobe Content-Aware Fill, mientras que Adobe generative image editing puede manejar regiones más grandes y semánticamente complejas. (helpx.adobe.com)

Restauración de imágenes: Los archivos y los equipos de imagen pueden enmascarar arañazos, motas de polvo, defectos del sensor o píxeles faltantes en fotografías escaneadas y fotogramas de microscopía. Esto puede mejorar la legibilidad y la presentación, pero las áreas reconstruidas no deben tratarse como evidencia observada. En imágenes médicas, científicas o forenses, una estructura inventada podría cambiar la interpretación y debe documentarse claramente.

Flujo de trabajo práctico y limitaciones#

El siguiente ejemplo utiliza YOLO26 para crear una máscara de persona y OpenCV para rellenar esa región. Instala las dependencias con pip install ultralytics opencv-python numpy.

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Select the first detected person and convert its polygon to a mask.
class_ids = result.boxes.cls.cpu().numpy().astype(int)
person_index = next(i for i, class_id in enumerate(class_ids) if class_id == 0)
contour = result.masks.xy[person_index].astype(np.int32)
contour = contour.reshape(-1, 1, 2)

image = result.orig_img.copy()
mask = np.zeros(image.shape[:2], dtype=np.uint8)
cv2.drawContours(mask, [contour], -1, 255, cv2.FILLED)

inpainted = cv2.inpaint(image, mask, 3, cv2.INPAINT_TELEA)
cv2.imwrite("inpainted.jpg", inpainted)

Esto combina la localización de objetos con el patrón documentado para building masks from segmentation contours. El rellenado clásico puede tener dificultades con objetos grandes, geometría repetitiva, sombras, reflejos o caras. Los métodos generativos manejan un contexto más amplio pero pueden introducir detalles fabricados. Conserva el original, inspecciona los bordes a resolución completa y registra las ediciones significativas utilizando mecanismos de procedencia como C2PA Content Credentials, especialmente cuando la autenticidad importa. NIST guidance on synthetic-content transparency también enfatiza la procedencia y el etiquetado como salvaguardas importantes para los medios alterados de manera significativa. (c2pa.org)