Image Inpainting

A restauração de imagem é uma técnica de visão computacional que reconstrói regiões ausentes, danificadas ou mascaradas intencionalmente de uma imagem, para que a área concluída se misture com o ambiente ao redor. Em vez de simplesmente cobrir pixels indesejados, um sistema de restauração estima conteúdo de substituição plausível a partir de texturas próximas, estrutura de cena e, em sistemas gerativos, padrões visuais aprendidos. Os objetivos comuns incluem restaurar fotografias danificadas, remover objetos ou texto e preencher lacunas criadas durante a edição de imagens.

Como Funciona a Restauração de Imagem#

Um fluxo de trabalho de restauração geralmente possui duas entradas: a imagem original e uma máscara que identifica os pixels a serem substituídos. O sistema preserva os pixels fora da máscara enquanto sintetiza ou reconstrói o conteúdo dentro dela. As convenções de máscara variam conforme a ferramenta, portanto, deves confirmar se pixels brancos, pretos, zero ou não zero representam a região editável.

Métodos tradicionais de visão computacional propagam cores, bordas e texturas para dentro a partir do limite da máscara. Por exemplo, o fluxo de trabalho de restauração de imagem do OpenCV preenche áreas mascaradas usando pixels vizinhos e oferece algoritmos projetados para continuar estruturas ao redor. Essas abordagens são eficientes e geralmente funcionam bem para arranhões, poeira, texto fino e pequenos buracos. (docs.opencv.org)

Sistemas baseados em aprendizado inferem contexto de nível superior. Um modelo pode reconhecer que uma área mascarada está sobre alvenaria, grama, vestuário ou o rosto de uma pessoa e gerar conteúdo consistente com essa interpretação. No entanto, a saída é plausível em vez de uma recuperação dos pixels originais desconhecidos.

Máscaras e Abordagens de Modelo#

A qualidade da máscara afeta fortemente o resultado. Uma máscara muito pequena pode deixar bordas de objetos ou sombras para trás, enquanto uma máscara excessivamente grande remove contexto útil. Máscaras precisas podem ser criadas manualmente ou geradas com segmentação de imagem. A segmentação de instâncias é especialmente útil porque produz uma máscara separada ao nível de pixel para cada objeto.

A documentação do Ultralytics SAM 2 descreve a segmentação orientada por pontos e caixas para selecionar interativamente um objeto. Para classes de objetos conhecidas, a tarefa de segmentação do Ultralytics YOLO retorna máscaras de objetos e coordenadas de polígonos. As equipas também podem criar e refinar máscaras de polígonos com o editor de anotações da plataforma Ultralytics, que suporta anotação manual, auxiliada por SAM e auxiliada por YOLO.

Várias famílias de modelos podem realizar o preenchimento real:

• Métodos clássicos estendem pixels próximos, contornos ou padrões de intensidade suave. A API de restauração do scikit-image inclui restauração biharmônica para regiões mascaradas.
• Redes generativas adversariais aprendem a produzir conclusões visualmente realistas através da competição entre redes geradoras e discriminadoras.
• Modelos de difusão transformam iterativamente o ruído dentro da máscara em conteúdo condicionado à imagem visível e, opcionalmente, a um comando de texto.

Restauração de Imagem vs Tarefas Relacionadas#

A restauração é definida por substituição localizada. Tarefas relacionadas têm objetivos diferentes:

• Remoção de objetos é uma aplicação de restauração: a segmentação seleciona o objeto e a restauração preenche o buraco resultante.
• Segmentação de imagem identifica quais pixels pertencem a um objeto ou classe, mas não os substitui.
• Redução de ruído reduz o ruído generalizado enquanto geralmente preserva o conteúdo da cena.
• Extensão de imagem estende o conteúdo além do canvas original em vez de reparar uma região interna. O guia de edição de imagem baseado em máscara do Google Cloud distingue inserir, remover, expandir e substituir conteúdo.
• Super-resolução aumenta a resolução e o detalhe da imagem em vez de visar uma máscara definida pelo utilizador.

A remoção de texto segue o mesmo fluxo de trabalho que a remoção de objetos. O texto é mascarado e, em seguida, o sistema prevê o fundo obscurecido. Se o texto cobrir um rosto único, símbolo ou detalhe de documento, a informação original não pode ser recuperada de forma confiável.

Aplicações no mundo real#

Limpeza de imagens de retalho: Um vendedor online pode segmentar um cabo perdido, reflexo, suporte ou objeto de fundo de uma fotografia de produto e restaurar a área. Pequenos defeitos podem adequar-se ao Preenchimento Baseado no Conteúdo da Adobe, enquanto a edição de imagem generativa da Adobe pode lidar com regiões maiores e semanticamente complexas. (helpx.adobe.com)

Restauração de imagem: Arquivos e equipas de imagem podem mascarar arranhões, pontos de poeira, defeitos de sensores ou pixels ausentes em fotografias digitalizadas e quadros de microscopia. Isto pode melhorar a legibilidade e a apresentação, mas as áreas reconstruídas não devem ser tratadas como evidência observada. Em imagens médicas, científicas ou forenses, uma estrutura inventada pode alterar a interpretação e deve ser claramente documentada.

Fluxo de trabalho prático e limitações#

O exemplo a seguir usa o YOLO26 para criar uma máscara de pessoa e o OpenCV para preencher essa região. Instala as dependências com pip install ultralytics opencv-python numpy.

import cv2
import numpy as np
from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
results = model("https://ultralytics.com/images/bus.jpg")
result = results[0]

# Select the first detected person and convert its polygon to a mask.
class_ids = result.boxes.cls.cpu().numpy().astype(int)
person_index = next(i for i, class_id in enumerate(class_ids) if class_id == 0)
contour = result.masks.xy[person_index].astype(np.int32)
contour = contour.reshape(-1, 1, 2)

image = result.orig_img.copy()
mask = np.zeros(image.shape[:2], dtype=np.uint8)
cv2.drawContours(mask, [contour], -1, 255, cv2.FILLED)

inpainted = cv2.inpaint(image, mask, 3, cv2.INPAINT_TELEA)
cv2.imwrite("inpainted.jpg", inpainted)

Isto combina a localização de objetos com o padrão documentado para construir máscaras a partir de contornos de segmentação. O preenchimento clássico pode ter dificuldades com grandes objetos, geometria repetitiva, sombras, reflexos ou rostos. Métodos generativos lidam com contexto mais amplo, mas podem introduzir detalhes fabricados. Preserva o original, inspeciona os limites na resolução total e regista edições significativas usando mecanismos de proveniência como as Credenciais de Conteúdo C2PA, especialmente quando a autenticidade importa. A orientação do NIST sobre transparência de conteúdo sintético também enfatiza a proveniência e a rotulagem como salvaguardas importantes para media significativamente alterada. (c2pa.org)