U-Net

A U-Net é uma rede neural convolucional (CNN) para segmentação semântica, tarefa que atribui uma classe a cada pixel de uma imagem. Olaf Ronneberger, Philipp Fischer e Thomas Brox, da Universidade de Freiburg, apresentaram-na em 2015 no artigo U-Net: Redes convolucionais para segmentação de imagens biomédicas. Um codificador reduz a imagem para capturar seu conteúdo, um decodificador expande o resultado de volta à resolução total, e as conexões de salto fornecem ao decodificador os detalhes finos do codificador em cada escala, produzindo contornos nítidos dos objetos. A U-Net teve bom desempenho com algumas dezenas de imagens de microscopia anotadas, venceu por ampla margem duas categorias do desafio de rastreamento celular ISBI 2015 e continua sendo um modelo padrão em análise de imagens médicas. Mais tarde, seu projeto tornou-se a rede de redução de ruído de muitos modelos de difusão.

Como funciona a U-Net#

A rede tem duas metades simétricas, desenhadas como os dois braços de um U:

• Caminho de contração (codificador): Pares repetidos de convoluções 3×3 com ativações ReLU, cada par seguido por max pooling 2×2 que reduz a resolução pela metade. O número de canais dobra em cada nível, de 64 a 1.024, trocando detalhes espaciais por um campo receptivo mais amplo e características mais ricas.
• Caminho de expansão (decodificador): Em cada nível, uma convolução ascendente 2×2 dobra a resolução e reduz pela metade o número de canais; o resultado é concatenado com o mapa de características do codificador no mesmo nível, e duas convoluções 3×3 combinam os dados. Uma convolução final 1×1 converte as características de cada pixel em pontuações de classe.

A rede original tem 23 camadas convolucionais e quatro etapas de pooling. Ela usava convoluções sem padding, então um recorte de entrada de 572×572 produzia um mapa de segmentação de 388×388, e imagens grandes eram segmentadas em recortes sobrepostos. Hoje, a maioria das implementações aplica padding às convoluções para que a saída corresponda ao tamanho da entrada.

Conexões de salto#

O pooling descarta exatamente a localização de cada característica. No gargalo, a rede sabe que uma região contém uma membrana celular, mas não quais pixels a membrana atravessa. As conexões de salto copiam o mapa de características de alta resolução de cada nível do codificador através do U até o decodificador, que combina o “o quê” do caminho ampliado com o “onde” do codificador. A U-Net concatena os dois na dimensão dos canais, enquanto as conexões residuais da ResNet somam características dentro de um bloco. Este código em PyTorch cria um nível de codificador, um gargalo e um nível de decodificador:

import torch
from torch import nn

# One encoder level, a bottleneck, and one decoder level of a U-Net
encoder = nn.Sequential(nn.Conv2d(3, 16, 3, padding=1), nn.ReLU())
bottleneck = nn.Sequential(nn.MaxPool2d(2), nn.Conv2d(16, 32, 3, padding=1), nn.ReLU())
upsample = nn.ConvTranspose2d(32, 16, kernel_size=2, stride=2)
decoder = nn.Sequential(nn.Conv2d(32, 16, 3, padding=1), nn.ReLU())
head = nn.Conv2d(16, 2, kernel_size=1)  # 2 classes, e.g. cell and background

image = torch.randn(1, 3, 128, 128)
skip = encoder(image)  # full-resolution features kept for the decoder
context = bottleneck(skip)  # half resolution, twice the channels, wider context

# Skip connection: concatenate upsampled context with the saved high-resolution features
merged = torch.cat([upsample(context), skip], dim=1)
logits = head(decoder(merged))
print(f"context {tuple(context.shape)} -> merged {tuple(merged.shape)} -> logits {tuple(logits.shape)}")

Ele imprime context (1, 32, 64, 64) -> merged (1, 32, 128, 128) -> logits (1, 2, 128, 128): os 16 canais de contexto ampliados e os 16 canais de salto se combinam em 32, e a saída contém duas pontuações de classe para cada um dos pixels de entrada de 128×128.

Treinamento com poucos dados#

O conjunto de treinamento original de estruturas neuronais em microscopia eletrônica continha 30 imagens de 512×512 pixels. A U-Net compensou esse volume com uma forte ampliação de dados, sobretudo deformações elásticas aleatórias que imitam a flexão dos tecidos, e com uma perda de entropia cruzada ponderada que dá ênfase aos espaços finos de fundo entre células em contato, fazendo com que células vizinhas apareçam como regiões separadas. Hoje, modelos de segmentação médica costumam treinar com a perda Dice, que mede diretamente a sobreposição das máscaras e lida bem com estruturas pequenas que ocupam apenas alguns por cento dos pixels.

Variantes e descendentes#

• 3D U-Net e V-Net: Substituem operações 2D por operações 3D para segmentar volumes, como tomografias e exames de ressonância magnética.
• Attention U-Net e UNet++: Acrescentam portas de atenção ou caminhos de salto aninhados e densamente conectados para refinar quais características do codificador chegam ao decodificador.
• nnU-Net: Uma estrutura que configura automaticamente o pré-processamento, a arquitetura e o treinamento para um novo conjunto de dados. Um estudo da MICCAI 2024 constatou que U-Nets baseadas em CNN e bem ajustadas nessa estrutura ainda superam arquiteturas mais recentes de transformer e Mamba em segmentação médica 3D quando validadas rigorosamente.
• U-Nets de difusão: DDPM e Stable Diffusion 1.x usam uma U-Net para prever o ruído em uma imagem ou representação latente, com camadas de atenção que permitem ao prompt orientar a geração; a U-Net do Stable Diffusion 1.x tem cerca de 860 milhões de parâmetros, e o ControlNet se conecta ao codificador dessa U-Net. Geradores mais recentes substituem a U-Net por transformers de difusão.

U-Net e modelos relacionados#

• Redes totalmente convolucionais (FCN): A FCN de 2014 transformou classificadores em preditores por pixel e combinou previsões grosseiras e finas pela soma de mapas de pontuação de classe. A U-Net criou um decodificador completo com concatenação de características em cada nível.
• Autoencoders: Também têm a estrutura de codificador e decodificador, mas são treinados para reconstruir a entrada por meio de um gargalo estreito. As conexões de salto permitiriam que um autoencoder contornasse esse gargalo, enquanto a U-Net precisa delas para produzir rótulos alinhados por pixel.
• Modelos de segmentação de instâncias: Uma U-Net gera uma classe por pixel, então dois objetos da mesma classe que se tocam compartilham um rótulo, a menos que o treinamento ou o pós-processamento os separe.

Os modelos de segmentação semântica do Ultralytics YOLO26, identificados pelo sufixo -sem, usam uma versão reduzida do decodificador da U-Net. O neck amplia duas vezes a saída do backbone na escala 1/32, concatenando ao longo do processo as características do backbone nas escalas 1/16 e 1/8; depois, classifica os pixels na escala 1/8 e amplia as pontuações de classe em 8× até o tamanho da entrada.

Aplicações no mundo real#

• Análise de imagens de satélite: Mapas de cobertura do solo rotulam cada pixel como água, floresta, terra cultivada ou edifícios para acompanhar o desmatamento e o crescimento urbano.
• Inspeção industrial: Máscaras de pixels de arranhões, rachaduras e corrosão medem o tamanho e a forma exatos de um defeito, algo que uma caixa delimitadora não consegue fazer.
• Imagens médicas: U-Nets contornam órgãos, tumores e lesões em tomografias e exames de ressonância magnética para diagnóstico e planejamento de radioterapia, além de separar células individuais em imagens de microscopia. No desafio de rastreamento celular ISBI 2015, uma U-Net treinada com 20 imagens de células HeLa parcialmente anotadas alcançou IoU média de 77,5%, contra 46% do segundo melhor método.