Um guia sobre a arquitetura U-Net e suas aplicações

A visão computacional é um ramo da inteligência artificial (IA) que se concentra na análise de dados visuais. Abriu caminho para muitos sistemas de ponta, como a automação do processo de inspeção de produtos em fábricas e o auxílio a veículos autônomos na navegação em estradas. 

Uma das tarefas de visão computacional mais conhecidas é a detecção de objetos. Essa tarefa permite que os modelos localizem e identifiquem objetos dentro de uma imagem usando caixas delimitadoras. Embora as caixas delimitadoras sejam úteis para várias aplicações, elas fornecem apenas uma estimativa aproximada da localização de um objeto.

No entanto, em áreas como a saúde, onde a precisão é crucial, os casos de uso da IA Vision dependem de mais do que apenas identificar um objeto. Muitas vezes, também exigem informações relacionadas à forma e posição exatas dos objetos.

É exatamente isso que a tarefa de visão computacional, segmentação, foi projetada para fazer. Em vez de usar caixas delimitadoras, os modelos de segmentação detectam objetos no nível do pixel. Ao longo dos anos, os pesquisadores desenvolveram modelos de visão computacional especializados para segmentação.

Um desses modelos é o U-Net. Embora modelos mais novos e avançados tenham superado seu desempenho, o U-Net ocupa um lugar significativo na história da visão computacional. Neste artigo, examinaremos mais de perto a arquitetura U-Net, como ela funciona, onde foi usada e como ela se compara aos modelos de segmentação mais modernos disponíveis atualmente.

‍

A história da segmentação de imagem

Antes de nos aprofundarmos no que é o U-Net, vamos primeiro ter uma ideia melhor de como os modelos de segmentação de imagem evoluíram.

Inicialmente, a visão computacional dependia de técnicas tradicionais como detecção de bordas, limiarização ou crescimento de regiões para separar objetos em uma imagem. Essas técnicas eram usadas para detectar limites de objetos usando bordas, separar regiões por intensidade de pixel e agrupar pixels semelhantes. Elas funcionavam para casos simples, mas frequentemente falhavam quando as imagens tinham ruído, formas sobrepostas ou limites pouco claros.

Após a ascensão do aprendizado profundo em 2012, os pesquisadores introduziram o conceito de redes totalmente convolucionais (FCNs) em 2014 para tarefas como segmentação semântica. Esses modelos substituíram certas partes de uma rede convolucional para permitir que o computador observe uma imagem inteira de uma vez, em vez de dividi-la em partes menores. Isso tornou possível para o modelo criar mapas detalhados que mostram o que está em uma imagem de forma mais clara.

‍

Com base nas FCNs, a U-Net foi introduzida por pesquisadores da Universidade de Freiburg em 2015. Foi originalmente projetada para segmentação de imagens biomédicas. Em particular, a U-Net foi projetada para ter um bom desempenho em situações onde os dados anotados são limitados. 

Enquanto isso, versões posteriores como UNet++ e TransUNet adicionaram atualizações como camadas de atenção e melhor extração de recursos. As camadas de atenção ajudam o modelo a se concentrar em regiões-chave, enquanto a extração de recursos aprimorada captura informações mais detalhadas.

O que é a U-Net e como os recursos fluem através do modelo?

A U-Net é um modelo de aprendizado profundo construído especificamente para segmentação de imagens. Ela recebe uma imagem como entrada e produz uma máscara de segmentação que classifica cada pixel de acordo com o objeto ou região a que pertence.

O modelo recebe seu nome de sua arquitetura em forma de U. Ele consiste em duas partes principais: um codificador que comprime a imagem e aprende seus recursos, e um decodificador que a expande de volta ao tamanho original. Este design cria uma forma de U simétrica, que ajuda o modelo a entender tanto a estrutura geral de uma imagem quanto seus detalhes mais finos.

Uma característica crucial da U-Net é o uso de skip connections, que permitem que informações do codificador sejam passadas diretamente para o descodificador. Isso significa que o modelo pode preservar detalhes importantes que podem ser perdidos quando a imagem é comprimida. 

Uma visão geral da arquitetura da U-Net

Aqui está um vislumbre de como funciona a arquitetura da U-Net:

• Imagem de entrada: A U-Net começa com uma imagem 2D, como uma digitalização médica ou uma foto de satélite. O objetivo é atribuir um rótulo de classe a cada pixel da imagem.
  
  
• Subamostragem: A imagem passa por camadas convolucionais que aprendem características visuais importantes. À medida que a imagem se move através de diferentes camadas, sua resolução diminui e o modelo identifica padrões mais amplos.
  
  
• Camada de gargalo (Bottleneck layer): No centro da rede, os mapas de características atingem sua menor resolução espacial enquanto capturam características semânticas de alto nível. Simplificando, essa representação compactada dos mapas de características é o contexto geral da entrada.
  
  
• Upsampling: A rede reconstrói então a imagem aumentando gradualmente a resolução. As convoluções transpostas ajudam a expandir os mapas de características de volta para o tamanho original.
  
  
• Conexões de salto: Os mapas de características do caminho de downsampling são concatenados com aqueles no caminho de upsampling. Isso ajuda a preservar detalhes espaciais refinados enquanto integra informações contextuais de alto nível.
• A saída é um mapa de segmentação: A saída final é uma máscara de segmentação pixel a pixel que corresponde ao tamanho da entrada. Cada pixel é classificado em uma categoria como objeto, fundo ou região de interesse.

‍

Compreendendo a diferença entre ViT e U-Net

Ao explorar a U-Net, você pode estar se perguntando como ela difere de outros modelos de aprendizado profundo, como o Vision Transformer (ViT), que também pode executar tarefas de segmentação. Embora ambos os modelos possam executar tarefas semelhantes, eles diferem em termos de como são construídos e como lidam com a segmentação.

A U-Net funciona processando imagens no nível do pixel através de camadas convolucionais em uma estrutura de codificador-decodificador. É frequentemente usada para tarefas que exigem segmentação precisa, como exames médicos ou cenas de carros autônomos. 

Por outro lado, o Vision Transformer (ViT) divide as imagens em patches e processa-os simultaneamente através de mecanismos de atenção. Ele usa a autoatenção (um mecanismo que permite que o modelo pondere a importância de diferentes partes da imagem em relação umas às outras) para capturar como diferentes partes da imagem se relacionam entre si, ao contrário da abordagem convolucional da U-Net.

Outra diferença importante é que o ViT geralmente precisa de mais dados para funcionar bem, mas é ótimo em identificar padrões complexos. O U-Net, por outro lado, tem um bom desempenho com conjuntos de dados menores, é mais rápido para treinar e geralmente requer menos tempo de treinamento.

Aplicações do modelo U-Net

Agora que temos uma melhor compreensão do que é U-Net e como funciona, vamos explorar como o U-Net tem sido aplicado em diferentes domínios.

Segmentação de hemorragias cerebrais em imagens médicas

A U-Net se tornou um método confiável para a segmentação em nível de pixel de imagens médicas complexas, principalmente durante seu auge na pesquisa. Foi utilizada por pesquisadores para destacar áreas-chave em exames médicos, como tumores e sinais de sangramento interno em imagens de TC e RM. Essa abordagem avançou significativamente a precisão dos diagnósticos e agilizou a análise de dados médicos complexos em ambientes de pesquisa.

Um exemplo do impacto da U-Net na pesquisa em saúde é o seu uso na identificação de AVC e hemorragia cerebral em exames médicos. Os pesquisadores podem usar a U-Net para analisar exames de cabeça e destacar áreas de preocupação, permitindo uma identificação mais rápida de casos que exigem atenção imediata.

‍

Segmentação de culturas na agricultura

Outra área onde os pesquisadores usaram o U-Net é na agricultura, particularmente para segmentar culturas, ervas daninhas e solo. Ele ajuda os agricultores a monitorar a saúde das plantas, estimar rendimentos e tomar melhores decisões em grandes fazendas. Por exemplo, o U-Net pode separar culturas de ervas daninhas, tornando a aplicação de herbicidas mais eficiente e reduzindo o desperdício.

Para resolver desafios como o desfoque de movimento em imagens de drones, os pesquisadores melhoraram a U-Net com técnicas de desfocagem de imagem. Isso garante uma segmentação mais clara, mesmo quando os dados são coletados durante o movimento, como durante levantamentos aéreos.

‍

Direção autônoma

Antes que modelos de IA mais avançados fossem introduzidos, o U-Net desempenhou um papel vital na exploração de como a segmentação poderia aprimorar a direção autônoma. Em veículos autônomos, a segmentação semântica do U-Net pode ser usada para classificar cada pixel em uma imagem em categorias como estrada, veículo, pedestre e marcações de faixa. Isso fornece ao carro uma visão clara de seus arredores, auxiliando na navegação segura e na tomada de decisões eficazes.

‍

Prós e contras do U-Net

Ainda hoje, o U-Net continua a ser uma boa escolha para a segmentação de imagens entre os investigadores devido ao seu equilíbrio entre simplicidade, precisão e adaptabilidade. Aqui estão algumas das principais vantagens que o destacam:

• Adaptável para diferentes modalidades: A U-Net foi adaptada para diferentes tipos de dados, incluindo exames médicos 3D, imagens de satélite e até mesmo quadros de vídeo.
  
  
• Inferência rápida quando otimizada: Quando devidamente ajustada, a U-Net pode ser executada de forma eficiente, tornando-a adequada para aplicações em tempo real ou quase em tempo real.
  
  
• Código aberto e comunidade:  U-Net está disponível nas principais bibliotecas de aprendizado profundo e é apoiado por uma grande comunidade de desenvolvedores e pesquisadores.

Embora a U-Net tenha muitos pontos fortes, há também algumas limitações a ter em mente. Aqui estão alguns fatores a considerar: 

• Sensível à qualidade dos dados: O desempenho do U-Net pode ser impactado negativamente por dados de baixa qualidade, como imagens ruidosas ou de baixa resolução.
  
  
• Propenso a overfitting com pequenos conjuntos de dados: Embora o U-Net tenha um bom desempenho com dados limitados, ele ainda corre o risco de overfitting se não for devidamente regularizado, principalmente quando o conjunto de dados é muito pequeno ou carece de diversidade.
  
  
• Recursos computacionais: A U-Net pode ser computacionalmente dispendiosa, especialmente ao trabalhar com grandes conjuntos de dados, exigindo recursos de hardware significativos para o treinamento.

Principais conclusões

A U-Net tem sido um marco fundamental na evolução da segmentação de imagens. Ela provou que os modelos de aprendizado profundo podem fornecer resultados precisos usando conjuntos de dados menores, especialmente em áreas como imagens médicas. 

Essa descoberta abriu caminho para aplicações mais avançadas em vários campos. À medida que a visão computacional continua a evoluir, os modelos de segmentação como o U-Net permanecem fundamentais para permitir que as máquinas entendam e interpretem dados visuais com alta precisão.

Quer construir seus próprios projetos de visão computacional? Explore nosso repositório no GitHub para se aprofundar em IA e confira nossas opções de licenciamento. Saiba como a visão computacional na área da saúde está melhorando a eficiência e explore o impacto da IA no varejo visitando nossas páginas de soluções! Junte-se à nossa crescente comunidade agora!