O que é a estimativa de profundidade monocular? Uma visão geral

Carros autônomos são projetados para entender o que está acontecendo ao seu redor para que possam dirigir com segurança. Isso significa ir além de simplesmente reconhecer objetos como pedestres ou outros veículos.

Eles também precisam saber a que distância esses objetos estão para responder corretamente. No entanto, dar às máquinas essa noção de distância não é simples. Diferente dos humanos, elas não percebem profundidade naturalmente a partir de imagens e precisam ser explicitamente ensinadas a fazê-lo.

Uma razão por trás disso é que a maioria das câmeras captura o mundo como imagens planas e bidimensionais. Transformar essas imagens em algo que reflita a profundidade e a estrutura 3D do mundo real é complicado, especialmente quando os sistemas precisam funcionar de forma confiável em condições cotidianas.

Curiosamente, a visão computacional, que é um ramo da IA focado em interpretar e entender dados visuais, torna possível para as máquinas entenderem melhor o mundo a partir de imagens. Por exemplo, a estimativa de profundidade monocular é uma técnica de visão computacional que estima a distância de objetos usando apenas uma única imagem de câmera.

Ao aprender pistas visuais como tamanho do objeto, perspectiva, textura e sombreamento, esses modelos podem prever a profundidade sem depender de sensores adicionais como LiDAR (Light Detection and Ranging) ou câmeras estéreo. Neste artigo, vamos explorar o que é a estimativa de profundidade monocular, como ela funciona e algumas de suas aplicações no mundo real. Vamos começar!

Link to this sectionUma breve introdução à estimativa de profundidade monocular#

A estimativa de profundidade monocular permite que uma máquina entenda a que distância os objetos estão dela usando apenas uma única imagem. Como ela depende de apenas uma câmera, essa abordagem tem várias vantagens, incluindo menor custo e requisitos de hardware mais simples.

Por exemplo, ela pode ser usada em robôs domésticos acessíveis que operam com uma única câmera. Mesmo a partir de uma única imagem, o sistema robótico pode identificar quais paredes estão mais próximas e quais portas estão mais distantes, e inferir a profundidade geral do espaço.

Frequentemente, uma única imagem não contém informações na escala correta, então a estimativa de profundidade monocular geralmente foca na profundidade relativa. Em outras palavras, ela pode determinar quais objetos estão mais próximos e quais estão mais distantes, mesmo que as distâncias exatas não sejam conhecidas.

Quando um modelo é treinado com dados contendo distâncias de referência (ground-truth) ou profundidade absoluta, como medições de profundidade de sensores como LiDAR, ele pode aprender a prever distâncias em unidades do mundo real, como metros. Sem esse tipo de dado de referência, o modelo ainda pode inferir a profundidade relativa, mas não pode estimar distâncias absolutas de forma confiável.

A saída da estimativa de profundidade monocular é tipicamente um mapa de profundidade, que é uma imagem onde cada pixel representa o quão perto ou longe aquela parte da cena está. Um mapa de profundidade fornece aos sistemas de visão uma compreensão básica da estrutura 3D do ambiente.

Fig 1. Um exemplo de um mapa de profundidade previsto criado usando estimativa de profundidade monocular (Fonte)

Link to this sectionDos sensores às imagens: Estimando profundidade#

A estimativa de profundidade pode ser abordada de várias maneiras, dependendo dos sensores disponíveis, restrições de hardware e requisitos de precisão. Métodos tradicionais geralmente dependem de múltiplos pontos de vista ou sensores especializados para medir a distância diretamente.

Uma abordagem comum é a visão estéreo, que estima a profundidade comparando duas imagens sincronizadas capturadas de pontos de vista ligeiramente diferentes. Ao medir a diferença entre pontos correspondentes nas duas imagens, o sistema pode inferir a que distância os objetos estão da câmera.

Outra abordagem são os sistemas RGB-D (Vermelho, Verde, Azul e Profundidade), que usam sensores de profundidade ativos para medir a distância diretamente em cada pixel. Esses sistemas podem fornecer informações precisas de profundidade em ambientes controlados, mas exigem hardware adicional.

Enquanto isso, métodos baseados em LiDAR usam pulsos de laser para gerar representações tridimensionais precisas de uma cena. Embora altamente precisos, os sensores LiDAR são frequentemente caros e adicionam complexidade significativa de hardware.

Em contraste, a estimativa de profundidade monocular infere a profundidade usando apenas uma única imagem RGB. Como não depende de várias câmeras ou sensores especializados, é mais fácil de implantar em escala e é uma boa opção quando os custos e recursos de hardware são limitados.

Link to this sectionAprendendo profundidade a partir de uma única imagem#

Ao estimar a profundidade a partir de uma única imagem, modelos de profundidade monocular aprendem a reconhecer pistas visuais que os humanos usam instintivamente para julgar a distância. Essas pistas incluem linhas de perspectiva, tamanho do objeto, densidade de textura, sobreposição de objetos e sombreamento, todas as quais fornecem dicas sobre a distância dos objetos em relação à câmera.

Essas pistas trabalham juntas para criar uma noção de profundidade. Objetos que parecem menores ou estão parcialmente ocluídos geralmente estão mais distantes, enquanto detalhes mais claros e aparências visuais maiores geralmente sugerem que algo está mais próximo.

Para aprender esses padrões, modelos de profundidade monocular são treinados em grandes conjuntos de dados de imagem, frequentemente emparelhados com informações de profundidade obtidas de outras fontes, como LiDAR ou sistemas estéreo. Durante o treinamento, os modelos aprendem como as pistas visuais se relacionam com a profundidade, permitindo-lhes inferir a distância a partir de uma única imagem no momento da inferência.

Com dados de treinamento diversos, modelos de visão modernos podem generalizar esse entendimento aprendido através de uma ampla gama de ambientes, incluindo cenas internas e externas, e podem lidar com pontos de vista desconhecidos.

Link to this sectionUma olhada em várias técnicas de estimativa de profundidade monocular#

A seguir, exploraremos as principais abordagens usadas para estimar a profundidade a partir de uma única imagem e como esses métodos evoluíram ao longo do tempo.

Link to this sectionAbordagens clássicas e baseadas em geometria#

Os primeiros métodos de estimativa de profundidade dependiam de regras visuais simples ligadas à geometria da câmera. Pistas como perspectiva, tamanho do objeto e se um objeto bloqueava outro eram usadas para estimar a distância.

Por exemplo, quando dois objetos semelhantes apareciam com tamanhos diferentes, presumia-se que o menor estava mais distante. Essas abordagens funcionavam razoavelmente bem em ambientes controlados onde fatores como iluminação, posição da câmera e layout da cena permaneciam consistentes.

No entanto, em cenas do mundo real, essas suposições frequentemente falham. Variações na iluminação, mudanças de ponto de vista e maior complexidade da cena podem levar a estimativas de profundidade não confiáveis, limitando a eficácia dos métodos clássicos em ambientes não controlados.

Link to this sectionPrimeiras abordagens de aprendizado de máquina#

Os primeiros métodos de aprendizado de máquina trouxeram mais flexibilidade para a estimativa de profundidade ao aprender padrões diretamente dos dados. Em vez de depender apenas de regras geométricas fixas, esses modelos tentaram aprender a relação entre a informação visual e a distância, tratando a previsão de profundidade como um problema de regressão baseado em pistas como bordas, texturas e mudanças de cor.

A seleção dessas características era uma parte fundamental do processo. Engenheiros tinham que decidir quais sinais visuais extrair e como representá-los, e o desempenho do modelo dependia fortemente dessas escolhas.

Embora essa abordagem funcionasse melhor do que os métodos anteriores, ela ainda tinha limites. Se as características selecionadas carecessem de contexto importante, as previsões de profundidade eram menos precisas. À medida que as cenas se tornavam mais complexas e variadas, esses modelos frequentemente lutavam para produzir resultados confiáveis.

Link to this sectionAlgoritmos de aprendizado profundo#

A maioria dos sistemas modernos de estimativa de profundidade monocular usa aprendizado profundo (deep learning), que se refere a redes neurais com muitas camadas que podem aprender padrões complexos a partir de dados. Esses modelos aprendem a prever a profundidade diretamente de imagens e produzem mapas de profundidade.

Muitas abordagens são construídas usando redes neurais convolucionais (CNNs), um tipo de rede neural projetada para processar imagens detectando padrões como bordas e formas. Esses modelos frequentemente usam uma configuração de codificador-decodificador: o codificador extrai características visuais da imagem e o decodificador converte essas características em um mapa de profundidade. Processar a imagem em múltiplas escalas ajuda o modelo a capturar o layout geral da cena enquanto ainda captura limites de objetos nítidos.

Modelos mais recentes focam em entender as relações entre diferentes partes de uma imagem. Modelos baseados em Transformer e Vision Transformer (ViT) usam mecanismos de atenção, que permitem ao modelo identificar quais regiões de uma imagem são mais relevantes e relacionar áreas distantes entre si. Isso ajuda o modelo a construir uma compreensão mais consistente da profundidade em toda a cena.

Alguns sistemas combinam ambas as ideias. Modelos híbridos de CNN-Transformer usam CNNs para capturar detalhes locais finos e Transformers para modelar o contexto global da cena. Embora isso frequentemente melhore a precisão, geralmente requer mais recursos computacionais, como memória adicional e poder de processamento.

Link to this sectionPor que o entendimento de profundidade é importante para sistemas de visão por IA#

À medida que você aprende sobre estimativa de profundidade monocular, pode estar se perguntando por que o entendimento de profundidade é uma parte tão importante dos sistemas de IA baseados em visão.

Quando um sistema consegue estimar a distância de objetos e superfícies, ele ganha uma melhor compreensão de como uma cena é organizada e como diferentes elementos se relacionam. Esse tipo de consciência espacial é essencial para tomar decisões confiáveis, especialmente em aplicações do mundo real, como direção autônoma.

Informações de profundidade também adicionam contexto valioso a outras tarefas de visão computacional. Por exemplo, a detecção de objetos, suportada por modelos como o Ultralytics YOLO26, pode dizer a um sistema o que está presente em uma cena, mas a profundidade ajuda a responder onde esses objetos estão localizados em relação à câmera e entre si.

Juntas, essas capacidades permitem uma ampla gama de aplicações de visão por IA, como criar mapas 3D, navegar em ambientes complexos e entender uma cena como um todo.

Robôs e veículos autônomos dependem dessas informações para se mover com segurança, evitar obstáculos e reagir a mudanças em tempo real. Por exemplo, a abordagem de direção baseada apenas em visão da Tesla depende de imagens de câmera combinadas com estimativa de profundidade, em vez de LiDAR, para entender a distância dos objetos e como eles estão posicionados na estrada.

Link to this sectionComo funcionam os modelos de estimativa de profundidade monocular#

Embora as arquiteturas dos modelos variem, a maioria dos modelos de estimativa de profundidade monocular segue um processo semelhante para converter uma única imagem em um mapa de profundidade. Aqui está uma visão geral rápida das principais etapas envolvidas:

• Entrada e pré-processamento: O fluxo de trabalho começa com uma imagem de entrada. Antes de ser passada para o modelo, a imagem original é geralmente redimensionada, normalizada e convertida em um tensor, que é um formato que redes neurais usam para processar dados de imagem com eficiência.
• Extração de características: Uma rede codificadora analisa a imagem para extrair características visuais significativas. Essas características capturam informações como texturas, limites de objetos e o layout geral da cena. A maioria dos modelos opera em múltiplas escalas para que possam entender tanto os detalhes finos quanto a estrutura global.
• Raciocínio de profundidade: Usando as características extraídas, o modelo combina detalhes locais com o contexto global para raciocinar sobre as relações espaciais na cena. Nesta etapa, ele aprende quais regiões da imagem estão mais próximas da câmera e quais estão mais distantes.
• Geração do mapa de profundidade: Um decodificador então converte essas informações em um mapa de profundidade denso. Cada pixel na imagem recebe um valor de profundidade, muitas vezes combinando previsões de diferentes escalas para melhorar a precisão e a consistência.

Link to this sectionComo os modelos de estimativa de profundidade monocular são treinados#

O processo que acabamos de discutir pressupõe que já temos um modelo treinado ou pré-treinado. Mas como o treinamento de um modelo de estimativa de profundidade monocular realmente funciona?

O treinamento começa com a preparação dos dados de imagem para que possam ser processados eficientemente pela rede. As imagens de entrada são redimensionadas e normalizadas para uma escala consistente, depois passadas pelo modelo para gerar um mapa de profundidade previsto que estima a distância em cada pixel.

O mapa de profundidade previsto é então comparado com dados de profundidade de referência usando uma função de perda (loss function), que mede a distância entre a previsão do modelo e a profundidade real (ground-truth). Esse valor de perda representa o erro atual do modelo e fornece um sinal para melhoria.

Um otimizador usa esse sinal para atualizar o modelo ajustando seus pesos internos. Para fazer isso, o otimizador calcula o gradiente, que descreve como a perda muda em relação a cada parâmetro do modelo, e aplica essas atualizações repetidamente ao longo de várias épocas, ou passagens completas pelo conjunto de dados de treinamento.

Esse processo iterativo de treinamento por aprendizado supervisionado é guiado por hiperparâmetros como a taxa de aprendizado, que controla o tamanho de cada passo de atualização, e o tamanho do lote (batch size), que determina quantas imagens são processadas de uma vez. Como o treinamento envolve um grande número de operações matemáticas, ele é normalmente acelerado usando uma unidade de processamento gráfico (GPU), que é ótima para computação paralela.

Uma vez que o treinamento está completo, o modelo é avaliado usando métricas de avaliação padrão em um conjunto de validação, que consiste em imagens que não foram usadas durante o treinamento. Essa avaliação ajuda a medir quão bem o modelo generaliza para novos dados.

O modelo treinado pode então ser reutilizado ou ajustado para novos cenários. No geral, esse processo de treinamento permite que os modelos de estimativa de profundidade monocular produzam estimativas de profundidade consistentes, que são essenciais para tarefas posteriores como reconstrução 3D e implantação no mundo real.

Link to this sectionExplorando modelos de última geração e tendências de pesquisa#

A estimativa de profundidade monocular melhorou rapidamente à medida que os modelos se tornaram melhores em entender cenas inteiras, em vez de apenas pequenos detalhes visuais. Abordagens anteriores frequentemente produziam mapas de profundidade desiguais, especialmente em ambientes complexos.

Modelos mais novos, como visto em pesquisas recentes publicadas no arXiv, focam mais em um contexto global, o que leva a previsões de profundidade que parecem mais estáveis e realistas. Modelos bem conhecidos como MiDaS e DPT ajudaram a impulsionar essa mudança ao aprender a profundidade a partir de conjuntos de dados diversos e de alta resolução e generalizar bem em muitas cenas.

Modelos mais recentes, incluindo ZoeDepth e Depth Anything V2, baseiam-se nesse trabalho ao melhorar a consistência de escala enquanto mantêm um desempenho forte em uma ampla gama de configurações. Esse tipo de progresso é frequentemente medido usando conjuntos de dados de referência comuns como KITTI e NYU, que cobrem cenas internas e externas.

Outra tendência clara é equilibrar precisão com praticidade. Modelos menores são otimizados para velocidade e podem rodar em tempo real em dispositivos de borda ou móveis, enquanto modelos maiores priorizam maior resolução e precisão de profundidade de longo alcance.

Link to this sectionAplicações de estimativa de profundidade monocular#

A seguir, vamos percorrer alguns exemplos do mundo real que mostram como a estimativa de profundidade monocular é usada para raciocinar sobre a estrutura 3D de uma cena a partir de uma única imagem.

Em todos esses casos, é importante ter em mente que a informação de profundidade é uma estimativa inferida de pistas visuais, não uma medição precisa. Isso torna a estimativa de profundidade monocular útil para entender o layout relativo e as relações espaciais, mas não um substituto para sensores projetados para medir a distância com precisão, como LiDAR ou sistemas estéreo.

Link to this sectionMapeamento de terreno e navegação baseados em drones#

Drones frequentemente operam em ambientes onde os sinais de GPS não são confiáveis, como florestas, canteiros de obras, zonas de desastre ou áreas urbanas densas. Para voar com segurança nessas condições, eles precisam entender o terreno ao redor e saber a que distância os obstáculos estão. No passado, isso exigia tipicamente adicionar sensores como LiDAR ou câmeras estéreo, que aumentam o peso, o consumo de energia e o custo geral.

A estimativa de profundidade monocular é uma alternativa mais simples. Usando apenas uma única câmera RGB, drones podem estimar a profundidade a partir de imagens e construir uma compreensão 3D básica de seu ambiente. Isso permite que eles detectem obstáculos como edifícios, árvores ou mudanças repentinas no terreno e ajustem sua rota de voo em tempo real.

Essas estimativas de profundidade suportam tarefas essenciais de navegação, incluindo desvio de obstáculos, controle de altitude e pouso seguro. Como resultado, drones leves podem realizar tarefas de mapeamento, inspeção e navegação sem depender de sensores de profundidade especializados.

Fig 2. A estimativa de profundidade monocular pode ser usada para analisar imagens de drones (Fonte)

Link to this sectionPreenchendo pontos cegos para veículos de corrida autônomos#

Veículos autônomos geralmente dependem fortemente de sensores LiDAR, que usam pulsos de laser para medir a distância e construir uma visão 3D da estrada. Embora altamente precisos, o LiDAR pode ter dificuldades com cristas de estrada acentuadas, encostas íngremes, oclusão ou inclinação repentina do veículo, às vezes retornando dados de profundidade esparsos ou ausentes.

A estimativa de profundidade monocular pode ajudar a preencher essas lacunas fornecendo informações de profundidade densas a partir de uma única imagem RGB, mesmo quando os dados do LiDAR estão incompletos. Considere um cenário onde um carro autônomo está se aproximando do topo de uma colina em alta velocidade. Os feixes do LiDAR podem ultrapassar a estrada além da crista, deixando incerteza sobre o que está à frente.

A estimativa de profundidade baseada em câmera, no entanto, ainda pode inferir o formato da estrada a partir de pistas visuais como perspectiva e textura, ajudando o veículo a manter uma percepção confiável até que os dados do LiDAR se estabilizem. Juntos, o LiDAR e a estimativa de profundidade monocular permitem uma percepção mais estável e um controle mais seguro em condições de direção desafiadoras.

Fig 3. Uma visualização do uso da estimativa de profundidade monocular para corrida autônoma (Fonte)

Link to this sectionNavegação robótica e desvio de obstáculos#

Robôs são frequentemente operados em locais onde mapas detalhados não estão disponíveis e as condições mudam constantemente. Para se mover com segurança, eles precisam de um senso confiável de quanto espaço há ao redor deles e onde os obstáculos estão localizados.

A estimativa de profundidade monocular pode fornecer essa consciência espacial usando uma única câmera RGB, sem depender de hardware pesado ou caro. Ao aprender pistas visuais como escala e perspectiva, modelos de estimativa de profundidade podem gerar mapas de profundidade densos dos arredores. Isso dá aos robôs uma visão clara da distância para superfícies e objetos.

Em particular, quando as informações de profundidade são combinadas com tarefas de visão computacional como detecção de objetos e segmentação semântica, os robôs podem obter uma visão mais completa de seu ambiente. Eles podem identificar objetos, entender sua distância e decidir onde é seguro se mover. Isso suporta desvio de obstáculos, detecção de espaço livre e planejamento de trajetória em tempo real.

Fig 4. Detectando objetos usando estimativa de profundidade monocular e detecção de objetos (Fonte)

Link to this sectionPrós e contras da estimativa de profundidade monocular#

Aqui estão algumas das principais vantagens de usar a estimativa de profundidade monocular:

• Leve e eficiente em energia: Usar uma única câmera reduz o peso do sistema e o consumo de energia, o que é especialmente importante para robôs móveis, drones e sistemas embarcados.
• Amigável à fusão de sensores: A profundidade monocular pode complementar outros sensores, como LiDAR ou radar, preenchendo lacunas ou fornecendo redundância.
• Funciona em muitos ambientes: A mesma abordagem baseada em câmera pode ser usada em ambientes internos, externos e em diferentes plataformas sem exigir alterações de hardware.

Embora a estimativa de profundidade monocular ofereça benefícios claros, aqui estão algumas limitações a serem consideradas:

• Precisão menor que sensores ativos: Embora esteja melhorando rapidamente, a estimativa de profundidade monocular geralmente não consegue igualar a precisão absoluta do LiDAR ou de sensores de luz estruturada em condições controladas.
• Sensibilidade a condições de iluminação: O desempenho pode degradar em ambientes com pouca luz, sombras fortes, brilho ou cenas com pouca textura.
• Desafios de generalização: Um modelo treinado em um ambiente nem sempre pode ser transferido de forma confiável para domínios não vistos sem adaptação ou ajuste fino.

Link to this sectionQuando não confiar na estimativa de profundidade monocular#

Embora a estimativa de profundidade monocular seja uma área interessante de pesquisa, é importante entender onde ela pode ser usada na prática e onde não pode. As distâncias que ela produz são estimativas baseadas no que o modelo vê em uma imagem, não medições exatas tiradas do mundo real.

Por causa disso, a qualidade dos resultados pode mudar dependendo de fatores como iluminação, complexidade da cena e o quão semelhante a cena é ao que o modelo foi treinado. A estimativa de profundidade monocular geralmente é boa para dizer o que está mais perto e o que está mais longe, mas não é confiável quando você precisa de distâncias exatas.

Em situações onde a precisão realmente importa, como sistemas críticos de segurança, inspeção industrial ou robôs que precisam interagir com muita precisão com objetos, a profundidade precisa ser medida diretamente. Sensores como LiDAR, radar, câmeras estéreo ou sistemas de luz estruturada são projetados para isso e fornecem informações de distância muito mais confiáveis.

A estimativa de profundidade monocular também pode ter dificuldades em condições visualmente difíceis. Iluminação ruim, sombras fortes, superfícies reflexivas ou transparentes, neblina, fumaça ou cenas com muito pouca textura visual podem tornar as estimativas de profundidade menos confiáveis. Estimar a profundidade a longas distâncias é outro caso onde sensores dedicados geralmente funcionam melhor.

Quando se trata de soluções do mundo real, a estimativa de profundidade monocular funciona melhor como uma ferramenta de apoio do que como uma solução independente. Ela pode adicionar um contexto espacial útil, ajudar a preencher lacunas quando outros sensores são limitados e melhorar a compreensão geral da cena. No entanto, não deve ser a única fonte de informações de profundidade quando requisitos de precisão, segurança ou confiabilidade rigorosa são importantes.

Link to this sectionPrincipais pontos#

A estimativa de profundidade monocular é uma técnica de visão computacional que permite às máquinas estimar a distância dos objetos usando apenas uma única imagem de câmera. Ao aprender pistas visuais como perspectiva, tamanho do objeto, textura e sombreamento, esses modelos de IA podem inferir a estrutura 3D de uma cena sem depender de sensores como LiDAR ou câmeras estéreo. Isso torna a estimativa de profundidade monocular uma abordagem econômica e escalável para aplicações como direção autônoma, robótica e compreensão de cenas 3D.

Para explorar mais sobre visão computacional com IA, visite nosso GitHub repository e junte-se à nossa community. Confira nossas páginas de soluções para aprender sobre AI in robotics e computer vision in manufacturing. Descubra our licensing options para começar hoje mesmo com visão computacional!