Explorando vários tipos de dados para aplicações de visão AI

Tecnologia como drones costumava ser limitada e acessível apenas a pesquisadores e especialistas, mas hoje em dia, hardware de ponta está se tornando mais acessível a um público mais amplo. Essa mudança está transformando a forma como coletamos dados visuais. Com tecnologias mais acessíveis, agora podemos capturar imagens e vídeos de uma variedade de fontes, além das câmeras tradicionais.

Em paralelo, a análise de imagens, possibilitada pela computer vision, um ramo da inteligência artificial (IA), está a evoluir rapidamente, permitindo que as máquinas interpretem e processem dados visuais de forma mais eficaz. Este avanço abriu novas possibilidades para a automação, deteção de objetos e análise em tempo real. As máquinas conseguem agora reconhecer padrões, monitorizar movimentos e dar sentido a entradas visuais complexas.

Alguns tipos principais de visual data incluem imagens RGB (Vermelho, Verde, Azul), que são habitualmente usadas para o reconhecimento de objetos, imagem térmica, que ajuda a detetar assinaturas térmicas em condições de pouca luz, e dados de profundidade, que permitem que as máquinas compreendam ambientes 3D. Cada um destes tipos de dados desempenha um papel vital para alimentar várias aplicações de IA de visão, variando desde a vigilância até à medical imaging.

Neste artigo, exploraremos os principais tipos de dados visuais usados na visão com IA e como cada um contribui para melhorar a precisão, eficiência e desempenho em diversos setores. Vamos começar!

O tipo mais comum de datasets de imagem e vídeo para IA#

Tipicamente, quando você usa um smartphone para tirar uma foto ou visualizar filmagens de CFTV, você está trabalhando com imagens RGB. RGB significa vermelho, verde e azul, e são os três canais de cor que representam informações visuais em imagens digitais.

Imagens e vídeos RGB são tipos de dados visuais intimamente relacionados usados em visão computacional, ambos capturados usando câmeras padrão. A principal diferença é que as imagens capturam um único momento, enquanto os vídeos são uma sequência de quadros que mostram como as coisas mudam ao longo do tempo.

As imagens RGB são geralmente usadas para computer vision tasks como deteção de objetos, segmentação de instâncias e estimativa de pose, apoiadas por modelos como o Ultralytics YOLO11. Estas aplicações dependem da identificação de padrões, formas ou caraterísticas específicas num único fotograma.

Os vídeos, por outro lado, são essenciais quando o movimento ou o tempo são fatores determinantes, como para o reconhecimento de gestos, vigilância ou rastreamento de ações. Como os vídeos podem ser considerados uma série de imagens, modelos de visão computacional como o Ultralytics YOLO11 os processam quadro a quadro para entender o movimento e o comportamento ao longo do tempo.

Por exemplo, o Ultralytics YOLO11 pode ser usado para analisar imagens RGB ou vídeos para detectar daninhas e contar plantas em campos agrícolas. Isso aprimora o monitoramento de safras e ajuda a rastrear mudanças ao longo dos ciclos de cultivo para um gerenciamento agrícola mais eficiente.

Fig 1. O YOLO11 consegue detetar e contar plantas para uma monitorização de colheitas mais inteligente.

Dados de profundidade na visão com IA: LiDAR e percepção 3D#

Os dados de profundidade adicionam uma terceira dimensão à informação visual, indicando a distância a que os objetos se encontram da câmara ou do sensor. Ao contrário das imagens RGB que apenas capture color e textura, os dados de profundidade fornecem contexto espacial. Mostram a distância entre os objetos e a câmara, tornando possível interpretar a disposição 3D de uma cena.

Esse tipo de dado é capturado usando tecnologias como LiDAR, visão estéreo (usando duas câmeras para imitar a percepção de profundidade humana) e câmeras de Tempo de Voo (medindo o tempo que a luz leva para viajar até um objeto e voltar).

Dentre eles, o LiDAR (Light Detection and Ranging) é frequentemente o mais confiável para medição de profundidade. Ele funciona enviando pulsos de laser rápidos e medindo quanto tempo levam para retornar. O resultado é um mapa 3D altamente preciso, conhecido como nuvem de pontos, que destaca a forma, posição e distância dos objetos em tempo real.

O papel crescente do LiDAR em sistemas de visão com IA#

A tecnologia LiDAR pode ser dividida em dois tipos principais, cada um projetado para aplicações e ambientes específicos. Aqui está uma visão mais detalhada de ambos os tipos:

• LiDAR aerotransportado: Habitualmente utilizado para mapear grandes áreas, os scanners LiDAR aerotransportados são montados em drones ou aeronaves para capturar dados de alta resolução para mapeamento topográfico em grande escala. É ideal para examinar terrenos, florestas e paisagens.
• LiDAR Terrestre: Esse tipo de dado LiDAR é coletado de sensores montados em veículos ou plataformas fixas para aplicações como monitoramento de infraestrutura, construção e mapeamento interno. Ele fornece dados altamente detalhados para áreas menores e localizadas, sendo útil para tarefas como planejamento urbano e levantamento de estruturas específicas.

Uma aplicação com impacto dos dados LiDAR é em autonomous vehicles, onde desempenha um papel fundamental em tarefas como a deteção de faixas de rodagem, prevenção de colisões e identificação de objetos próximos. O LiDAR gera mapas 3D detalhados e em tempo real do ambiente, permitindo que o veículo veja objetos, calcule a sua distância e navegue em segurança.

Fig 2. A tecnologia LiDAR permite que veículos autônomos mapeiem profundidade e detectem objetos.

Usando dados térmicos e infravermelhos em aplicações de IA#

Imagens RGB capturam o que vemos no espectro de luz visível; no entanto, outras tecnologias de imagem, como a termografia e a imagem infravermelha, vão além disso. A imagem infravermelha captura luz infravermelha emitida ou refletida por objetos, tornando-a útil em condições de baixa luminosidade.

A termografia, por outro lado, detecta o calor emitido por objetos e mostra diferenças de temperatura, permitindo que funcione na escuridão total ou através de fumaça, neblina e outras obstruções. Esse tipo de dado é particularmente útil para monitorar e detectar problemas, especialmente em setores onde mudanças de temperatura podem sinalizar potenciais problemas.

Um exemplo interessante é o uso de imagem térmica para monitorizar electrical components quanto a sinais de sobreaquecimento. Ao detetar diferenças de temperatura, as câmaras térmicas conseguem identificar problemas antes que estes resultem em falhas de equipamento, incêndios ou danos dispendiosos.

Fig 3. Um exemplo de imagem térmica a ser utilizada para monitorizar componentes elétricos.

Da mesma forma, imagens infravermelhas podem ajudar a detectar vazamentos em tubulações ou isolamentos ao identificar diferenças de temperatura que indicam gases ou fluidos escapando, o que é crucial para prevenir situações perigosas e melhorar a eficiência energética.

Imagem multiespectral e hiperespectral na IA#

Embora a imagem infravermelha e térmica capture aspectos específicos do espectro eletromagnético, a imagem multiespectral coleta luz de algumas faixas de comprimento de onda selecionadas, cada uma escolhida para um propósito específico, como detectar vegetação saudável ou identificar materiais de superfície.

A imagem hiperespectral leva isso um passo adiante ao capturar luz em centenas de faixas de comprimento de onda muito estreitas e contínuas. Isso fornece uma assinatura de luz detalhada para cada pixel na imagem, oferecendo uma compreensão muito mais profunda de qualquer material sendo observado.

Fig 4. Comparação entre imagem multiespetral e hiperespetral.

Tanto a imagem multiespectral quanto a hiperespectral usam sensores e filtros especiais para capturar luz em diferentes comprimentos de onda. Os dados são então organizados em uma estrutura 3D chamada cubo espectral, com cada camada representando um comprimento de onda diferente.

Os modelos de IA podem analisar estes dados para detetar caraterísticas que as câmaras normais ou o olho humano não conseguem ver. Por exemplo, na plant phenotyping, a imagem hiperespetral pode ser utilizada para monitorizar a saúde e o crescimento das plantas, detetando alterações subtis nas folhas ou caules, tais como deficiências de nutrientes ou stress. Isto ajuda os investigadores a avaliar a saúde das plantas e a otimizar as práticas agrícolas sem necessidade de métodos invasivos.

Analisando imagens de radar e sonar usando IA#

Imagens de radar e sonar são tecnologias que detectam e mapeiam objetos enviando sinais e analisando seus reflexos, de forma semelhante ao LiDAR. Ao contrário da imagem RGB, que depende de ondas de luz para capturar informações visuais, o radar usa ondas eletromagnéticas, tipicamente ondas de rádio, enquanto o sonar usa ondas sonoras. Tanto sistemas de radar quanto de sonar emitem pulsos e medem o tempo que o sinal leva para retornar de um objeto, fornecendo informações sobre sua distância, tamanho e velocidade.

A imagem de radar é especialmente útil quando a visibilidade é ruim, como durante neblina, chuva ou à noite. Como não depende de luz, ela pode detectar aeronaves, veículos ou terrenos na escuridão total. Isso torna o radar uma escolha confiável na aviação, monitoramento climático e navegação autônoma.

Em comparação, a imagem de sonar é habitualmente utilizada em ambientes subaquáticos onde a luz não consegue chegar. Utiliza ondas sonoras que viajam através da água e ressaltam em objetos submersos, permitindo a deteção de submarinos, o mapeamento de fundos oceânicos e a execução de missões de salvamento subaquático. Os avanços na visão computacional estão agora a permitir melhorar ainda mais a underwater detection ao combinar dados de sonar com análise inteligente para uma deteção e tomada de decisão aprimoradas.

Fig 5. Como um sistema SONAR usa pulsos de ultrassom para medir a profundidade do mar. (Fonte: bbc.co.uk)

Dados visuais sintéticos e simulados para treinamento de modelos de IA#

Até agora, os diferentes tipos de dados que discutimos foram aqueles que podem ser recolhidos do mundo real. No entanto, os dados visuais sintéticos e simulados são ambos tipos de conteúdo artificial. Os dados sintéticos são gerados do zero utilizando 3D modeling ou IA generativa para produzir imagens ou vídeos com aspeto realista.

Fig 6. Uma vista sobre imagens geradas sinteticamente.

Dados simulados são semelhantes, mas envolvem a criação de ambientes virtuais que replicam como o mundo físico se comporta, incluindo reflexo de luz, formação de sombra e movimento de objetos. Embora todos os dados visuais simulados sejam sintéticos, nem todos os dados sintéticos são simulados. A principal diferença é que os dados simulados replicam comportamento realista, não apenas a aparência.

Estes tipos de dados são úteis para treinar computer vision models, particularmente quando os dados do mundo real são difíceis de recolher ou quando situações específicas e raras precisam de ser simuladas. Os programadores podem criar cenas inteiras, escolher tipos de objetos, posições e iluminação, e adicionar automaticamente etiquetas como caixas delimitadoras para o treino. Isto ajuda a construir conjuntos de dados grandes e diversos rapidamente, sem necessidade de fotografias reais ou etiquetagem manual, o que pode ser dispendioso e demorado.

Por exemplo, na saúde, dados sintéticos podem ser usados para treinar modelos para segmentar células de câncer de mama, onde coletar e rotular grandes datasets de imagens reais é difícil. Dados sintéticos e simulados fornecem flexibilidade e controle, preenchendo lacunas onde visuais do mundo real são limitados.

Escolhendo o tipo certo de dados visuais para sua aplicação de IA#

Agora que vimos como funcionam diferentes tipos de dados visuais e o que podem fazer, vamos dar uma olhada mais de perto em quais tipos de dados são melhores para tarefas específicas:

• Imagens RGB: São perfeitas para tarefas gerais de visão computacional, como image classification e deteção de objetos. Capturam cor e textura, mas são limitadas em condições desafiantes como pouca luz ou fraca visibilidade.
• Imagem LiDAR: Esse tipo de imagem oferece mapeamento 3D de alta precisão usando pulsos de laser. É excelente para aplicações que exigem medições de distância precisas, como robótica, veículos autônomos e inspeção de infraestrutura.
• Termografia: Como pode detectar diferenças de temperatura, é útil em condições de baixa visibilidade, como monitoramento noturno, combate a incêndios ou detecção de vazamentos de calor em máquinas e edifícios.
• Imagem multiespectral e hiperespectral: Útil para tarefas que exigem análise detalhada de materiais, como monitoramento agrícola, controle de qualidade farmacêutico ou sensoriamento remoto. Esses métodos fornecem percepções mais profundas ao capturar dados em uma ampla gama de comprimentos de onda além da luz visível.
• Imagem de radar e sonar: Preferidas em ambientes de baixa visibilidade. O radar usa ondas de rádio e é útil na aviação e navegação, enquanto o sonar usa ondas sonoras para operar na detecção subaquática.
• Dados visuais sintéticos e simulados: São ideais para training AI models quando os dados do mundo real são limitados, indisponíveis ou difíceis de etiquetar. Estes elementos visuais artificiais ajudam a construir conjuntos de dados diversos para cenários complexos, como eventos raros ou condições críticas para a segurança.

Às vezes, um único tipo de dado pode não fornecer precisão ou contexto suficiente em situações do mundo real. É aqui que a fusão de sensores multimodais se torna fundamental. Ao combinar RGB com outros tipos de dados como térmico, profundidade ou LiDAR, os sistemas podem superar limitações individuais, melhorando a confiabilidade e adaptabilidade.

Por exemplo, na warehouse automation, a utilização de RGB para o reconhecimento de objetos, profundidade para medição de distâncias e termos para detetar o sobreaquecimento de equipamentos torna as operações mais eficientes e seguras. Em última análise, os melhores resultados vêm da seleção ou combinação de tipos de dados com base nas necessidades específicas da tua aplicação.

Principais pontos#

Ao construir modelos de visão com IA, escolher o tipo certo de dados visuais é crucial. Tarefas como detecção de objetos, segmentação e rastreamento de movimento dependem não apenas de algoritmos, mas também da qualidade dos dados de entrada. Datasets limpos, diversos e precisos ajudam a reduzir ruído e aprimorar o desempenho.

Ao combinar tipos de dados como RGB, profundidade, térmico e LiDAR, sistemas de IA obtêm uma visão mais completa do ambiente, tornando-os mais confiáveis em várias condições. À medida que a tecnologia continua a melhorar, ela provavelmente abrirá caminho para que a visão com IA se torne mais rápida, mais adaptável e mais impactante entre os setores.

Junta-te à nossa community e explora o nosso GitHub repository para saberes mais sobre visão computacional. Descobre várias aplicações relacionadas com AI in healthcare e computer vision in retail nas nossas páginas de soluções. Consulta as nossas licensing options para começares com a IA de visão.