Aprimorando aplicações de visão computacional com visualizações

A cada minuto, enormes quantidades de dados são criadas, desde terminais de aeroportos e estações de trem até shoppings. À medida que a IA se torna mais amplamente utilizada, muitos desses dados são agora analisados e detalhados. Mas, às vezes, os resultados desses modelos de IA podem dificultar a identificação de padrões ou a compreensão de tendências rapidamente. É aí que a visualização de dados ajuda - ela transforma saídas complexas em insights claros e fáceis de assimilar.

Isto é especialmente verdade quando se trata de aplicações de visão computacional. Visão computacional é um ramo da inteligência artificial (IA) que ajuda as máquinas a interpretar e entender informações visuais do mundo ao redor, como imagens e vídeos. Enquanto os modelos de Visão de IA, como o Ultralytics YOLO11, podem ajudar a analisar esses dados visuais para obter informações, a visualização de dados ajuda a colocar essas informações em um formato fácil de entender.

Simplificando, a visualização de dados preenche a lacuna entre dados brutos e compreensão real, usando gráficos analíticos significativos. No mundo atual orientado por dados, isso é fundamental porque não basta que as máquinas apenas executem tarefas - precisamos que elas contem uma história.

Essa necessidade de contar histórias é exatamente o motivo pelo qual a visualização de dados está em ascensão, com o mercado preparado para atingir US$ 18,36 bilhões até 2030. Anteriormente, exploramos como a visão computacional pode fornecer insights de negócios valiosos. Hoje, vamos dar um passo adiante, explicando como gerar gráficos analíticos claros e perspicazes para aplicações de visão computacional usando o pacote Ultralytics. Vamos começar!

‍

Uma visão geral da visualização de dados em aplicações de visão computacional

A visualização de dados em aplicações de visão computacional envolve a transformação dos resultados de tarefas de visão computacional, como detecção e rastreamento de objetos, em gráficos ou painéis fáceis de entender. Esses recursos visuais ajudam a identificar padrões e tendências, especialmente ao trabalhar com grandes volumes de filmagens de vídeo. 

Por exemplo, em vez de revisar manualmente horas de vídeo de vigilância, um simples gráfico de linhas mostrando o número de carros ou pessoas detectadas ao longo do tempo pode destacar rapidamente os horários de pico ou períodos incomumente tranquilos.

Aqui estão algumas das principais razões pelas quais a visualização de dados é útil:

• Simplifica dados complexos: Milhares de detecções de objetos podem ser impressionantes, mas visualizações como gráficos de barras ou de setores facilitam a visualização do panorama geral, por exemplo, quais objetos aparecem com mais frequência.

• Revela tendências: Gráficos de linhas e barras ajudam a identificar padrões ao longo do tempo, como quando e onde o tráfego de pessoas tende a aumentar.

• Economiza tempo: Em vez de revisar cada frame de vídeo, os gráficos podem destacar rapidamente detalhes importantes, como picos repentinos na atividade de veículos ou aparições incomuns de objetos em zonas restritas.

• Melhora a comunicação: Os recursos visuais facilitam o compartilhamento de insights com públicos não técnicos, ajudando todos a entender os resultados com mais clareza.

Diferentes tipos de visualizações de dados

Diferentes tipos de gráficos analíticos podem transformar os resultados da visão computacional em visuais claros e fáceis de entender. Digamos que você esteja trabalhando em uma aplicação de visão computacional que detecta pessoas e veículos em imagens de vigilância. Nesse caso, um gráfico de linhas é ótimo para mostrar como o número de detecções muda ao longo do tempo, como rastrear picos no tráfego de pedestres ao longo do dia.

Da mesma forma, os gráficos de barras são úteis quando você deseja comparar o número de diferentes tipos de objetos detectados, como ver se mais carros, bicicletas ou pedestres aparecem no vídeo. Os gráficos de pizza, por outro lado, mostram qual porcentagem cada tipo de objeto representa do total de detecções. Cada gráfico tem seu próprio uso e ajuda a tornar os dados complexos de visão computacional mais fáceis de interpretar e compartilhar.

‍

Gerando gráficos analíticos para obter insights de visão computacional

Agora que exploramos o que é a visualização de dados e por que diferentes tipos de gráficos analíticos são importantes, vamos analisar mais de perto como usar a solução Ultralytics Analytics para visualizar os resultados das previsões do seu modelo de visão computacional. Antes de passarmos pelo processo passo a passo, vamos dar uma olhada nas ferramentas e opções de configuração para treinar e usar o pacote Ultralytics e modelos como o YOLO11. 

O pacote Python Ultralytics facilita o treinamento de modelos, a detecção de objetos, a execução de previsões e a visualização de resultados. Para começar a usá-lo, você precisará de um ambiente de codificação. Aqui estão três opções simples:

• Interface de Linha de Comando (CLI): É uma ferramenta básica, somente de texto, onde você pode digitar comandos para executar seu código. Ela não tem uma interface visual, e você interage com ela digitando instruções em um terminal ou prompt de comando.

• Jupyter Notebooks: É um ambiente de codificação interativo onde você pode escrever, executar e testar pequenos trechos de código (chamados "células") um de cada vez. Ele mostra os resultados diretamente abaixo de cada célula, facilitando a compreensão do que está acontecendo passo a passo. É especialmente útil para aprendizado e experimentação.

• Google Colab: Esta opção é uma versão gratuita, baseada na nuvem, do Jupyter Notebooks que é executada no seu navegador web. Não requer nenhuma configuração no seu computador e dá-lhe acesso a GPUs gratuitas para um processamento mais rápido.

Essas ferramentas são ótimas para começar rapidamente, mas os usuários também podem integrar o Ultralytics em Ambientes de Desenvolvimento Integrados (IDEs) como o Visual Studio Code (VS Code) ou em pipelines de produção. Para mais opções, explore a documentação oficial do Ultralytics.

Passo 1: Configurando o ambiente

Depois de escolher seu ambiente preferido, o próximo passo é configurá-lo para executar previsões e visualizar os resultados. Você pode usar qualquer um dos ambientes mencionados acima, dependendo do que for mais confortável para você.

Se estiver a trabalhar no Google Colab, tenha em mente que ele usa uma CPU por padrão, o que pode abrandar o desempenho. Para acelerar as coisas, mude para uma GPU indo ao menu "Runtime", selecionando "Change runtime type" e definindo o acelerador de hardware para GPU (idealmente uma T4).

Para preparar seu ambiente, você precisará instalar o pacote Python Ultralytics usando o comando mencionado abaixo. Em ferramentas baseadas em notebook, como Colab ou Jupyter, certifique-se de adicionar um ponto de exclamação (!) antes do comando.

pip install ultralytics

Passo 2: Baixando um arquivo de vídeo

Em seguida, precisaremos de um vídeo para trabalhar. Você pode facilmente baixar um de um site de stock gratuito como o Pexels. Certifique-se de escolher um vídeo que inclua objetos que o YOLO11 possa detetar. Como o modelo é pré-treinado no conjunto de dados COCO, ele pode reconhecer objetos comuns como pessoas, carros e bicicletas. 

Para este tutorial, usaremos um vídeo de manuseio de bagagem em um terminal de aeroporto movimentado. Você pode usar o mesmo vídeo ou escolher um diferente que se adapte ao seu projeto.

‍

Passo 3: Importando pacotes

Em seguida, podemos importar as bibliotecas necessárias e carregar o vídeo de entrada.

Começaremos importando o OpenCV (cv2), que é uma biblioteca amplamente utilizada para trabalhar com imagens e vídeo em visão computacional. Também importaremos a biblioteca Ultralytics, que nos ajuda a executar a deteção de objetos e a gerar análises a partir do vídeo.

Em seguida, tentaremos abrir o arquivo de vídeo especificando seu caminho. Certifique-se de substituir "path/to/video.mp4" pelo local real do seu arquivo de vídeo baixado. 

Além disso, o trecho de código abaixo inclui uma verificação simples para garantir que o vídeo seja carregado corretamente. Se o caminho estiver errado ou o arquivo estiver corrompido, o programa irá parar e mostrar uma mensagem de erro: "Erro ao ler o arquivo de vídeo".

import cv2

from ultralytics import solutions

cap = cv2.VideoCapture("path/to/video.mp4")
assert cap.isOpened(), "Error reading video file"

Passo 4: Preparando o gravador de vídeo

Em seguida, configuraremos um gravador de vídeo para salvar a saída. Quando executarmos a análise, esta parte do código criará um novo arquivo de vídeo que registra os gráficos atualizados gerados a partir de cada quadro do vídeo original.

No trecho de código abaixo, primeiro extraímos as propriedades principais do vídeo de entrada - sua largura, altura e quadros por segundo (fps). Esses valores são retirados diretamente do vídeo e convertidos em números inteiros para garantir que estejam no formato correto para escrever a saída.

Em seguida, usamos a função cv2.VideoWriter para criar um novo arquivo de vídeo, chamado "analytics_output.avi" (você pode renomeá-lo conforme necessário). O vídeo é salvo usando o formato MJPG, que é um método comum de compressão de vídeo. A resolução de saída é definida como 1280×720 pixels, independentemente do tamanho original do vídeo.

w, h, fps = (int(cap.get(x)) for x in (cv2.CAP_PROP_FRAME_WIDTH, cv2.CAP_PROP_FRAME_HEIGHT, cv2.CAP_PROP_FPS))
out = cv2.VideoWriter(
    "analytics_output.avi",
    cv2.VideoWriter_fourcc(*"MJPG"),
    fps,
    (1280, 720), 
)

Passo 5: Configurando a solução Ultralytics Analytics

Agora, vamos configurar a solução Ultralytics Analytics para gerar gráficos a partir do vídeo. Você pode escolher como os dados são exibidos, como um gráfico de linhas, pizza, área ou barras, e qual modelo YOLO usar. Neste exemplo, usaremos o modelo leve "yolo11n.pt" e mostraremos os resultados como um gráfico de área.

analytics = solutions.Analytics(
    show=True, 
    analytics_type="area", 
    model="yolo11n.pt",   
)

Passo 6: Processando o vídeo de entrada

A parte final do código executa um loop que processa o vídeo um frame de cada vez. Cada frame é passado para a ferramenta de análise, que atualiza o gráfico em tempo real. O gráfico atualizado é então gravado no vídeo de saída. Se um frame não puder ser lido, o loop é interrompido. Depois que todos os frames são processados, o vídeo é salvo e todas as janelas abertas são fechadas.

frame_count = 0
while cap.isOpened():
    success, im0 = cap.read()
    if success:
        frame_count += 1
        results = analytics(im0, frame_count) 

        out.write(results.plot_im) 
    else:
        break
cap.release()
out.release()
cv2.destroyAllWindows()

Passo 7: Juntando tudo

Finalmente, vamos juntar tudo. Com apenas algumas linhas de código adicionais, podemos gerar dois vídeos de saída: um mostrando os resultados da detecção de objetos YOLO11 com caixas delimitadoras e rótulos, e outro mostrando os gráficos de análise em tempo real.

Para fazer isso, configuraremos duas instâncias de VideoWriter - uma para salvar o vídeo de previsão e outra para a análise. Esta versão do código inclui rastreamento de objetos e geração de gráficos, para que você possa ver os resultados da detecção juntamente com os insights visuais.

Aqui está o código abrangente, juntamente com exemplos das saídas de previsão e análise.

import cv2
from ultralytics import YOLO, solutions

# Load model and video
model = YOLO('yolo11n.pt')
cap = cv2.VideoCapture('path/to/video.mp4')
assert cap.isOpened(), "Error opening video"

# Get properties
w, h = int(cap.get(3)), int(cap.get(4))
fps = cap.get(5)
analytics_res = (1280, 720)

# Writers for prediction and analytics videos
out_pred = cv2.VideoWriter('output_predictions.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, (w, h))
out_ana = cv2.VideoWriter('output_analytics.avi', cv2.VideoWriter_fourcc(*'MJPG'), fps, analytics_res)

# Analytics setup
analytics = solutions.Analytics(show=True, analytics_type="area", model='yolo11n.pt')

# Process frames
frame_count = 0
while cap.isOpened():
    ret, frame = cap.read()
    if not ret:
        break

    frame_count += 1
    pred_frame = model.track(frame, persist=True)[0].plot()
    out_pred.write(pred_frame)

    resized = cv2.resize(pred_frame, analytics_res)
    out_ana.write(analytics(resized, frame_count).plot_im)

cap.release(), out_pred.release(), out_ana.release(), cv2.destroyAllWindows()

Quando o código acima é executado com sucesso, ele irá gerar dois vídeos de saída. O ficheiro “output_predictions.avi” mostrará os resultados da detecção de objetos com caixas delimitadoras e rótulos, enquanto o “output_analytics.avi” exibirá os gráficos de análise em tempo real com base nas detecções.

‍

Aqui está um frame da saída de análise com base nas previsões. Usando o gráfico de área, podemos obter insights como flutuações na contagem de malas ao longo do tempo, como um pico em torno do frame 268, indicando movimento de malas ou atividade nessa parte do vídeo.

‍

Usando grafos em aplicações de visão computacional do mundo real

Aqui estão algumas aplicações de visão computacional no mundo real onde a visualização de dados tem um impacto significativo:

• Saúde: Os sistemas de visão computacional podem monitorizar a atividade do paciente, o movimento da equipe e o uso de equipamentos em tempo real. Isso gera grandes quantidades de dados visuais que, quando visualizados, podem revelar padrões - como horários de pico de ocupação de pacientes ou atrasos na resposta.

• Varejo e e-commerce: A visão computacional pode ser usada para rastrear o movimento do cliente, o tempo de permanência em frente às prateleiras e as interações com o produto. Análises visuais, como gráficos de barras ou de pizza, podem destacar quais zonas ou itens da loja recebem mais atenção, ajudando os varejistas a otimizar a colocação de produtos e melhorar as conversões.

• Fabricação: Câmeras equipadas com modelos de visão computacional podem monitorar linhas de montagem em busca de defeitos, violações de segurança ou status do equipamento. A visualização de dados pode mostrar tendências nos tipos de defeitos mais comuns ou destacar períodos de tempo com as maiores taxas de erro, permitindo uma tomada de decisão mais rápida e manutenção preventiva.

Principais conclusões

Com o pacote Ultralytics, você pode transformar facilmente filmagens de vídeo em gráficos claros e perspicazes que revelam o que está acontecendo, como rastrear quantas pessoas ou objetos aparecem ao longo do tempo. Em vez de revisar manualmente horas de vídeo, você pode gerar resumos visuais que destacam os principais padrões e tendências, facilitando a ação rápida. Seja em hospitais, lojas de varejo ou instalações de fabricação, esses gráficos transformam saídas complexas de IA em insights que qualquer pessoa pode entender e usar.

Quer saber mais sobre IA? Explore o nosso repositório GitHub, conecte-se com a nossa comunidade e consulte as nossas opções de licenciamento para dar o pontapé de saída no seu projeto de visão computacional. Saiba mais sobre inovações como a IA na indústria transformadora e a visão computacional na indústria da logística nas nossas páginas de soluções.