Real-time Inference

A inferência em tempo real refere-se ao processo em que um modelo treinado de aprendizagem automática (ML) aceita dados de entrada em direto e gera previsões quase instantaneamente. Ao contrário do processamento offline, em que os dados são recolhidos e analisados em massa posteriormente, a inferência em tempo real ocorre no momento, permitindo que os sistemas reajam ao ambiente com rapidez e agilidade. Esta capacidade é o coração das aplicações modernas de Inteligência Artificial (AI), permitindo que os dispositivos percebam, interpretem e atuem sobre os dados em milissegundos.

A importância da baixa latência#

A principal métrica para avaliar o desempenho em tempo real é a latência da inferência. Esta mede o atraso entre o momento em que os dados são introduzidos no modelo — como um fotograma de uma câmara de vídeo — e o momento em que o modelo produz uma saída, como uma caixa delimitadora ou uma etiqueta de classificação. Para que uma aplicação seja considerada «em tempo real», a latência deve ser suficientemente baixa para acompanhar a velocidade do fluxo de dados recebido.

Por exemplo, em tarefas de compreensão de vídeo executadas a 30 fotogramas por segundo (FPS), o sistema tem um limite de tempo rigoroso de aproximadamente 33 milissegundos para processar cada fotograma. Se a inferência demorar mais tempo, o sistema introduz atraso, podendo causar a perda de fotogramas ou respostas tardias. Alcançar este objetivo requer frequentemente aceleração por hardware utilizando GPUs ou dispositivos especializados de IA de Edge, como o NVIDIA Jetson.

Inferência em tempo real vs. inferência em lote#

É útil distinguir os fluxos de trabalho em tempo real do processamento em lote. Embora ambos envolvam a geração de previsões, os seus objetivos e arquiteturas diferem significativamente:

• Inferência em tempo real: Dá prioridade à baixa latência. Processa pontos de dados individuais (ou lotes muito pequenos) assim que estes chegam. Isto é essencial para aplicações interativas, como veículos autónomos, em que um automóvel tem de detetar instantaneamente um peão para travar a tempo.
• Inferência em lote: Dá prioridade ao elevado débito. Recolhe um grande volume de dados e processa tudo de uma só vez. É adequada para tarefas não urgentes, como gerar relatórios noturnos de inventário ou analisar tendências históricas de megadados.

Aplicações no mundo real#

A capacidade de tomar decisões em frações de segundo transformou vários setores ao permitir a automatização em ambientes dinâmicos.

• Fabrico inteligente: Na IA no fabrico, as câmaras posicionadas sobre tapetes transportadores utilizam a inferência em tempo real para realizar o controlo de qualidade automatizado. Um modelo de deteção de objetos pode identificar instantaneamente defeitos ou objetos estranhos em produtos que se deslocam a alta velocidade. Se for detetada uma anomalia, o sistema aciona imediatamente um braço robótico para remover o item, garantindo que apenas produtos de alta qualidade chegam à embalagem.
• Vigilância e segurança: Os sistemas de segurança modernos dependem da visão computacional para monitorizar perímetros. Em vez de apenas gravarem imagens, estas câmaras executam deteção de pessoas ou reconhecimento facial em tempo real para alertar o pessoal de segurança sobre acessos não autorizados no momento em que ocorrem.
• Robótica: No domínio da IA na robótica, os robôs utilizam a estimativa de pose para navegar por espaços físicos complexos. Um robô de armazém tem de inferir continuamente a localização de obstáculos e trabalhadores humanos para planear o seu percurso de forma segura e eficiente.

Otimização e implementação#

A implementação de modelos para aplicações em tempo real requer frequentemente otimização para garantir que estes funcionam de forma eficiente no hardware de destino. Técnicas como a quantização de modelos reduzem a precisão dos pesos do modelo (por exemplo, de float32 para int8) para diminuir a utilização de memória e aumentar a velocidade da inferência, com um impacto mínimo na precisão.

Os programadores podem utilizar a Ultralytics Platform para simplificar este processo. A plataforma simplifica o treino e permite aos utilizadores exportar modelos para formatos otimizados, como TensorRT para GPUs NVIDIA, OpenVINO para CPUs Intel ou TFLite para implementação em dispositivos móveis.

Exemplo de Código#

O seguinte trecho de Python demonstra como executar inferência em tempo real num fluxo de uma webcam utilizando a biblioteca ultralytics. Utiliza o modelo Nano YOLO26, desenvolvido especificamente para proporcionar um desempenho de alta velocidade em dispositivos de Edge.

from ultralytics import YOLO

# Load the YOLO26 Nano model, optimized for speed and real-time tasks
model = YOLO("yolo26n.pt")

# Run inference on the default webcam (source="0")
# 'stream=True' returns a generator for memory-efficient processing
# 'show=True' displays the video feed with bounding boxes in real-time
results = model.predict(source="0", stream=True, show=True)

# Iterate through the generator to process frames as they arrive
for result in results:
    # Example: Print the number of objects detected in the current frame
    print(f"Detected {len(result.boxes)} objects")