Edge Computing

A computação de borda consiste em executar cálculos e armazenar dados perto de onde eles são produzidos ou usados: em dispositivos, servidores e gateways locais ou pequenos centros de dados na borda das redes de telecomunicações, em vez de enviar tudo para uma região de nuvem distante. O processamento próximo à origem reduz o tempo de resposta, diminui a largura de banda necessária para transferir dados brutos, mantém dados confidenciais no local e permite que os sistemas continuem funcionando quando a rede cai. A ideia surgiu das redes de distribuição de conteúdo, que armazenavam páginas da Web em cache perto dos usuários no fim da década de 1990; pesquisadores liderados por Mahadev Satyanarayanan propuseram "cloudlets" próximos para dispositivos móveis em 2009; a Cisco introduziu o termo computação em névoa em 2012; e o organismo europeu de padronização ETSI começou a padronizar a Computação de Borda Multiacesso para redes móveis em 2014. A execução de modelos de aprendizado de máquina nessa infraestrutura é chamada de IA de borda.

Camadas da borda#

"A borda" abrange várias camadas entre um sensor e a nuvem:

• Borda do dispositivo: Câmeras, celulares, drones, robôs e veículos que processam dados em seus próprios processadores, muitas vezes com aceleradores integrados.
• Borda local: Gateways e servidores compactos dentro de uma fábrica, loja, hospital ou fazenda que agregam dados de muitos dispositivos, como um único computador com GPU que analisa dezenas de fluxos de câmeras.
• Borda da rede: Servidores em estações rádio-base de telecomunicações ou pontos de presença regionais, a poucos milissegundos dos usuários móveis, que executam cargas de trabalho para dispositivos pequenos demais para processá-las localmente.
• Nuvem: Regiões centralizadas que treinam modelos, armazenam dados de longo prazo e gerenciam a frota de dispositivos de borda.

Por que processar dados na borda#

A latência é o primeiro motivo. A luz percorre a fibra óptica a cerca de 200 quilômetros por milissegundo, então um centro de dados a 1,000 km de distância acrescenta pelo menos 10 ms de atraso de ida e volta, antes de qualquer roteamento, enfileiramento ou processamento. Por isso, veículos autônomos e robôs que precisam reagir em milissegundos executam inferência em tempo real a bordo. A largura de banda é o segundo motivo: um único fluxo de câmera 1080p H.264 requer alguns megabits por segundo, então um local com 100 câmeras enviaria continuamente centenas de megabits, enquanto um evento de detecção enviado como JSON ocupa alguns quilobytes. O processamento local também mantém no local as imagens brutas de pessoas, de modo que só saem do edifício contagens, alertas ou resultados anonimizados, o que simplifica as obrigações de privacidade de dados. Além disso, os sistemas continuam funcionando durante interrupções de rede em fazendas, navios, minas e infraestruturas remotas.

Na prática, a borda e a nuvem formam um ciclo. Os dispositivos processam cada quadro localmente e enviam apenas eventos e amostras selecionadas para a nuvem, que usa essas amostras para retreinar e distribuir modelos aprimorados:

Esse padrão é usado na inspeção de qualidade em linhas de produção, onde uma peça defeituosa precisa ser rejeitada antes da chegada da próxima, no monitoramento de plantações e rebanhos em campos com conectividade limitada e em sistemas de gestão de tráfego que ajustam semáforos com base em câmeras nos cruzamentos.

Computação de borda vs. termos relacionados#

A computação em nuvem concentra a capacidade elástica em grandes centros de dados, e a computação de borda estende essa capacidade para fora deles, por isso a maioria dos sistemas usa ambas. A IA de borda é a parte da computação de borda que executa modelos de IA. Computação em névoa, termo da Cisco, descreve a camada de gateways e servidores locais entre os dispositivos e a nuvem e é, em grande parte, sinônimo das camadas de borda local e de rede. A Internet das Coisas (IoT) é a rede de sensores e dispositivos conectados, e a computação de borda é onde muitos dos dados que eles produzem são processados.

Implantação de modelos em dispositivos de borda#

O hardware de borda tem apenas uma fração da memória, da capacidade de computação e do orçamento de energia de uma GPU de data center, desde microcontroladores que consomem miliwatts até módulos NVIDIA Jetson e placas Raspberry Pi. Os modelos ficam menores e mais rápidos com quantização de modelos para inteiros de 8 bits, poda e destilação de conhecimento, e depois são compilados para o ambiente de execução e o acelerador do destino, como TensorRT em GPUs NVIDIA, OpenVINO em CPUs e NPUs Intel, LiteRT no Android ou Core ML em dispositivos Apple. O modo de exportação do Ultralytics YOLO gera esses formatos a partir de um único modelo treinado. Este exemplo exporta YOLO26 para NCNN, a estrutura de inferência da Tencent para dispositivos móveis e CPUs ARM, e executa o modelo exportado:

from ultralytics import YOLO

# Export YOLO26n to NCNN, a lightweight runtime for ARM CPUs and mobile devices
model = YOLO("yolo26n.pt")
ncnn_path = model.export(format="ncnn")  # writes the yolo26n_ncnn_model folder

# Load the exported model and run it on this machine's CPU
ncnn_model = YOLO(ncnn_path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
print(f"Inference: {results[0].speed['inference']:.1f} ms")

A exportação grava uma pasta yolo26n_ncnn_model que contém model.ncnn.param para a estrutura da rede, model.ncnn.bin para os pesos e metadata.yaml para os nomes das classes e o tamanho da entrada. O tempo exibido é a latência de inferência por imagem na máquina que a executa, o valor que determina se um modelo cabe no orçamento de taxa de quadros de uma aplicação de borda.