Edge AI

IA de borda é a prática de executar modelos de inteligência artificial (IA) nos dispositivos que produzem os dados ou perto deles, como celulares, câmeras, veículos, robôs e gateways de fábrica, em vez de enviar esses dados a um centro de dados remoto. Processar um quadro de câmera ou um clipe de áudio no local em que foi capturado elimina a ida e volta pela rede, então as decisões chegam em milissegundos. O dispositivo continua funcionando sem conexão, os dados de entrada confidenciais permanecem locais para garantir a privacidade dos dados, e não é necessário transmitir vídeo bruto para a nuvem, o que economiza largura de banda. O custo é um orçamento restrito de memória, capacidade de processamento e energia, além do trabalho de atualizar modelos em uma frota de dispositivos.

Como funciona a IA de borda#

Os modelos costumam ser treinados na nuvem em GPUs e, depois, reduzidos e acelerados para o dispositivo de destino. A quantização de modelos para FP16 ou INT8, a poda de modelos e a destilação de conhecimento os reduzem, e a exportação converte os modelos para o formato usado pelo mecanismo de inferência no dispositivo, como TensorRT em hardware NVIDIA, LiteRT no Android, Core ML em dispositivos Apple ou NCNN em CPUs ARM. Em seguida, o dispositivo executa a inferência localmente e envia apenas o que importa, como um alerta, uma contagem ou um clipe curto. Esses envios também alimentam o ciclo de melhoria: os exemplos difíceis coletados em campo são rotulados, o modelo é retreinado e a nova versão é enviada aos dispositivos remotamente.

Hardware de IA de borda#

• Unidades de processamento neural (NPUs): aceleradores dedicados integrados à maioria dos chips atuais de celulares e laptops, como o Neural Engine da Apple e a NPU Hexagon da Qualcomm, que executam modelos quantizados dentro do orçamento de energia de um celular.
• NVIDIA Jetson: módulos embarcados que combinam uma CPU ARM com uma GPU NVIDIA para robôs, drones e câmeras inteligentes que precisam de uma taxa de processamento de nível GPU.
• Raspberry Pi: computadores de placa única de baixo custo que executam modelos pequenos em sua CPU ARM ou em placas aceleradoras adicionais.
• Microcontroladores: a categoria mais compacta, na qual modelos de algumas centenas de quilobytes funcionam com poucos miliwatts de potência.

Implantação de um modelo na borda#

Cada categoria de dispositivo favorece um formato de exportação diferente. No Raspberry Pi, o NCNN é o mais rápido dos formatos que a Ultralytics compara para o Ultralytics YOLO26, e exportar uma vez e carregar a pasta exportada permite executar o mesmo detector por meio desse mecanismo:

from ultralytics import YOLO

# Carrega o menor modelo de deteção YOLO26
model = YOLO("yolo26n.pt")

# Exporta para NCNN, uma estrutura de inferência otimizada para CPUs ARM
path = model.export(format="ncnn")  # creates 'yolo26n_ncnn_model/'

# Executa a inferência com o modelo exportado, como no dispositivo
ncnn_model = YOLO(path)
results = ncnn_model("https://ultralytics.com/images/bus.jpg")
results[0].save(filename="bus_ncnn.jpg")

A imagem salva mostra as detecções calculadas pelo mecanismo NCNN. Muitas vezes, os aplicativos no dispositivo são empacotados em contêineres Docker para que a mesma imagem seja executada em uma frota de placas idênticas.

IA de borda versus termos relacionados#

• Computação de borda: a prática mais ampla de processar quaisquer dados perto da origem, desde filtrar leituras de sensores até armazenar conteúdo em cache. IA de borda é a computação de borda cuja carga de trabalho é um modelo de aprendizado de máquina.
• TinyML: a categoria mais compacta de IA de borda, executada em microcontroladores com poucos quilobytes de memória.
• Aprendizado federado: treina um modelo compartilhado em vários dispositivos enviando atualizações dos pesos em vez de dados brutos. IA de borda costuma se referir à inferência, e o aprendizado federado leva o treinamento aos mesmos dispositivos.

Aplicações da IA de borda#

• Veículos autônomos: carros e robôs de entrega detectam pedestres, veículos e faixas de trânsito a bordo, pois uma conexão lenta ou interrompida não pode atrasar a frenagem.
• Câmeras inteligentes: câmeras de lojas, trânsito e segurança executam a detecção de objetos localmente e enviam contagens ou alertas em vez de vídeo contínuo.
• Inspeção industrial: câmeras nas linhas de produção rejeitam peças defeituosas em milissegundos, e sensores de vibração nas máquinas detectam anomalias antes que causem tempo de inatividade.
• Celulares: processam fotos, transcrevem fala e executam pequenos modelos de linguagem no próprio dispositivo, como o modelo de cerca de 3 bilhões de parâmetros executado pelo Apple Intelligence em dispositivos Apple e acessado por aplicativos por meio da estrutura Foundation Models da Apple.