Ao fazer fine-tuning dos modelos Ultralytics YOLO em dispositivos edge, a Scaleout mantém os dados no local, trabalha offline e disponibiliza novos modelos de deteção em horas, em vez de semanas.
Treinar modelos de machine learning normalmente pressupõe que podes reunir todos os teus dados num só local, enviá-los para a cloud e implementar um modelo concluído. Em muitos contextos do mundo real, esse pressuposto não se confirma. Nos setores da defesa, industrial e regulamentado, os dados estão vinculados ao seu local por leis de privacidade, classificações de segurança ou pelos elevados custos de largura de banda, e nem sempre é possível confiar na rede que liga esses locais.
A Scaleout cria infraestrutura precisamente para estas condições. A sua plataforma, Scaleout Edge, utiliza aprendizagem federada para levar o treino do modelo até onde os dados estão, em vez de mover os dados até ao modelo. Em projetos de visão computacional, a Scaleout treina e faz fine-tuning personalizado dos modelos Ultralytics YOLO em Vision Ground Nodes, estações edge aceleradas por GPU implementadas em cada local, para que a deteção continue a melhorar no terreno sem que imagens sensíveis saiam do dispositivo.
Levar o machine learning até onde os dados estão#
Fundada em 2018 por investigadores da Universidade de Uppsala que trabalhavam em sistemas distribuídos de grande escala, a Scaleout propôs-se tornar o machine learning possível onde os dados não podem ser centralizados. O seu foco está em contextos onde reunir os dados num só local é difícil ou impossível, e a aprendizagem federada é o mecanismo central que o torna possível.
A aprendizagem federada distribui o treino por muitos dispositivos e, em seguida, reúne as atualizações dos seus modelos num plano de controlo central, que as agrega num novo modelo global. Cada dispositivo beneficia da compreensão do seu próprio ambiente local, enquanto toda a frota beneficia da inteligência coletiva. Os dados permanecem onde devem estar e apenas aquilo que o modelo aprendeu é transferido.
O trabalho da Scaleout abrange os setores da defesa, industrial, transportes e outros setores regulamentados, incluindo iniciativas como o programa acelerador NATO DIANA e uma colaboração com a BAE Systems. Em todos eles, o padrão é o mesmo: dados que não podem ser movidos e modelos que ainda precisam de melhorar.
As complexidades do machine learning edge#
Eis uma análise mais detalhada das limitações que a Scaleout enfrentou ao treinar modelos no terreno:
-
Hardware limitado: as implementações no terreno não têm servidores de centros de dados, apenas dispositivos pequenos e de baixo consumo, como o computador de um drone. Executar um modelo concluído nesses dispositivos é viável, mas voltar a treiná-lo exige muito mais capacidade computacional.
-
Dados bloqueados no dispositivo: as imagens necessárias para o retreino são frequentemente proprietárias e não podem ser enviadas para um servidor central, pelo que o modelo tem de aprender com dados que nunca saem do edge.
-
Sem especialistas no local: os operadores que capturam dados no terreno raramente são engenheiros de machine learning, pelo que o retreino não pode depender da presença de especialistas em data science.
-
Condições em constante mudança: os ambientes no terreno mudam rapidamente, pelo que o modelo tem de ser atualizado continuamente, em vez de seguir ciclos de retreino lentos e periódicos.
Fazer fine-tuning dos modelos Ultralytics YOLO no edge#
Para trabalhar dentro destas limitações, a Scaleout criou um ciclo de treino que é executado totalmente no terreno, com os modelos Ultralytics YOLO no seu centro.
Em cada local, um Vision Ground Node, uma estação edge acelerada por GPU com capacidade computacional e armazenamento próprios, funciona junto de uma frota de drones. À medida que os drones capturam imagens, o nó seleciona os fotogramas mais úteis, um operador faz a sua anotação e o modelo YOLO é submetido a fine-tuning nesse hardware local.
Após algumas épocas de treino, apenas o modelo atualizado é enviado de volta para o plano de controlo, nunca as imagens brutas. Este ciclo é disponibilizado através do módulo de visão da Scaleout, uma extensão da plataforma Scaleout Edge que reúne num único pacote as ferramentas necessárias para um projeto de visão computacional.
Este módulo reúne seleção de fotogramas, anotação, treino e implementação, com o Ultralytics YOLO a tratar da deteção, para que as equipas possam começar com uma base funcional em vez de reunirem estes componentes por conta própria.
A Scaleout aplicou esta abordagem pela primeira vez no programa acelerador NATO DIANA, utilizando YOLOv8 para fazer fine-tuning da deteção com dados recolhidos no terreno. Esses dados não podiam ser transferidos pelas redes no terreno nem centralizados por motivos de propriedade, pelo que a equipa descentralizou o fine-tuning, permitindo que o modelo aprendesse localmente com novos exemplos.
O ciclo também foi concebido para operadores, e não para especialistas em data science. O sistema orienta um utilizador não especialista na revisão e anotação dos fotogramas relevantes, para que as pessoas no terreno possam continuar a melhorar o modelo por si próprias.
As ferramentas de suporte refletem esta abordagem, incluindo a versão open source do Label Studio para anotação, um servidor de streaming para receber feeds dos drones e o pacote Python da Ultralytics para fine-tuning. Tudo é executado em hardware que vai desde módulos NVIDIA Jetson até uma unidade robusta para o terreno ou um portátil, dependendo da implementação.
Porquê escolher os modelos Ultralytics YOLO?#
Para a Scaleout, a maior vantagem do Ultralytics YOLO é o facto de os modelos serem leves, o que torna prático o treino federado através de ligações deficientes. Em vez de mover dados brutos, a Scaleout move apenas a atualização do modelo. O modelo que mais utiliza, o Ultralytics YOLOv8 nano, tem cerca de 10,7 MB, pelo que uma atualização completa é um pacote pequeno para enviar, mesmo quando a largura de banda é escassa.
O pacote Python da Ultralytics também dá aos engenheiros da Scaleout a flexibilidade para treinar e implementar em hardware diversificado. O modelo YOLOv8 nano compacto é executado sem problemas em dispositivos edge com recursos limitados, enquanto as opções de exportação do pacote permitem a implementação nos diferentes ambientes em que a Scaleout trabalha. Como os modelos são fáceis de submeter a fine-tuning, as equipas podem iterar rapidamente à medida que as condições no terreno mudam.
O Ultralytics YOLO ajuda a Scaleout a atualizar modelos mais rapidamente#
Com o Ultralytics YOLO, a parte mais pesada do trabalho permanece no dispositivo. O treino é executado sobre centenas de gigabytes de imagens do terreno, mas aquilo que é efetivamente transferido é um modelo com cerca de 10 MB. Isto representa uma redução de aproximadamente dez vezes nos dados que têm de ser transferidos, o que torna viável o treino federado nas redes limitadas de que estas implementações dependem.
Esta abordagem também altera a rapidez com que um modelo melhorado regressa ao terreno. O que, de outra forma, poderia demorar semanas ou meses — recolher dados, enviá-los para um local central, voltar a treinar e implementar novamente — passa a ser realizado em dias ou horas quando o ciclo é executado no edge.
Isto é particularmente evidente no trabalho da Scaleout com drones. Em missões de reconhecimento de defesa, um drone segue um padrão de pesquisa e utiliza um modelo Ultralytics YOLO a bordo para detetar, identificar e geolocalizar objetos de interesse em tempo real, com todo o processamento realizado no próprio computador do drone, em vez de ser enviado para análise.
À medida que os drones recolhem novas imagens, esses dados alimentam um Vision Ground Node, onde o YOLO é submetido a fine-tuning com os novos fotogramas, e um modelo atualizado é distribuído novamente, tudo sem que as imagens saiam do local. Os modelos de deteção têm de acompanhar condições que mudam rapidamente e dados que não podem ser movidos, e um modelo retreinado localmente mantém-se útil onde um modelo estático, treinado centralmente, ficaria para trás.
Fig. 1. Um exemplo de como a Scaleout e o Ultralytics YOLO potenciam drones de IA (Fonte)
O mesmo padrão estende-se muito para além dos drones. Em ambientes industriais, como instalações energéticas e unidades remotas, onde os dados de cada local são sensíveis, a plataforma melhora os modelos de deteção em muitos locais sem que quaisquer dados brutos atravessem os limites das instalações. Quer os dados estejam num drone ou numa instalação fixa, a Scaleout mantém as imagens no local e move apenas aquilo que o modelo aprendeu.
Criar IA adaptativa para ambientes onde os dados não podem ser movidos#
À medida que a Scaleout cresce, continua a expandir a sua visão computacional federada e baseada em edge para mais contextos e hardware. Os seus módulos pré-criados foram concebidos para reduzir meses de integração a dias, permitindo que os clientes utilizem o seu próprio hardware e adotem o ciclo de aprendizagem adaptativa sem reconstruírem o código de machine learning subjacente.
Com o Ultralytics YOLO no centro do seu pipeline de deteção, a Scaleout está a tornar possível treinar e melhorar a IA precisamente nos ambientes onde as abordagens convencionais não são suficientes, mantendo os dados no local, assegurando a operação quando as redes falham e transformando frotas de dispositivos edge num sistema que continua a aprender como um todo.
Queres explorar o que a Vision AI pode fazer por ti? Visita o nosso repositório no GitHub para descobrires como os modelos YOLO estão a transformar áreas como a IA na indústria e a visão computacional na robótica. Consulta as nossas opções de licenciamento e inicia o teu percurso rumo a uma automação mais inteligente.
