Distributed Training

A formação distribuída é um método de aprendizagem automática em que a carga de trabalho de treinar um modelo é dividida entre vários processadores ou máquinas. Esta abordagem é essencial para lidar com conjuntos de dados de grande escala e arquiteturas de redes neuronais complexas que, de outro modo, demorariam um tempo impraticável a ser treinadas num único dispositivo. Ao tirar partido do poder computacional combinado de várias unidades de processamento gráfico (GPUs) ou unidades de processamento tensorial (TPUs), a formação distribuída acelera significativamente o ciclo de desenvolvimento, permitindo que investigadores e engenheiros iterem mais rapidamente e alcancem maior precisão nos seus modelos.

Como funciona a formação distribuída#

A ideia central por detrás da formação distribuída é a paralelização. Em vez de processar os dados sequencialmente num único chip, a tarefa é dividida em partes menores que são processadas simultaneamente. Existem duas estratégias principais para o conseguir:

• Paralelismo de dados: Esta é a abordagem mais comum para tarefas como a deteção de objetos. Nesta configuração, é colocada uma cópia do modelo completo em cada dispositivo. Os dados de treino globais são divididos em lotes menores e cada dispositivo processa um lote diferente ao mesmo tempo. Após cada passo, os gradientes (atualizações do modelo) são sincronizados em todos os dispositivos para garantir que os pesos do modelo permanecem consistentes.
• Paralelismo de modelos: Quando uma rede neuronal (NN) é demasiado grande para caber na memória de uma única GPU, o próprio modelo é dividido entre vários dispositivos. Diferentes camadas ou componentes do modelo residem em chips diferentes e os dados fluem entre eles. Isto é frequentemente necessário para treinar enormes modelos de base e modelos de linguagem de grande escala (LLMs).

Aplicações no mundo real#

A formação distribuída transformou vários setores ao tornar possível resolver problemas que antes eram computacionalmente inviáveis.

• Condução autónoma: O desenvolvimento de veículos autónomos seguros exige a análise de petabytes de dados de vídeo e de sensores. Os engenheiros do setor automóvel utilizam grandes clusters distribuídos para treinar modelos de visão para segmentação semântica em tempo real e deteção de faixas de rodagem. Esta escala massiva garante que os sistemas de IA no setor automóvel conseguem reagir de forma fiável a diversas condições rodoviárias.
• Imagiologia médica: No setor da saúde, a análise de exames 3D de alta resolução, como ressonâncias magnéticas, exige uma quantidade significativa de memória e poder de processamento. A formação distribuída permite aos investigadores criar ferramentas de diagnóstico de alto desempenho para a deteção de tumores e outras tarefas críticas. Ao utilizarem frameworks como o NVIDIA MONAI, os hospitais podem treinar modelos com conjuntos de dados diversificados sem atingir limites de memória, melhorando os resultados da IA na saúde.

Utilizar a formação distribuída com a Ultralytics#

A biblioteca ultralytics simplifica a implementação da formação Distributed Data Parallel (DDP). Pode escalar a formação dos modelos YOLO26 de última geração em várias GPUs, especificando simplesmente os índices dos dispositivos nos argumentos de formação.

from ultralytics import YOLO

# Load a pre-trained YOLO26 model
model = YOLO("yolo26n.pt")

# Train the model using two GPUs (device 0 and 1)
# The library automatically handles the DDP communication backend
results = model.train(data="coco8.yaml", epochs=100, device=[0, 1])

Conceitos relacionados e comparações#

É útil distinguir a formação distribuída de termos semelhantes no ecossistema de aprendizagem automática para compreender as suas funções específicas:

• Vs. Aprendizagem federada: Embora ambas envolvam vários dispositivos, os seus objetivos são diferentes. A formação distribuída geralmente centraliza os dados num cluster de alto desempenho para maximizar a velocidade. Em contrapartida, a aprendizagem federada mantém os dados descentralizados nos dispositivos dos utilizadores (como smartphones) para dar prioridade à privacidade dos dados, atualizando o modelo global sem que os dados brutos saiam alguma vez da sua origem.
• Vs. Computação de alto desempenho (HPC): A HPC é um campo abrangente que inclui a supercomputação para simulações científicas, como a previsão meteorológica. A formação distribuída é uma aplicação específica da HPC aos algoritmos de otimização na aprendizagem profunda. Frequentemente, depende de bibliotecas de comunicação especializadas, como a NVIDIA NCCL, para minimizar a latência entre GPUs.

Escalabilidade com plataformas na nuvem#

A gestão da infraestrutura para a formação distribuída pode ser complexa. As plataformas modernas simplificam este processo ao oferecerem ambientes geridos. Por exemplo, a Ultralytics Platform permite aos utilizadores gerir conjuntos de dados e iniciar execuções de formação que podem ser implementadas em ambientes na nuvem ou clusters locais. Esta integração simplifica o fluxo de trabalho desde a anotação de dados até à implementação final do modelo, garantindo que a expansão para várias GPUs seja o mais simples possível. Do mesmo modo, fornecedores de serviços na nuvem como o Google Cloud Vertex AI e o Amazon SageMaker disponibilizam uma infraestrutura robusta para executar tarefas de formação distribuída à escala empresarial.