Split Learning

O split learning é uma abordagem de aprendizado de máquina distribuído que divide uma rede neural entre dois ou mais locais de computação. Um cliente processa dados de entrada privados por meio das camadas iniciais do modelo, envia apenas ativações intermediárias para um servidor e recebe os gradientes necessários para continuar treinando suas camadas locais. Isso permite que organizações ou dispositivos colaborem sem transferir diretamente os dados de treinamento brutos.

A abordagem é especialmente relevante quando o machine learning precisa operar em limites de privacidade, propriedade, largura de banda ou hardware. Por exemplo, um hospital pode reter imagens médicas localmente enquanto um servidor mais potente executa a parte de um modelo que exige alta capacidade computacional. No entanto, manter os dados brutos locais não garante automaticamente a data privacy, porque as representações intermediárias ainda podem revelar informações sensíveis.

Como Funciona o Split Learning#

Uma neural network é dividida em uma camada de corte escolhida. As camadas anteriores ao corte são executadas no cliente, enquanto as camadas posteriores são executadas no servidor. A saída da rede no lado do cliente costuma ser chamada de ativação, representação intermediária ou dados esmagados.

Uma etapa de treinamento segue esta sequência:

1. O cliente executa uma passagem direta desde a entrada bruta até a camada de corte.
2. Ele envia a ativação resultante para o servidor.
3. O servidor conclui a passagem direta e calcula a perda.
4. Durante o backpropagation, o servidor calcula um gradiente para a ativação da camada de corte e o retorna.
5. O cliente usa esse gradiente para atualizar suas camadas locais.

Esse processo baseia-se na mesma regra da cadeia implementada por sistemas como o PyTorch automatic differentiation. A diferença é que as ativações e os gradientes cruzam o limite de uma rede durante o treinamento.

O exemplo de processo único a seguir simula esse limite:

import torch
from torch import nn

client_model = nn.Sequential(nn.Linear(8, 16), nn.ReLU())
server_model = nn.Sequential(nn.Linear(16, 2))
client_optimizer = torch.optim.SGD(client_model.parameters(), lr=0.01)
server_optimizer = torch.optim.SGD(server_model.parameters(), lr=0.01)

inputs = torch.randn(4, 8)
targets = torch.tensor([0, 1, 0, 1])

client_optimizer.zero_grad()
server_optimizer.zero_grad()

client_activations = client_model(inputs)
sent_activations = client_activations.detach().requires_grad_()

predictions = server_model(sent_activations)
loss = nn.CrossEntropyLoss()(predictions, targets)
loss.backward()

client_activations.backward(sent_activations.grad)
server_optimizer.step()
client_optimizer.step()

print(loss.item())

Desacoplar client_activations representa enviá-los para outro sistema. O gradiente de ativação retornado reconecta as duas metades para a otimização. Uma implementação em produção deve adicionar rede, autenticação, criptografia, tratamento de falhas e controles de privacidade.

Split Learning vs. Abordagens Relacionadas#

O split learning pertence ao campo mais amplo do distributed training, mas ele particiona a computação de forma diferente.

• Federated learning: Cada participante normalmente treina um modelo local completo e envia atualizações do modelo para agregação. O split learning fornece a cada participante apenas parte do modelo e troca ativações intermediárias e gradientes.
• Pipeline parallelism: Ambas as abordagens colocam camadas diferentes em dispositivos diferentes. O paralelismo de pipeline melhora principalmente a escala ou a utilização de hardware em um ambiente confiável, ao passo que o split learning normalmente separa os proprietários dos dados dos provedores de computação.
• Treinamento paralelo de dados: Frameworks como o PyTorch DistributedDataParallel e o TensorFlow distributed training replicam um modelo e sincronizam as atualizações. Eles normalmente não mantêm as camadas iniciais exclusivamente junto aos dados originais.

O split learning também pode dar suporte a dados particionados verticalmente, onde as organizações mantêm diferentes recursos para registros correspondentes. O SecretFlow split-learning workflow ilustra esse arranjo.

Aplicações no mundo real#

• Imagiologia médica colaborativa: Os hospitais podem treinar um sistema de computer vision compartilhado enquanto mantêm raios-X ou exames em sua própria infraestrutura. Cada hospital executa as primeiras camadas localmente, e um servidor central conclui o treinamento a partir de recursos intermediários. O MIT split-learning overview usa centros de radiologia para explicar essa arquitetura.

• Câmeras industriais com restrição de recursos: Câmeras de fábricas ou gateways podem executar um extrator de recursos compacto localmente, enquanto um servidor treina as camadas restantes para object detection. Isso pode reduzir a transferência de vídeo bruto e a computação do cliente, tornando a abordagem relevante para sistemas de edge AI operando em várias instalações.

Benefícios, Riscos e Decisões de Design#

A camada de corte determina o equilíbrio entre carga de trabalho do cliente, carga de trabalho do servidor, volume de comunicação e exposição de informações. Um corte antecipado reduz a computação do cliente, mas pode produzir ativações grandes e semelhantes a entradas. Um corte posterior pode criar recursos mais abstratos, mas exige hardware de cliente mais potente.

Ativações intermediárias e gradientes podem continuar vulneráveis a reconstrução, inferência ou manipulação. As equipes devem, portanto, avaliar controles de acesso, transporte criptografado, proteção de ativação, registro de auditoria e confiança dos participantes, em vez de tratar o split learning como uma solução completa de privacidade. O NIST Privacy Framework e o NIST AI Risk Management Framework fornecem processos mais amplos para avaliar esses riscos.

Largura de banda e latência também importam porque cada etapa de treinamento pode exigir comunicação bidirecional. Clientes lentos ou não confiáveis podem atrasar todo o sistema, enquanto distribuições de dados inconsistentes podem afetar a convergência.

O Ultralytics YOLO não fornece orquestração pronta para uso de split learning. Implementá-lo exigiria particionar cuidadosamente a YOLO architecture, coordenar passagens diretas e reversas remotas e possivelmente estender o custom trainer workflow documentado. Para projetos que precisam apenas que os dados permaneçam em hardware próprio, o Ultralytics Platform model training oferece suporte ao treinamento local com métricas transmitidas por streaming, mas o treinamento local não é split learning porque o modelo em si não é dividido entre os participantes.