Pruning

A poda é uma técnica estratégica de otimização de modelos utilizada para reduzir o tamanho e a complexidade computacional das redes neurais, removendo parâmetros desnecessários. Tal como um jardineiro poda ramos mortos ou demasiado crescidos para ajudar uma árvore a prosperar, os algoritmos de poda identificam e eliminam pesos e vieses redundantes que pouco contribuem para a capacidade preditiva de um modelo. O principal objetivo é criar um modelo comprimido e "esparso" que mantenha uma elevada precisão, consumindo significativamente menos memória e energia. Esta redução é essencial para melhorar a latência de inferência, permitindo que arquiteturas avançadas funcionem de forma eficiente em hardware com recursos limitados, como telemóveis e dispositivos integrados.

Mecanismos e metodologia#

Os modelos modernos de deep learning são frequentemente sobredimensionados em termos de parâmetros, o que significa que contêm muito mais ligações do que o necessário para resolver uma tarefa específica. A poda tira partido disso ao remover ligações com valores próximos de zero, partindo do pressuposto de que têm um impacto negligenciável no resultado. Depois de os parâmetros serem removidos, o modelo passa normalmente por um processo de afinação, no qual é novamente treinado durante pouco tempo para ajustar os pesos restantes e recuperar qualquer desempenho perdido. Este conceito está estreitamente relacionado com a Hipótese do Bilhete de Lotaria, que sugere que as redes de grandes dimensões contêm sub-redes mais pequenas e altamente eficientes, capazes de alcançar uma precisão semelhante.

Existem duas categorias principais de estratégias de poda:

• Poda não estruturada: este método remove pesos individuais com base na sua magnitude, independentemente da sua localização. Embora reduza eficazmente o número total de parâmetros, cria matrizes esparsas irregulares que as CPUs e GPUs convencionais podem ter dificuldade em processar de forma eficiente sem software especializado.
• Poda estruturada: esta abordagem remove estruturas geométricas inteiras, como neurónios, canais ou camadas dentro de uma rede neural convolucional (CNN). Ao preservar a estrutura da matriz, a poda estruturada é altamente compatível com aceleradores de hardware convencionais, resultando frequentemente em ganhos imediatos de velocidade para a inferência em tempo real.

Aplicações no mundo real#

A poda é indispensável para possibilitar a IA de edge em vários setores onde os recursos de hardware são limitados:

1. Drones autónomos: os veículos aéreos não tripulados utilizados em operações de busca e salvamento dependem da visão computacional para navegar em ambientes complexos. Os modelos podados de deteção de objetos permitem que estes dispositivos processem localmente fluxos de vídeo em tempo real, evitando os problemas de latência associados à comunicação com a cloud.

2. Cuidados de saúde móveis: os dispositivos médicos portáteis para análise de ultrassons utilizam modelos podados para detetar anomalias diretamente no dispositivo. Isto garante a privacidade dos dados dos pacientes e permite diagnósticos sofisticados em áreas remotas sem acesso à Internet.

Exemplo de Implementação#

Embora modelos de última geração, como o YOLO26, sejam concebidos para a eficiência, os programadores podem aplicar poda para otimizar ainda mais as camadas utilizando bibliotecas como o PyTorch. O exemplo seguinte demonstra como aplicar poda não estruturada a uma camada convolucional.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

Poda vs. técnicas de otimização relacionadas#

Para otimizar eficazmente um modelo para implementação, é útil distinguir a poda de outras estratégias:

• Quantização de modelos: ao contrário da poda, que remove ligações, a quantização reduz a precisão dos pesos (por exemplo, convertendo números de vírgula flutuante de 32 bits em inteiros de 8 bits). Ambas as técnicas podem ser utilizadas em conjunto para maximizar a eficiência em sistemas integrados.
• Destilação de conhecimento: isto envolve treinar um modelo "aluno" mais pequeno para imitar o comportamento de um modelo "professor" maior. A poda modifica diretamente o modelo original, enquanto a destilação treina uma nova arquitetura compacta.

Para uma gestão abrangente do ciclo de vida, incluindo o treino, a anotação e a implementação de modelos otimizados, os utilizadores podem tirar partido da Ultralytics Platform. Isto simplifica o fluxo de trabalho, desde a gestão de conjuntos de dados até à exportação de modelos em formatos compatíveis com hardware, como ONNX ou TensorRT.