Pruning

A poda é uma técnica estratégica de otimização de modelos usada para reduzir o tamanho e a complexidade computacional de redes neurais através da remoção de parâmetros desnecessários. Assim como um jardineiro apara galhos mortos ou excessivos para ajudar uma árvore a prosperar, algoritmos de poda identificam e eliminam pesos e vieses redundantes que contribuem pouco para o poder preditivo de um modelo. O objetivo principal é criar um modelo comprimido e "esparso" que mantenha uma alta precisão, consumindo significativamente menos memória e energia. Essa redução é essencial para melhorar a latência de inferência, permitindo que arquiteturas avançadas funcionem de forma eficiente em hardware com recursos limitados, como telefones celulares e dispositivos embarcados.

Link to this sectionMecanismos e Metodologia#

Modelos modernos de deep learning são frequentemente superparametrizados, o que significa que contêm muito mais conexões do que o necessário para resolver uma tarefa específica. A poda explora isso ao remover conexões que possuem valores próximos de zero, sob a premissa de que elas têm um impacto insignificante no resultado. Após a remoção dos parâmetros, o modelo geralmente passa por um processo de ajuste fino, onde é retreinado brevemente para ajustar os pesos restantes e recuperar qualquer desempenho perdido. Esse conceito está intimamente relacionado à Hipótese do Bilhete de Loteria, que sugere que redes grandes contêm sub-redes menores e altamente eficientes, capazes de alcançar uma precisão similar.

Existem duas categorias principais de estratégias de poda:

• Poda não estruturada: Este método remove pesos individuais com base em sua magnitude, independentemente de sua localização. Embora reduza efetivamente a contagem total de parâmetros, ele cria matrizes esparsas irregulares que CPUs e GPUs padrão podem ter dificuldade em processar eficientemente sem um software especializado.
• Poda estruturada: Esta abordagem remove estruturas geométricas inteiras, como neurônios, canais ou camadas dentro de uma rede neural convolucional (CNN). Ao preservar a estrutura da matriz, a poda estruturada é altamente compatível com aceleradores de hardware padrão, resultando frequentemente em ganhos de velocidade imediatos para inferência em tempo real.

Link to this sectionAplicações no Mundo Real#

A poda é indispensável para viabilizar a Edge AI em diversos setores onde os recursos de hardware são limitados:

1. Drones Autônomos: Veículos aéreos não tripulados usados em missões de busca e salvamento dependem de visão computacional para navegar em ambientes complexos. Modelos de detecção de objetos podados permitem que esses dispositivos processem feeds de vídeo localmente em tempo real, evitando os problemas de latência associados à comunicação em nuvem.

2. Saúde Móvel: Dispositivos médicos portáteis para análise de ultrassom utilizam modelos podados para detectar anomalias diretamente no dispositivo. Isso garante a privacidade dos dados do paciente e possibilita diagnósticos sofisticados em áreas remotas sem acesso à internet.

Link to this sectionExemplo de Implementação#

Embora modelos de última geração como o YOLO26 sejam projetados para eficiência, desenvolvedores podem aplicar a poda para otimizar ainda mais as camadas usando bibliotecas como PyTorch. O exemplo a seguir demonstra como aplicar a poda não estruturada a uma camada convolucional.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

Link to this sectionPoda vs. Técnicas de Otimização Relacionadas#

Para otimizar efetivamente um modelo para implantação, é útil distinguir a poda de outras estratégias:

• Quantização de modelos: Diferente da poda, que remove conexões, a quantização reduz a precisão dos pesos (por exemplo, convertendo números de ponto flutuante de 32 bits para inteiros de 8 bits). Ambas as técnicas podem ser usadas em conjunto para maximizar a eficiência em sistemas embarcados.
• Destilação de conhecimento: Isso envolve o treinamento de um modelo "aluno" menor para imitar o comportamento de um modelo "professor" maior. A poda modifica o modelo original diretamente, enquanto a destilação treina uma arquitetura nova e compacta.

Para um gerenciamento completo do ciclo de vida, incluindo treinamento, anotação e implantação de modelos otimizados, os usuários podem aproveitar a Plataforma Ultralytics. Isso simplifica o fluxo de trabalho desde o gerenciamento de datasets até a exportação de modelos em formatos compatíveis com hardware, como ONNX ou TensorRT.