Pruning

La poda es una técnica estratégica de optimización de modelos que se utiliza para reducir el tamaño y la complejidad computacional de las redes neuronales mediante la eliminación de parámetros innecesarios. Al igual que un jardinero poda las ramas muertas o demasiado crecidas para ayudar a que un árbol prospere, los algoritmos de poda identifican y eliminan pesos y sesgos redundantes que contribuyen poco a la capacidad predictiva de un modelo. El objetivo principal es crear un modelo comprimido y "disperso" que mantenga una precisión elevada mientras consume mucha menos memoria y energía. Esta reducción es fundamental para mejorar la latencia de inferencia, lo que permite que arquitecturas avanzadas se ejecuten de manera eficiente en hardware con recursos limitados, como teléfonos móviles y dispositivos integrados.

Link to this sectionMecanismos y metodología#

Los modelos modernos de deep learning a menudo están sobreparametrizados, lo que significa que contienen muchas más conexiones de las necesarias para resolver una tarea específica. La poda aprovecha esto eliminando las conexiones que tienen valores cercanos a cero, bajo la suposición de que tienen un impacto insignificante en el resultado. Una vez que se eliminan los parámetros, el modelo suele someterse a un proceso de ajuste fino, en el que se vuelve a entrenar brevemente para ajustar los pesos restantes y recuperar cualquier rendimiento perdido. Este concepto está estrechamente relacionado con la Hipótesis del Billete de Lotería, que sugiere que las redes grandes contienen subredes más pequeñas y altamente eficientes capaces de alcanzar una precisión similar.

Existen dos categorías principales de estrategias de poda:

• Poda no estructurada: Este método elimina pesos individuales en función de su magnitud, independientemente de su ubicación. Aunque reduce eficazmente el recuento total de parámetros, crea matrices dispersas irregulares que los CPUs y GPUs estándar pueden tener dificultades para procesar de manera eficiente sin software especializado.
• Poda estructurada: Este enfoque elimina estructuras geométricas completas, como neuronas, canales o capas dentro de una red neuronal convolucional (CNN). Al preservar la estructura de la matriz, la poda estructurada es altamente compatible con aceleradores de hardware estándar, lo que a menudo resulta en mejoras de velocidad inmediatas para la inferencia en tiempo real.

Link to this sectionAplicaciones en el mundo real#

La poda es indispensable para habilitar la Edge AI en diversas industrias donde los recursos de hardware son limitados:

1. Drones autónomos: Los vehículos aéreos no tripulados utilizados para búsqueda y rescate dependen de la visión artificial para navegar en entornos complejos. Los modelos de detección de objetos podados permiten que estos dispositivos procesen flujos de video localmente en tiempo real, evitando los problemas de latencia asociados con la comunicación en la nube.

2. Atención médica móvil: Los dispositivos médicos portátiles para el análisis por ultrasonido utilizan modelos podados para detectar anomalías directamente en el dispositivo. Esto garantiza la privacidad de los datos del paciente y permite diagnósticos sofisticados en áreas remotas sin acceso a Internet.

Link to this sectionEjemplo de implementación#

Aunque modelos de vanguardia como YOLO26 están diseñados para la eficiencia, los desarrolladores pueden aplicar la poda para optimizar aún más las capas utilizando bibliotecas como PyTorch. El siguiente ejemplo demuestra cómo aplicar la poda no estructurada a una capa convolucional.

import torch
import torch.nn.utils.prune as prune

# Initialize a standard convolutional layer
layer = torch.nn.Conv2d(in_channels=3, out_channels=32, kernel_size=3)

# Apply L1 unstructured pruning to remove 30% of weights with the lowest magnitude
prune.l1_unstructured(layer, name="weight", amount=0.3)

# Verify sparsity (percentage of zero parameters)
sparsity = 100.0 * float(torch.sum(layer.weight == 0)) / layer.weight.nelement()
print(f"Sparsity achieved: {sparsity:.2f}%")

Link to this sectionPoda frente a otras técnicas de optimización relacionadas#

Para optimizar eficazmente un modelo para su despliegue, resulta útil distinguir la poda de otras estrategias:

• Cuantización de modelos: A diferencia de la poda, que elimina conexiones, la cuantización reduce la precisión de los pesos (por ejemplo, convirtiendo números de punto flotante de 32 bits a enteros de 8 bits). Ambas técnicas pueden utilizarse conjuntamente para maximizar la eficiencia en sistemas integrados.
• Destilación de conocimiento: Esto implica entrenar un modelo "estudiante" más pequeño para imitar el comportamiento de un modelo "profesor" más grande. La poda modifica el modelo original directamente, mientras que la destilación entrena una arquitectura nueva y compacta.

Para una gestión integral del ciclo de vida, que incluye el entrenamiento, la anotación y el despliegue de modelos optimizados, los usuarios pueden aprovechar la Plataforma Ultralytics. Esto simplifica el flujo de trabajo desde la gestión de datasets hasta la exportación de modelos en formatos compatibles con hardware como ONNX o TensorRT.