Ajuste Fino Eficiente en Parámetros (PEFT)

Parameter-Efficient Fine-Tuning (PEFT) es una sofisticada estrategia de aprendizaje automático (AM) diseñada para adaptar grandes preentrenados a tareas posteriores específicas sin la carga computacional que supone volver a entrenar toda la red. En modelos básicos en ámbitos como el procesamiento procesamiento del lenguaje natural y la visión por ordenador (CV) miles de millones de parámetros, el ajuste de parámetros, el ajuste tradicional -queactualiza cada peso del modelo- se ha resulta prohibitivo para muchos usuarios. PEFT soluciona este problema congelando la mayoría de los pesos del modelo del modelo preentrenado y actualizando sólo un pequeño o añadiendo unas pocas capas nuevas entrenables. Este planteamiento reduce significativamente la barrera del hardware, permitiendo a de hardware, lo que permite a los investigadores e ingenieros personalizar modelos GPU de consumo con un rendimiento comparable al entrenamiento completo.

Mecánica del PEFT

El concepto básico del PEFT es aprendizaje por transferencia, en el que un modelo aprovecha conocimientos adquiridos a partir de un conjunto de datos masivo (como ImageNet o Common Crawl) para resolver nuevos problemas con datos limitados. A diferencia del ajuste fino completo, PEFT modifica la arquitectura del modelo o el proceso de entrenamiento para ser "eficiente en parámetros". parámetros". De este modo, el modelo adaptado ocupa poco espacio, a menudo unos pocos megabytes, frente a los gigabytes necesarios para una copia completa del modelo. Esta eficiencia es crucial para evitar el olvido catastrófico, un fenómeno en el que un modelo pierde sus capacidades generales originales al aprender nueva información.

Entre las técnicas más comunes en el marco del PEFT se incluyen:

• LoRA (adaptación de bajo rango): Este popular método inyecta pequeñas matrices de descomposición de rangos entrenables en las capas del modelo, congelando los los pesos originales. Microsoft lo cita mucho por su equilibrio entre velocidad y precisión. su equilibrio entre velocidad y precisión.
• Adaptadores: Se trata de insertar pequeños módulos de red neuronal entre las capas de la red preentrenada.
• Prompt Tuning: Utilizado principalmente con modelos lingüísticos, añade a la secuencia de entrada a la secuencia de entrada, guiando el comportamiento del modelo comportamiento del modelo congelado.

Aplicaciones en el mundo real

PEFT contribuye a democratizar el acceso a potentes herramientas de IA en diversos sectores.

• Agricultura de precisión: Los agricultores y las empresas de agrotécnica utilizan PEFT para adaptar modelos generales de modelos de detección de objetos YOLO11 para identificar enfermedades específicas de los cultivos o plagas locales. Mediante el uso de la IA en la agricultura, un modelo un modelo entrenado en objetos generales puede afinarse en un pequeño conjunto de datos personalizados de imágenes de hojas para detectar plagas localizadas con gran precisión. de imágenes de hojas para detect plagas localizadas con gran precisión, funcionando eficientemente en dispositivos periféricos sobre el terreno.
• Diagnóstico médico: En AI sanitaria, la privacidad y la escasez de datos son grandes retos. Los hospitales pueden utilizar PEFT para adaptar modelos de visión para análisis de imágenes médicas, como la fracturas en radiografías. Como el modelo base permanece congelado, el entrenamiento requiere menos imágenes de pacientes para converger, reducir el riesgo de sobreajuste y preservar la la capacidad del modelo para reconocer características visuales generales.

Aplicación práctica

En el contexto de los modelos Ultralytics , la eficiencia de los parámetros se consigue a menudo "congelando" las capas troncales de la red durante el entrenamiento. de la red durante el entrenamiento. De este modo, las capas de extracción de características permanecen inalteradas y sólo se actualiza la (la parte del modelo responsable de realizar las predicciones finales).

El siguiente ejemplo muestra cómo implementar una forma sencilla de entrenamiento con parámetros eficientes con Ultralytics YOLO congelando las 10 primeras capas del modelo.

from ultralytics import YOLO

# Load the YOLO11 model (latest stable version)
model = YOLO("yolo11n.pt")

# Train the model on a specific dataset
# The 'freeze=10' argument freezes the first 10 layers (the backbone)
# This reduces the number of trainable parameters significantly
results = model.train(data="coco8.yaml", epochs=5, freeze=10)

PEFT vs. Conceptos relacionados

Entender la distinción entre PEFT y términos similares es vital para seleccionar la estrategia adecuada:

• Ajuste fino completo: Actualiza todos los parámetros de la red. Ofrece la máxima plasticidad, pero requiere enormes recursos informáticos y de almacenamiento para cada nueva versión del modelo. Consulte esta guía sobre ajuste fino para las mejores prácticas cuando cuando los recursos no son una limitación.
• Prompt Engineering: En consiste en diseñar el texto de entrada (prompt) para guiar el modelo sin cambiar ninguna ponderación. En cambio, PEFT actualiza permanentemente un pequeño conjunto de parámetros o ponderaciones para modificar la forma en que el modelo procesa los datos.
• Aprendizaje por transferencia: Es el concepto concepto más amplio de reutilización de conocimientos. El PEFT es una aplicación específica y eficiente del aprendizaje por transferencia. Puede explorar definiciones más profundas de estos conceptos en plataformas como las páginas educativas sobre IA de IBM.

Al minimizar el coste computacional de la adaptación, PEFT permite crear modelos altamente especializados para tareas que van desde la percepción de vehículos autónomos hasta el análisis de imágenes de satélite, haciendo accesible la IA avanzada a una comunidad más amplia de desarrolladores.