Expert Parallelism

El paralelismo de expertos es una técnica de computación distribuida que coloca diferentes expertos de un modelo de mezcla de expertos en diferentes GPU o aceleradores. En lugar de que cada dispositivo almacene cada experto, cada dispositivo contiene un subconjunto. Un enrutador aprendido envía cada token de entrada a los expertos seleccionados, lo que permite que modelos muy grandes aumenten la capacidad de parámetros sin activar cada parámetro para cada entrada.

La técnica se aplica específicamente a arquitecturas de mezcla de expertos, no a redes neuronales densas ordinarias. Se utiliza comúnmente al entrenar o servir modelos de lenguaje grande y modelos de lenguaje visual cuyas capas de expertos consumirían de otro modo demasiada memoria en un solo dispositivo.

Cómo funciona el paralelismo de expertos#

Una capa MoE contiene varias redes de expertos, típicamente redes neuronales de alimentación directa, además de un enrutador. Para cada token, el enrutador produce puntuaciones y selecciona una pequeña cantidad de expertos, a menudo llamada enrutamiento top-k.

En una capa de ocho expertos distribuida en cuatro GPU, por ejemplo, cada GPU puede almacenar dos expertos. El procesamiento sigue entonces cuatro pasos principales:

1. El enrutador selecciona expertos para cada token.
2. Los tokens se intercambian entre las GPU para que lleguen a los dispositivos que contienen a esos expertos.
3. Cada experto procesa sus tokens asignados localmente.
4. Los resultados regresan a las posiciones originales de los tokens y continúan a través del modelo.

Este intercambio se basa comúnmente en la comunicación de todos a todos, una operación colectiva descrita en la documentación de operaciones colectivas de NVIDIA NCCL. La guía de paralelismo de NVIDIA Megatron Bridge muestra cómo el recuento de expertos y el tamaño paralelo de expertos determinan el número de expertos colocados en cada GPU.

El paralelismo de expertos ahorra memoria por dispositivo porque los pesos de los expertos están particionados. Sin embargo, no elimina los costes de computación o comunicación: los tokens pueden cruzar los límites de los dispositivos o nodos en cada capa MoE.

Paralelismo de expertos frente a técnicas relacionadas#

El paralelismo de expertos es una forma de entrenamiento distribuido, pero divide un modelo de manera diferente a otras estrategias:

• Paralelismo de datos: Cada dispositivo almacena una réplica completa del modelo y procesa un lote diferente. Los gradientes se sincronizan entre las réplicas, como se explica en la descripción general del entrenamiento distribuido de PyTorch. Esto es eficaz cuando el modelo completo cabe en cada dispositivo.
• Paralelismo de tensores: Las matrices de pesos individuales y las operaciones matemáticas dentro de una capa se dividen entre los dispositivos. El paralelismo de expertos asigna en su lugar expertos completos a los dispositivos.
• Paralelismo de canalización: Grupos consecutivos de capas se ejecutan en diferentes dispositivos, con micro lotes fluyendo a través de ellos como etapas de canalización.
• Paralelismo de contexto: Las secuencias de entrada largas se particionan entre los dispositivos para reducir los requisitos de memoria de activación.
• Paralelismo de tensores de expertos: Los expertos se distribuyen entre los dispositivos, y cada experto individual también está fragmentado por tensores. Este enfoque híbrido puede acomodar expertos más grandes pero introduce comunicación adicional.

Estos enfoques son complementarios. Los sistemas MoE grandes pueden combinar paralelismo de expertos, datos, tensores, canalización y contexto según el tamaño del modelo y la topología del hardware.

Aplicaciones en el mundo real#

Asistentes multilingües a gran escala: Un modelo de lenguaje MoE puede contener muchas redes de expertos mientras activa solo unas pocas para cada token. El paralelismo de expertos distribuye esas redes en un clúster de servicio, lo que permite que el sistema mantenga una alta capacidad de modelo sin cargar a cada experto en cada GPU. Los tiempos de ejecución de producción como el despliegue paralelo de expertos de vLLM y el paralelismo de expertos de TensorRT-LLM admiten este tipo de diseño de inferencia.

Análisis de contenido multimodal: Un modelo MoE grande que procesa parches de imágenes y tokens de texto puede enrutar las entradas a través de expertos seleccionados distribuidos en múltiples aceleradores. Esto puede admitir la comprensión de documentos, la respuesta visual a preguntas y otros servicios de IA multimodal mientras mantiene manejable la memoria de expertos por dispositivo. El principio se puede aplicar a transformadores de visión dispersos a gran escala, aunque la mayoría de los modelos de visión compactos en tiempo real no lo requieren.

Beneficios, cuellos de botella y orientación práctica#

El paralelismo de expertos ofrece tres ventajas principales: reducción de la memoria de pesos de expertos por GPU, soporte para modelos con mayor capacidad total y computación dispersa eficiente cuando solo unos pocos expertos se activan por token. La guía de paralelismo de expertos de Amazon SageMaker ilustra cómo un grado paralelo de expertos controla la distribución a través de un clúster.

Su principal desafío es el desequilibrio de carga. Si el enrutador envía demasiados tokens a un experto, la GPU de ese experto se convierte en un rezagado mientras los demás esperan. Las consecuencias incluyen menor rendimiento, latencia inestable y posible pérdida de tokens cuando la capacidad de los expertos es limitada. Los ingenieros deben supervisar los tokens por experto, el equilibrio de enrutamiento, el tiempo de comunicación, el uso de memoria y la latencia de extremo a extremo. Las interconexiones de gran ancho de banda y la superposición de comunicación y computación pueden reducir la sobrecarga de transferencia.

El paralelismo de expertos es innecesario cuando se utiliza un modelo denso como Ultralytics YOLO26. El entrenamiento de Ultralytics YOLO multi-GPU utiliza en su lugar paralelismo de datos distribuido:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Two-GPU YOLO training uses data parallelism, not expert parallelism.
results = model.train(
    data="coco8.yaml",
    epochs=10,
    imgsz=640,
    device=[0, 1],
)

Este flujo de trabajo replica YOLO26 en dos GPU y divide los lotes de entrenamiento entre ellas; no enruta las entradas entre redes de expertos. Los equipos también pueden utilizar el entrenamiento en la nube de Ultralytics Platform para gestionar conjuntos de datos de visión, entrenamiento, métricas, exportación y despliegue sin configurar infraestructura distribuida manualmente.