Optimización de inferencia MoE: cómo vLLM de código abierto alcanzó al motor especializado DeepInferArtículo · digest del 29 de octubre
Visualización conceptual en 3D del enrutamiento distribuido de tokens entre bloques procesadores de expertos
Artículo5 secciones≈ 6 min

Optimización de inferencia MoE: cómo vLLM de código abierto alcanzó al motor especializado DeepInfer

Si alguna vez has intentado desplegar un modelo pesado con arquitectura Mixture-of-Experts (MoE) como DeepSeek-V3 o DeepSeek-R1 en tu propio clúster, seguro que te has topado con el clásico cuello de botella. En una sola GPU el modelo simplemente no cabe en memoria, pero en cuanto lo repartes entre ocho o dieciséis tarjetas usando paralelismo tensorial clásico (Tensor Parallelism), el rendimiento se desploma. Las tarjetas se quedan cruzadas de brazos esperando a que los buses de interconexión digieran un tráfico interminable de sincronizaciones All-Reduce entre chips.

Hasta hace poco la única escapatoria era el motor interno propietario de DeepSeek llamado DeepInfer. Gracias a ajustes de bajo nivel hechos a medida para topologías concretas de chips, exprimía una velocidad envidiable y era la referencia indiscutible, como vimos al analizar la actualización de DeepSeek DeepInfer. Pero la comunidad del framework abierto vLLM acaba de responder con fuerza integrando la tecnología Wide Expert Parallelism (Wide EP). Vamos a ver cómo este movimiento de ingeniería redujo la distancia frente al líder propietario a apenas un 6%.

Por qué el paralelismo clásico se asfixia con redes MoE

Para entender el avance, veamos qué ocurre en un esquema clásico de paralelismo tensorial (TP=8).

En una arquitectura MoE, cada capa contiene decenas o cientos de subredes independientes llamadas expertos. Cuando aplicas TP tradicional:

  • Todas las GPUs tienen que sincronizar activaciones intermedias tras cada multiplicación matricial;
  • La carga sobre los buses NVLink crece de forma exponencial y dispara la latencia de red;
  • La memoria para la caché KV del contexto se fragmenta mal, limitando artificialmente el tamaño del lote de trabajo.

El resultado es que unos carísimos núcleos tensoriales NVIDIA H100 o H200 pasan hasta la mitad del tiempo parados esperando (interconnect stall). Como ya señalamos en nuestro repaso sobre la arquitectura de inferencia ultrarrápida, la batalla actual por cada milisegundo se libra en el transporte de red, no en los pesos en sí.

Arquitectura Wide Expert Parallelism: divide y vencerás

La idea de Wide EP es tan simple como efectiva y se apoya en un reparto híbrido de responsabilidades:

  1. Capas de atención (Attention Layers): Se procesan mediante Data Parallelism (DP). Cada GPU guarda su propio fragmento independiente de contexto y caché KV, eliminando por completo la duplicación de memoria.
  2. Capas de expertos (MoE MLP Layers): Cientos de expertos se reparten físicamente a lo ancho de un gran grupo de GPUs —de 8 hasta 64 o incluso 128 tarjetas—. En una sola tarjeta pueden vivir, por ejemplo, apenas 8 o 16 expertos.
  3. Enrutamiento disperso selectivo (Sparse Dispatch & Combine): En lugar de reenviar tensores densos a todas las tarjetas mediante un pesado All-Reduce, el sistema usa el protocolo DeepEP. Los tokens se empaquetan en paquetes de red compactos y viajan exclusivamente hacia las GPUs donde residen físicamente los expertos asignados.
  4. Balanceo dinámico EPLB (Expert-Parallel Load Balancing): En tráfico real, algunos expertos (por ejemplo, los especializados en Python) reciben muchas más peticiones que otros. Para evitar cuellos de botella desiguales, el algoritmo EPLB replica dinámicamente los pesos más solicitados en chips vecinos y elimina tiempos muertos.

Implementación práctica: comandos de arranque de vLLM y manifiesto en Python

Para levantar un servidor vLLM en producción con Wide EP activado sobre un clúster de ocho aceleradores H100 se utiliza este conjunto de flags de bajo nivel:

# Arranque de un servidor vLLM en producción con Wide Expert Parallelism
python3 -m vllm.entrypoints.openai.api_server     --model deepseek-ai/DeepSeek-V3     --tensor-parallel-size 1     --pipeline-parallel-size 1     --expert-parallel-size 8     --enable-expert-parallel     --moe-communication-backend deepep     --kv-cache-dtype fp8     --max-model-len 32768     --gpu-memory-utilization 0.92     --port 8000

Fíjate en la combinación --tensor-parallel-size 1 y --expert-parallel-size 8: desactivamos por completo el costoso paralelismo tensorial dentro de cada capa y trasladamos toda la paralelización al plano de los expertos y al driver de red deepep.

Si despliegas la inferencia distribuida con el orquestador Ray, el manifiesto en código Python queda así:

# Configuración de inferencia distribuida vLLM con Wide-EP mediante Ray
from vllm import LLM, SamplingParams

sampling_params = SamplingParams(
    temperature=0.6,
    top_p=0.95,
    max_tokens=4096
)

# Inicialización del pool distribuido con Wide EP activado
llm = LLM(
    model="deepseek-ai/DeepSeek-V3",
    tensor_parallel_size=1,
    pipeline_parallel_size=1,
    expert_parallel_size=8,
    trust_remote_code=True,
    dtype="bfloat16",
    kv_cache_dtype="fp8",
    enforce_eager=False,
    enable_expert_parallel=True
)

prompts = ["Разработай архитектуру распределенного хранилища данных на Go."]
outputs = llm.generate(prompts, sampling_params)
for output in outputs:
    print(output.outputs[0].text)

Mediciones de eficiencia: brecha reducida al 6%

Pruebas independientes sobre un clúster de 8x NVIDIA H200 (141GB) procesando un lote de contextos largos confirmaron una mejora enorme:

Métrica de eficienciavLLM (TP=8 base)vLLM (Wide EP=8)DeepInfer (propietario)
Rendimiento por GPU420 tokens/s910 tokens/s968 tokens/s
Uso del bus NVLink94% (saturación)38% (intercambio disperso)35%
Tamaño máximo de lote (batch)32 peticiones128 peticiones136 peticiones
Diferencia frente a la referencia-56%-6%Referencia (0%)

La saturación del bus de interconexión cayó de un crítico 94% a un cómodo 38%, mientras que el tamaño efectivo de lote se multiplicó por cuatro. La distancia entre el framework abierto y la herramienta interna de DeepSeek quedó reducida a un casi imperceptible 6%.

Requisitos de hardware y límites de aplicación

Conviene tener presentes las fronteras físicas de esta técnica:

  • Wide EP solo despliega todo su potencial dentro de nodos con bus NVLink (900 GB/s) o entre servidores conectados por interconexiones de alta velocidad InfiniBand o RoCE v2 (desde 400 Gbps). En tarjetas de red estándar de 10/25 GbE, la latencia del despachador de red se come al instante toda la ganancia;
  • Si la carga de trabajo es muy homogénea y activa siempre al mismo experto, hay que ajustar con cuidado los umbrales de replicación de pesos en la configuración de EPLB.

Aun así, la comunidad acaba de demostrar que el software abierto puede competir de igual a igual con las soluciones propietarias de los grandes laboratorios, acercando el despliegue económicamente viable de modelos de escala terabillón.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 3