Ant Group libera Ling 3.1 Flash: un MoE de 560 000 millones de parámetros con 1 millón de tokens de contextoBreve · digest del 20 de octubre
Breve≈ 1 min

Ant Group libera Ling 3.1 Flash: un MoE de 560 000 millones de parámetros con 1 millón de tokens de contexto

El equipo de Inclusion AI (la división tecnológica de Ant Group) ha publicado en Hugging Face los pesos abiertos del modelo Ling 3.1 Flash bajo licencia libre MIT. Se trata de una arquitectura MoE dispersa completa: 560 000 millones de parámetros en total, de los cuales solo se activan 25 000 millones por cada token (560B-A25B).

Este diseño ofrece la amplitud de conocimientos de un modelo gigante con la velocidad de cómputo de una red compacta. El modelo admite una ventana de contexto de hasta 1 millón de tokens, capaz de tragar bases de código monolíticas y especificaciones financieras de una sola vez. En los benchmarks, Ling 3.1 Flash lidera en generación de interfaces de aplicaciones (UI/UX) y matemáticas.

Lo más destacado del lanzamiento:

  • Dispersión MoE: la carga de inferencia equivale a la de un modelo de 25B parámetros.
  • Licencia libre MIT: los pesos están abiertos para uso comercial sin condiciones ocultas.
  • Compatibilidad con el stack: integración nativa con vLLM, SGLang, Transformers y TensorRT-LLM.

Ya seguíamos de cerca cómo evolucionaba el modelo Ling 3.1 Flash de Inclusion AI y cómo se exploraba la arquitectura MoE y la ventana de contexto de 256 000 tokens en versiones anteriores. Ahora el modelo da un salto de escala y queda al alcance de cualquiera.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 2