Si sigues el mundo de las redes neuronales locales, seguro que ya te sabes la regla de oro: si quieres correr un modelo serio de visión por computador, prepara una tarjeta gráfica potente con 16–24 gigabytes de VRAM rápida o resígnate a una velocidad de tortuga. Ya vimos intentos de domar modelos pesados al analizar cómo la cuantización de Saluki 27B hasta 8 GB abre la puerta a herramientas autónomas, y también exploramos el híbrido de Attention y Mamba-2 en Nvidia Nemotron 3 Nano.
Pero lo que ha conseguido la comunidad OpenBMB junto al laboratorio THUNLP de la Universidad de Tsinghua y la empresa ModelBest en el nuevo MiniCPM-V 4.7 parece un auténtico truco de magia de ingeniería: han logrado que un modelo multimodal de 35 000 millones de parámetros funcione directamente en smartphones consumiendo apenas unos 3 GB de memoria RAM.
Magia arquitectónica: precarga anticipada de expertos (LES)
¿Cómo es físicamente posible meter 35 000 millones de pesos en tres gigabytes de RAM?
El secreto está en una división inteligente del trabajo y en la tecnología Look-Ahead Expert Scheduling (LES):
- Arquitectura dispersa 35B-A3B: de los 35 000 millones de parámetros de su estructura Mixture-of-Experts, solo se activan 3 000 millones para procesar cada token.
- Lectura anticipada desde el almacenamiento: el teléfono no necesita mantener todos los pesos en RAM a la vez. El bloque completo del modelo vive en la memoria flash del dispositivo. Mientras la capa actual de la red ejecuta sus cálculos, el algoritmo LES analiza las activaciones y predice con precisión qué expertos harán falta en la capa siguiente, cargándolos por adelantado en la RAM. Esto va 5 veces más rápido que el swap estándar del sistema (page swapping) y no pierde precisión.
- Muestreo especulativo DSpark: la velocidad de generación en chips como el Apple A18 Pro (iPhone 17 Pro Max) supera los 13 tokens por segundo, lo que hace que el diálogo fluya con total naturalidad.
El modelo analiza sin despeinarse fotografías, documentos PDF de varias páginas (OCR) e incluso flujos de vídeo. Para comprimir los datos visuales con eficiencia, aplica modos adaptativos de tokenización: compresión 16x para planos generales y 4x para detalles pequeños de interfaz o texto.
No confundas la memoria operativa con la capacidad del almacenamiento interno: 3 GB es únicamente la huella dinámica en RAM mientras el modelo está en marcha. El archivo completo de pesos cuantizados en el almacenamiento del teléfono ocupa entre 10 y 20 gigabytes según el formato (GGUF, AWQ, INT4).
Por qué importa para la industria
El lanzamiento se distribuye bajo la licencia comercial totalmente abierta Apache 2.0. Están disponibles tanto la versión insignia MoE 35B-A3B como una variante ultraligera de 1 000 millones de parámetros. De serie ofrece soporte para chips Apple, Qualcomm Snapdragon, MediaTek, Intel, AMD y ARM, además de motores locales tan populares como Ollama y llama.cpp.
Poder analizar en local documentos personales, recibos y vídeos directamente en el móvil sin enviar datos sensibles a servidores ajenos es justo la razón de ser de la inteligencia artificial en el dispositivo.
