¿Ejecutar un modelo multimodal pesado de 35.000 millones de parámetros directamente en un smartphone normal, y además haciendo que quepa en apenas 3 GB de memoria RAM? Suena a ciencia ficción, pero esa es exactamente la proeza de ingeniería que ha logrado el equipo de OpenBMB con MiniCPM-V 4.7.
El secreto está en su arquitectura Mixture of Experts (MoE) 35B-A3B: de todo ese enorme volumen de pesos, en cada token solo se activan 3.000 millones de parámetros. Sus creadores implementaron un algoritmo de carga anticipada (Predictive Expert Paging). Los pesos de los expertos inactivos permanecen en el almacenamiento rápido (UFS 4.0 o NVMe) y se cargan en RAM en microsegundos justo cuando hacen falta. Sumado a la cuantización INT4, el modelo corre sin problemas en la memoria de un teléfono de consumo.
Aquí tienes un ejemplo básico de inferencia en Python:
import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer
model_path = "openbmb/MiniCPM-V-4_7-int4"
model = AutoModel.from_pretrained(
model_path,
trust_remote_code=True,
torch_dtype=torch.float16,
low_cpu_mem_usage=True
).eval()
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image = Image.open("document_sample.jpg").convert("RGB")
msgs = [{"role": "user", "content": [image, "Распознай рукописную таблицу в Markdown."]}]
res = model.chat(image=None, msgs=msgs, tokenizer=tokenizer, sampling=True, temperature=0.3)
print("Результат:\n", res)
Y este es el comando para lanzar el perfil optimizado mediante el runtime CLI MLC-LLM:
# Compilación y ejecución de MiniCPM-V-4.7 con límite de RAM a 3 GB
mlc_llm run MiniCPM-V_4_7-int4-mobile \
--device "metal" \
--max-memory-mb 3072 \
--enable-expert-paging true \
--flash-storage-cache "/tmp/moe_cache"
Como subraya Julian Goldie SEO, en chips como Apple A18 y Snapdragon 8 Gen 3/4 el modelo entrega entre 15 y 20 tokens por segundo, reconociendo tablas y notas manuscritas con soltura sin enviar un solo byte a la nube.
