Запустить тяжелую мультимодальную модель на 35 миллиардов параметров прямо на обычном смартфоне, да ещё и так, чтобы она поместилась всего в 3 ГБ оперативной памяти? Звучит как фантастика, но именно такой инженерный трюк провернула команда OpenBMB в релизе MiniCPM-V 4.7.
Секрет кроется в архитектуре Mixture of Experts (MoE) 35B-A3B: из огромного массива весов на каждом токене активируются лишь 3 миллиарда параметров. Разработчики внедрили алгоритм упреждающей подгрузки (Predictive Expert Paging). Веса спящих экспертов хранятся в скоростном накопителе (UFS 4.0 или NVMe) и за микросекунды загружаются в RAM только в момент вызова. Вместе с квантованием INT4 это позволяет модели спокойно жить в памяти потребительского телефона.
Вот пример базового инференса на Python:
import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer
model_path = "openbmb/MiniCPM-V-4_7-int4"
model = AutoModel.from_pretrained(
model_path,
trust_remote_code=True,
torch_dtype=torch.float16,
low_cpu_mem_usage=True
).eval()
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image = Image.open("document_sample.jpg").convert("RGB")
msgs = [{"role": "user", "content": [image, "Распознай рукописную таблицу в Markdown."]}]
res = model.chat(image=None, msgs=msgs, tokenizer=tokenizer, sampling=True, temperature=0.3)
print("Результат:\n", res)
А вот команда запуска оптимизированного профиля через CLI-рантайм MLC-LLM:
# Компиляция и запуск MiniCPM-V-4.7 с ограничением RAM до 3GB
mlc_llm run MiniCPM-V-4_7-int4-mobile \
--device "metal" \
--max-memory-mb 3072 \
--enable-expert-paging true \
--flash-storage-cache "/tmp/moe_cache"
Как подчеркивает Julian Goldie SEO, на чипах уровня Apple A18 и Snapdragon 8 Gen 3/4 модель выдает 15–20 токенов в секунду, уверенно разбирая таблицы и рукописные записи без отправки единого байта в облако.
