MiniCPM-V 4.7: мультимодальная модель на 35 миллиардов параметров в 3 ГБ памяти смартфонаКратко · дайджест за 19 октября
Кратко≈ 2 мин

MiniCPM-V 4.7: мультимодальная модель на 35 миллиардов параметров в 3 ГБ памяти смартфона

Запустить тяжелую мультимодальную модель на 35 миллиардов параметров прямо на обычном смартфоне, да ещё и так, чтобы она поместилась всего в 3 ГБ оперативной памяти? Звучит как фантастика, но именно такой инженерный трюк провернула команда OpenBMB в релизе MiniCPM-V 4.7.

Секрет кроется в архитектуре Mixture of Experts (MoE) 35B-A3B: из огромного массива весов на каждом токене активируются лишь 3 миллиарда параметров. Разработчики внедрили алгоритм упреждающей подгрузки (Predictive Expert Paging). Веса спящих экспертов хранятся в скоростном накопителе (UFS 4.0 или NVMe) и за микросекунды загружаются в RAM только в момент вызова. Вместе с квантованием INT4 это позволяет модели спокойно жить в памяти потребительского телефона.

Вот пример базового инференса на Python:

import torch
from PIL import Image
from transformers import AutoModel, AutoTokenizer

model_path = "openbmb/MiniCPM-V-4_7-int4"
model = AutoModel.from_pretrained(
    model_path,
    trust_remote_code=True,
    torch_dtype=torch.float16,
    low_cpu_mem_usage=True
).eval()

tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
image = Image.open("document_sample.jpg").convert("RGB")
msgs = [{"role": "user", "content": [image, "Распознай рукописную таблицу в Markdown."]}]

res = model.chat(image=None, msgs=msgs, tokenizer=tokenizer, sampling=True, temperature=0.3)
print("Результат:\n", res)

А вот команда запуска оптимизированного профиля через CLI-рантайм MLC-LLM:

# Компиляция и запуск MiniCPM-V-4.7 с ограничением RAM до 3GB
mlc_llm run MiniCPM-V-4_7-int4-mobile \
  --device "metal" \
  --max-memory-mb 3072 \
  --enable-expert-paging true \
  --flash-storage-cache "/tmp/moe_cache"

Как подчеркивает Julian Goldie SEO, на чипах уровня Apple A18 и Snapdragon 8 Gen 3/4 модель выдает 15–20 токенов в секунду, уверенно разбирая таблицы и рукописные записи без отправки единого байта в облако.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2