Если ты следишь за миром локальных нейросетей, то привык к жесткому правилу: хочешь запускать серьезную модель компьютерного зрения — готовь мощную видеокарту с 16–24 гигабайтами быстрой видеопамяти либо мирись с черепашьей скоростью. Мы уже видели попытки приручить тяжелые модели, разбирая, как квантование Saluki 27B до 8 ГБ открывает путь к автономным инструментам, а также исследовали гибрид Attention и Mamba-2 в Nvidia Nemotron 3 Nano.
Но то, что сделало сообщество OpenBMB вместе с лабораторией THUNLP Университета Цинхуа и компанией ModelBest в свежем релизе MiniCPM-V 4.7, выглядит как настоящий инженерный фокус: мультимодальную модель с 35 миллиардами параметров научили работать прямо на смартфонах с аппетитом всего около 3 ГБ оперативной памяти.
Архитектурная магия: упреждающая подкачка экспертов (LES)
Как вообще физически возможно уместить 35 миллиардов весов в три гигабайта RAM?
Секрет кроется в умном разделении труда и технологии Look-Ahead Expert Scheduling (LES):
- Разреженная архитектура 35B-A3B: Из 35 миллиардов параметров структуры Mixture-of-Experts на обработку одного токена активируются всего 3 миллиарда.
- Упреждающее чтение с накопителя: Смартфону не нужно держать все веса в оперативной памяти одновременно. Полный массив модели лежит во флэш-памяти накопителя. Пока текущий слой нейросети выполняет вычисления, алгоритм LES анализирует активации и с точностью предсказывает, какие именно эксперты понадобятся на следующем слое, заблаговременно подгружая их в RAM. Это работает в 5 раз быстрее стандартного системного свопа (page swapping) и не приводит к потере точности.
- Спекулятивное сэмплирование DSpark: Скорость генерации на чипах вроде Apple A18 Pro (iPhone 17 Pro Max) превышает 13 токенов в секунду, делая диалог плавным и комфортным.
Модель без запинки анализирует фотографии, многостраничные PDF-документы (OCR) и даже видеопотоки. Для эффективного сжатия визуальных данных используются адаптивные режимы токенизации: 16-кратное сжатие для общего плана и 4-кратное — для мелких деталей интерфейса или текста.
Не путай оперативную память с емкостью постоянного накопителя: 3 ГБ — это именно динамический след в RAM во время работы. При этом полный файл квантованных весов модели на диске смартфона занимает от 10 до 20 гигабайт в зависимости от формата (GGUF, AWQ, INT4).
Почему это важно для индустрии
Релиз распространяется под абсолютно свободной коммерческой лицензией Apache 2.0. Доступна как флагманская MoE-версия 35B-A3B, так и ультралегковесный вариант на 1 миллиард параметров. «Из коробки» поддерживаются чипы Apple, Qualcomm Snapdragon, MediaTek, Intel, AMD и ARM, а также популярные локальные движки Ollama и llama.cpp.
Возможность локально анализировать личные документы, чеки и видеозаписи прямо на телефоне без отправки чувствительных данных на чужие серверы — это именно то, ради чего развивается on-device искусственный интеллект.
