Перенос автономной работы ИИ-агентов на устройства пользователей требует кардинального повышения скорости генерации при сохранении низкого потребления видеопамяти. Публикация сведений о компактных открытых моделях LFM 2.5 (2.6B) и Maple AI (20B) демонстрирует развитие тренда на локальный инференс без постоянного обращения к облачным API.
Ключевые особенности анонсированных архитектур:
- Троичные веса (Ternary Weights). Модель Maple AI 20B использует оптимизацию весов до значений -1, 0 и +1. Это снижает объем требуемой памяти и позволяет выполнять базовые операции со скоростью до 5 раз выше традиционных 16-битных моделей.
- Сверхбыстрый отклик LFM 2.5. Архитектура LFM объемом 2,6 млрд параметров спроектирована под решение задач фонового парсинга и маршрутизации сообщений непосредственно на пользовательских ноутбуках.
- Автономия от сети. Локальные модели гарантируют полную приватность обрабатываемых данных и работоспособность инструментов даже при отсутствии интернет-соединения.
Параметры Maple AI и LFM 2.5 опираются на заявления разработчиков и требуют проверки документацией после релиза весов.
Локальные модели высокой скорости становятся оптимальным решением для простых задач в составе агентных операционных систем, оставляя облачным гигантам только наиболее сложные архитектурные рассуждения.
