Сверхбыстрый локальный ИИ: релизы моделей LFM 2.5 и Maple AI 20BКратко · дайджест за 6 августа
Кратко≈ 1 мин

Сверхбыстрый локальный ИИ: релизы моделей LFM 2.5 и Maple AI 20B

Перенос автономной работы ИИ-агентов на устройства пользователей требует кардинального повышения скорости генерации при сохранении низкого потребления видеопамяти. Публикация сведений о компактных открытых моделях LFM 2.5 (2.6B) и Maple AI (20B) демонстрирует развитие тренда на локальный инференс без постоянного обращения к облачным API.

Ключевые особенности анонсированных архитектур:

  • Троичные веса (Ternary Weights). Модель Maple AI 20B использует оптимизацию весов до значений -1, 0 и +1. Это снижает объем требуемой памяти и позволяет выполнять базовые операции со скоростью до 5 раз выше традиционных 16-битных моделей.
  • Сверхбыстрый отклик LFM 2.5. Архитектура LFM объемом 2,6 млрд параметров спроектирована под решение задач фонового парсинга и маршрутизации сообщений непосредственно на пользовательских ноутбуках.
  • Автономия от сети. Локальные модели гарантируют полную приватность обрабатываемых данных и работоспособность инструментов даже при отсутствии интернет-соединения.

Параметры Maple AI и LFM 2.5 опираются на заявления разработчиков и требуют проверки документацией после релиза весов.

Локальные модели высокой скорости становятся оптимальным решением для простых задач в составе агентных операционных систем, оставляя облачным гигантам только наиболее сложные архитектурные рассуждения.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2