Perplexity открыла локальный движок Lily: компиляция под Metal и ускорение инференса на Mac на 35%Кратко · дайджест за 13 сентября
Кратко≈ 1 мин

Perplexity открыла локальный движок Lily: компиляция под Metal и ускорение инференса на Mac на 35%

В инженерном сообществе вызвало резонанс обсуждение проекта Lily — движка локального инференса под Apple Silicon на базе Rust и Metal. Архитектурная идея решения заключается в раздельной оптимизации двух фаз работы модели: предварительной обработки контекста (prefill) и последовательной генерации токенов (decode).

На чипах с объединенной памятью (Unified Memory) эти фазы создают разный профиль нагрузки. Фаза prefill требует пропускной способности при чтении массива данных, тогда как decode упирается в задержки доступа к памяти при вычислении отдельных позиций. Инициаторы проекта заявляют о приросте скорости генерации до 35% на устройствах Mac с 32 ГБ оперативной памяти.

Вместе с тем специалисты призывают к сдержанности: официальный репозиторий, лицензия и открытая методика измерений для Lily пока не опубликованы. Объективная оценка локального инференса требует строгой фиксации формата квантования весов, размера батча и длины контекста. До появления открытого кода проект стоит рассматривать как демонстрацию инженерных техник оптимизации работы с памятью под Metal.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 1