WebLLM: аппаратное ускорение нейросетей в браузере через WebGPU без участия сервераКратко · дайджест за 19 сентября
Кратко≈ 1 мин

WebLLM: аппаратное ускорение нейросетей в браузере через WebGPU без участия сервера

Развертывание генеративных нейросетей традиционно привязывает приложение к серверам с GPU-кластерами. Открытый движок WebLLM (@mlc-ai/web-llm) от сообщества MLC-AI переносит инференс современных языковых моделей (семейств Llama, Phi, Gemma, Mistral и Qwen) напрямую во вкладку браузера, полностью исключая отправку пользовательских данных на удаленный бэкенд.

Инструмент задействует аппаратное ускорение видеокарты через стандарт WebGPU и компиляторный рантайм TVMjs. Для предотвращения зависания интерфейса при генерации токенов WebLLM поддерживает вынос вычислений в фоновые потоки Web Workers и Service Workers. Разработчики получают интерфейс, совместимый с OpenAI SDK (chat.completions.create со стримингом и JSON mode), а веса квантованных моделей сохраняются в браузере через Cache API, OPFS или IndexedDB, исключая повторное скачивание файлов.

Движок открывает путь к созданию автономных локальных ассистентов и расширений с нулевой стоимостью облачной инфраструктуры, требуя взамен совместимый браузер и достаточный объем видеопамяти.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2