Google выпустила открытую 26B-модель DiffusionGemma на базе диффузионного подходаКратко · дайджест за 11 июня
Кратко≈ 1 мин

Google выпустила открытую 26B-модель DiffusionGemma на базе диффузионного подхода

Компания Google представила открытую модель DiffusionGemma-26B (лицензия Apache 2.0), заменяющую классическую последовательную генерацию текста (слева направо) диффузионным алгоритмом. Вместо написания токенов по одному, модель начинает с полностью замаскированного шаблона строки и за несколько шагов пошагово убирает «шум», генерируя текст параллельно. Этот подход позволяет ИИ исправлять допущенные в начале строки ошибки прямо в процессе работы, что повышает качество генерации кода и математических формул.

Модель использует архитектуру Mixture-of-Experts (смесь экспертов) на 26 млрд параметров, но при запуске активны только 3,8 млрд. В квантованном виде она способна работать локально на видеокартах с 18 ГБ VRAM. DiffusionGemma демонстрирует высокую скорость генерации: тесты зафиксировали выдачу от 500 до 850 токенов в секунду. Несмотря на нехватку независимых тестов качества её ответов, модель открывает новое направление для локальных экспериментов.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 3 голоса.
Источники · 5