Mercury 2.5 от Inception Labs: 1117 токенов в секунду на базе параллельной диффузии без авторегрессииКратко · дайджест за 13 сентября
Кратко≈ 1 мин

Mercury 2.5 от Inception Labs: 1117 токенов в секунду на базе параллельной диффузии без авторегрессии

Компания Inception Labs выпустила модель Mercury 2.5 на базе диффузионной архитектуры вместо классического последовательного авторегрессионного декодера. Официальные спецификации заявляют скорость до 1107 токенов в секунду на ускорителях Nvidia (в тестах зафиксировано до 1117 токенов/с), контекст 260K токенов и параллельный вызов инструментов с валидацией схемы JSON.

В традиционных сетях генерация каждого токена жестко зависит от предыдущего, создавая задержку в интерактивных сценариях. Диффузионный подход генерирует и уточняет массив позиций параллельно. Это снижает задержку в циклах автономных агентов, критичных к скорости получения структурированных данных.

Стоимость составляет 0,20 доллара за миллион входных токенов и 0,75 доллара за миллион выходных. Разработчики позиционируют качество Mercury 2.5 на уровне экономически оптимизированных моделей, а не тяжелых флагманов. При интеграции важно оценивать не только пиковую скорость генерации, но и полный цикл: время до первого токена, точность соблюдения схемы JSON и стабильность инструментов под реальной нагрузкой.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2