Архитектура Liquid AI RIPL: ускорение инференса в 20 раз и ультранизкая задержка для корпоративного поискаКратко · дайджест за 30 октября
Кратко≈ 1 мин

Архитектура Liquid AI RIPL: ускорение инференса в 20 раз и ультранизкая задержка для корпоративного поиска

В корпоративных нагруженных сервисах главным барьером для масштабного внедрения больших языковых моделей остается задержка ответа. Когда пользователь вводит поисковый запрос в крупном интернет-магазине, система обязана вернуть результат за доли секунды, иначе конверсия стремительно падает. Классические Transformer-архитектуры требуют сотен миллисекунд даже на мощных кластерах ускорителей.

Компания Liquid AI представила технологию RIPL (Real-time In-Path Processing Loop), которая решает эту проблему за счет интеграции компактных адаптивных моделей Liquid Neural Networks непосредственно в живой тракт обработки запроса. Вместо отправки данных в тяжелый внешний кластер инференса легковесная модель обрабатывает запрос прямо на пути следования пакетов.

Результаты в реальном продакшене впечатляют:

  • Менее 50 миллисекунд: время формирования полного ответа от старта до финиша, что в 14–28 раз быстрее традиционных альтернативных моделей.
  • Внедрение в Shopify: гигант электронной коммерции уже запустил RIPL для генеративного поиска по каталогам, достигнув задержки менее 20 миллисекунд на боевом потоке запросов.
  • Двукратная компактность: модели обладают вдвое меньшим числом параметров и ускоряют работу в 2–10 раз без малейшей деградации релевантности.

Решение уже доступно корпоративным клиентам на базе GPU-инфраструктуры NVIDIA, открывая путь к мгновенному ИИ-поиску в реальном времени.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 1