Смерть монолитных LLM в классификации: как негенеративная модель Typesafe Jev принимает решения за 200 мс и экономит тысячи долларов на токенах

На протяжении трех лет корпоративная разработка находилась под гипнозом больших языковых моделей (LLM). Громоздкие системы уровня GPT-4 привлекались к любой задаче, где требовалось проявление интеллекта. В результате сложилась неэффективная архитектурная практика: многомиллиардные нейросети, обученные генерировать рассуждения и сложный код, стали использовать в роли примитивных диспетчеров. Им поручали сортировку почты, разметку обращений в поддержку, скоринг заявок с форм и проверку на спам.

Подобный подход завел команды в технологический тупик. Архитектура авторегрессионного декодирования — пошагового предсказания текста токен за токеном, лежащего в основе классических LLM — фундаментально не приспособлена для быстрой дискретной классификации. Каждый вызов универсальной модели оборачивается паразитной задержкой в 2–4 секунды, постоянным риском сбоев в структуре JSON и колоссальными счетами за токены.

Появление специализированной модели принятия решений Jev от стартапа TypeSafe AI знаменует переход индустрии к разделению труда. Модель принципиально не способна вести диалог, однако возвращает строго типизированные решения за 200 миллисекунд по цене в доли цента. Отделение этапа принятия решений от этапа генерации контента становится ключевым сдвигом в корпоративном ИИ.

Анатомия расточительности: почему авторегрессия мешает классификации

Чтобы понять причину задержек, достаточно взглянуть на механику генеративных моделей. Когда системе отправляется запрос присвоить обращению категорию из пяти вариантов и вернуть результат в JSON, запускается полный цикл генерации текста. Модель токен за токеном формулирует скобки, кавычки, служебные ключи и закрывающие символы.

В этом процессе заложены три критические проблемы:

1. Высокая задержка (Latency): Даже облегченные версии моделей (GPT-4o-mini или Claude Haiku) требуют от 1,5 до 3 секунд на формирование ответа. Для фоновой обработки редких писем это допустимо, но в потоковой сортировке сотен тысяч событий задержка парализует логику.
2. Паразитный расход токенов: Вместо компактного бита или байта информации система расходует десятки токенов на синтаксическую обертку JSON и служебные токены внимания.
3. Хрупкость валидации схемы: Любая генеративная модель сохраняет вероятностную природу вывода. Всегда остается риск пропустить запятую или добавить вводное слово, сломав парсер.

Модели решений (Decision Models), представителем которых выступает Jev, работают иначе. Это узкоспециализированные нейросетевые архитектуры, оптимизированные для сопоставления входного контекста со схемой вопросов и вариантов выбора. Они не генерируют текст, а напрямую вычисляют распределение вероятностей по фиксированным классам.

Механика Jev: строгие типы и детерминированный вывод

Концепция TypeSafe AI опирается на принцип модели «системы номер один» (System One) — быстрой реакции, не требующей долгого рассуждения. В интерфейсе Jev взаимодействие сведено к лаконичному контракту: на вход передается целевой объект (текст обращения или данные формы) и схема ожидаемых вопросов с классами ответов.

На официальном эндпоинте системы вызов сводится к структурированному POST-запросу, где разработчик определяет состояние (state) и перечень вопросов (questions). Модель поддерживает три базовых режима:

• Choice (Дискретный выбор): Сопоставление объекта с фиксированным перечнем именованных категорий с расчетом вероятностей;
• Score (Числовая оценка): Оценка соответствия критерию по шкале от 0.0 до 1.0;
• Null (Безопасный отказ): Явный возврат пустого значения, если контекст не содержит данных для уверенного ответа, что исключает принудительные галлюцинации.

На выходе программа получает не текстовую строку, а валидный типизированный объект. Это позволяет использовать результат напрямую в операторах ветвления кода без дополнительных проверок.

Экономика микросекундных решений: разбор бенчмарков

Практическая выгода специализированных классификаторов видна на реальных тестах. В демонстрации возможностей Jev массив из 1 700 входящих писем поддержки был параллельно оценен по категориям, уровню срочности, спаму и необходимости ответа. Обработка пакета, включившего 4,2 млн входных и 500 тыс. выходных токенов, обошлась всего в 18 центов ($0.18). При использовании универсальных LLM аналогичный прогон потребовал бы порядка $12–$25 из-за накладных расходов генерации.

Типичная задержка Jev при вызове через API составляет около 180–220 миллисекунд. Это на порядок быстрее времени отклика большинства генеративных моделей. В тестах браузерных агентов с фреймворком Browser Use фильтрация и выбор авиабилета из массива вариантов завершались за 7,1 секунды, тогда как передача страницы в контекст тяжелой LLM приводила к тайм-аутам соединения.

Двухконтурный конвейер: паттерн Model Router на практике

Устойчивая архитектура строится на создании двухконтурного конвейера, где классификатор реализует паттерн Model Router (маршрутизатор моделей):

1. Детерминированные правила: Входящий объект проверяется регулярными выражениями на очевидный спам и длину;
2. Быстрый классификатор (Jev): Модель оценивает интент и сложность запроса за 200 миллисекунд;
3. Маршрутизация по порогам уверенности:
   • При высокой уверенности (>0.92) обращение автоматически направляется в целевую очередь;
   • При пограничных условиях (уверенность 0.60–0.90) управление передается тяжелой генеративной LLM;
   • При низкой уверенности (<0.60) или возврате null задача немедленно эскалируется человеку;
4. Генеративный синтез: Тяжелая модель привлекается только к тем 15–20% запросов, где действительно требуются развернутый ответ и эмпатия.

Подобный каскад сокращает обращения к дорогостоящим моделям в разы, снижая стоимость инфраструктуры без потери в качестве сервиса.

Границы применимости и реальные риски

Идея полностью отказаться от генеративных моделей в пользу классификаторов ошибочна. В тестах по оценке рыночных активов (выбор «покупать, держать или продавать» для криптовалют) Jev показал слабые результаты. Классификатор не обладает актуальной картиной мира и не выстраивает длинные логические цепочки. Любая попытка переложить на модель решений глубокий контекстный анализ ведет к системным ошибкам.

При интеграции классификаторов инженеры обязаны учитывать следующие ограничения:

• Калибровка вероятностей: Возвращаемые оценки нельзя считать математической вероятностью без тестов на собственном отложенном датасете (holdout). Показатель 0.85 в специфическом домене может означать высокую неопределенность;
• Закрытость сервиса: Сейчас Jev доступен через Vercel AI Gateway и лист ожидания прямого API. Разработчики не имеют доступа к весам модели и размеру контекстного окна;
• Критические действия: Модели решений нельзя подключать к финансовым транзакциям или изменению баз данных без явного подтверждения оператором.

Передача задач маршрутизации и классификации быстрым детерминированным движкам вроде Jev — необходимый шаг к созданию надежных и масштабируемых ИИ-платформ.