Решения за 67 миллисекунд: запуск ультрабыстрой модели Celeris-1 Decision

Представь классический конвейер поддержки или маршрутизации лидов: в систему падает входящий запрос клиента, и тебе нужно просто понять, в какой отдел его направить — в биллинг, к техническим инженерам или в общий саппорт. Казалось бы, элементарная задача. Но если ты ставишь на этот этап большую языковую модель (вроде GPT-4o или Claude 3.5 Sonnet), то сталкиваешься с парадоксом: на генерацию двух слов модель тратит от 800 до 2500 миллисекунд.

Пока авторегрессионный гигант неторопливо предсказывает токен за токеном, весь агентный пайплайн замирает. А если таких этапов ветвления несколько, задержка накапливается в секунды. Мы уже разбирали, как диффузионный подход в Celeris 1 заменяет пожетонную генерацию и как строится интеграция моделей решений в персональный ИИ. Сегодня стартап Celeris AI официально представил специализированную модель Celeris-1 Decision, выводящую скорость принятия решений на совершенно иной уровень.

Модель возвращает строго типизированное решение со средней задержкой всего 67 миллисекунд. Чтобы ты почувствовал масштаб: человеческий глаз моргает за 150–400 мс. Модель принимает решение в разы быстрее, чем ты успеешь моргнуть.

Диффузия вместо пожетонного перебора

Как инженерам удалось выжать 67 мс? Секрет в отказе от классической авторегрессии. Обычные LLM генерируют ответ последовательно: первое слово, второе, третье...

Celeris-1 Decision работает на базе неавторегрессионной диффузии (Diffusion-based Language Generation):

1. Модель начинает с тензора случайного шума в скрытом пространстве;
2. За несколько параллельных шагов расшумления она одновременно вычисляет весь вектор решения;
3. На выходе получается не болтливый монолог, а четкая структура одного из трех типов:
   • Null Decision: действие не требуется (пропустить событие);
   • Choice Decision: выбор одного или нескольких классов из переданного списка;
   • Score Decision: непрерывная оценка риска или приоритета от 0.0 до 1.0.

При этом модель обучена минимизировать квадратичную ошибку вероятностных прогнозов — так называемый Brier score. Вместо слепой самоуверенности, свойственной обычным LLM («я на 99% уверена, что это спам»), Celeris выдает математически выверенную калиброванную вероятность. На бенчмарке алгоритмических решений jev-bench модель показала точность 80.0%, превзойдя конкурирующие роутеры при задержке в 10–20 раз ниже.

Практический вызов API и структура ответа

Интеграция с сервисом строится через стандартный REST API. Вот рабочий пример скрипта маршрутизации входящих клиентских тикетов на Python:

import requests
import json
import time

CELERIS_API_URL = "https://api.celeris.ai/v1/decision"
API_KEY = "celeris_live_key_sample"

payload = {
    "model": "celeris-1-decision",
    "context": (
        "Пользователь сообщает: 'При оплате годового тарифа Enterprise картой Visa "
        "деньги списались, но статус подписки в профиле остался Free, ошибка INV-9482.'"
    ),
    "decision_type": "choice",
    "choices": [
        {"id": "billing_urgent", "description": "Сбой транзакции или ошибка биллинга"},
        {"id": "technical_bug", "description": "Техническая ошибка в UI или фронтенде"},
        {"id": "general_inquiry", "description": "Общие вопросы по тарифам и функционалу"}
    ],
    "return_brier_calibration": True
}

start_time = time.perf_counter()
response = requests.post(
    CELERIS_API_URL,
    headers={
        "Authorization": f"Bearer {API_KEY}",
        "Content-Type": "application/json"
    },
    json=payload,
    timeout=2.0
)
latency_ms = (time.perf_counter() - start_time) * 1000

result = response.json()
print(f"Задержка API (Round-Trip): {latency_ms:.1f} мс")
print(json.dumps(result, ensure_ascii=False, indent=2))

Сервер возвращает лаконичный типизированный JSON:

{
  "decision_id": "dec_8f7b2a194c",
  "selected_choice": "billing_urgent",
  "confidence": 0.984,
  "brier_score": 0.016,
  "latency_server_ms": 67.2,
  "routing_metadata": {
    "recommended_queue": "tier_2_finance",
    "auto_escalate": true
  }
}

Где у метода границы

Не пытайся использовать Celeris-1 Decision для написания вежливых ответов клиентам или генерации кода — эта модель принципиально лишена «болтливого» генеративного слоя. Ее стихия — чистая булева логика и классификация.

Кроме того, держи в голове сетевую физику: цифра 67 мс замеряется внутри того же дата-центра (AWS us-east-1). Если твои серверы находятся во Франкфурте или Токио, трансконтинентальная задержка TCP/TLS добавит еще 100–180 мс. Для критичных к задержкам контуров стоит размещать вызывающие сервисы ближе к эндпоинтам провайдера.