Большие языковые модели уверенно пишут микросервисы с нуля, но стоит доверить автономному ИИ-агенту расследование аварии в продакшен-кластере Kubernetes, как его главная сила оборачивается беспомощностью. Чем свободнее нейросеть рассуждает вслух и сама придумывает команды для терминала, тем дольше лежит сервис и тем выше риск случайно добить живые узлы. И наоборот: если лишить модель права генерировать связный текст и команды оболочки, поиск первопричины сбоя внезапно ускоряется в разы.
Когда я открыл отчет исследователей из Университета Иллинойса — Имина Су, Саада Мохаммада Рафида Пиала, Джексона Кларка и Тяньиня Сюя — в блоге SREGym, меня зацепила именно эта инженерная прямота. Авторы убрали генеративных LLM-агентов из контура расследования, заменив их связкой из детерминированного сборщика телеметрии и компактной классификационной модели. Разберемся, почему автономные агенты вязнут в логах и как устроен конвейер, ставящий диагноз за полтора десятка секунд.
Почему автономные генеративные агенты буксуют на живых авариях в кластере
Во время сбоя в распределенном приложении дежурному инженеру дорога каждая минута. Кажется заманчивым подключить к кластеру автономного агента с доступом к kubectl, но свободный поиск в исполнении больших моделей упирается сразу в три барьера.
Первый барьер — информационный шум и переполнение контекста. Кластер Kubernetes ежесекундно порождает тысячи строк логов, событий и многостраничных YAML-манифестов. Для языковой модели такая выгрузка выглядит так, будто тебе вместо одной квитанции с опечаткой вывалили на стол содержимое всех архивных шкафов за квартал. Сырая телеметрия моментально забивает контекстное окно, а каждая итерация чтения логов стоит до нескольких долларов за токены.
Вторая проблема — задержка на цепочках рассуждений (Chain-of-Thought). Пока агент формулирует гипотезу, запрашивает статус пода, читает вывод и проверяет соседний сервис, уходит от 2 до 10 минут. Для фонового рефакторинга пятиминутное ожидание терпимо, но при простое продакшена это непозволительная роскошь. Третья угроза — галлюцинации в консоли: проверяя догадку, агент способен выполнить команду kubectl, которая перезапустит здоровый сервис или удалит том PVC.
Поэтому авторы разделили задачу так, как действует опытный SRE-инженер: сначала жесткий алгоритм собирает стандартный срез метрик и конфигураций, а затем модель лишь выбирает виновника из списка конкретных гипотез.
Программный коллектор SREGym: как собрать улики по 27 сервисам без участия нейросети
Посмотрим, как эта схема работает на кейсе из набора SREGym-Lite — сценарии mutating_webhook_resource_limits_social_network в приложении social-network. Симптом выглядит тревожно: поды сервиса deployment/nginx-thrift циклически падают от нехватки памяти со статусом OOMKilled и уходят в перезагрузку.
Если ты заглянешь в шаблон развертывания Deployment этого сервиса, то увидишь достаточный лимит памяти — 256Mi. Однако в живом поде лимит урезан в шестнадцать раз, до 16Mi. Настройки контейнера на лету переписывает изменяющий вебхук допуска (MutatingAdmissionWebhook). Задачу усложняет масштаб: в social-network работают 27 сервисов Deployment, а в кластере действуют сразу 5 разных вебхуков, поэтому простой поиск по слову webhook не укажет на причину.
В пайплайне SREGym первичную разведку выполняет программный коллектор (Programmatic Collector). Это обычный код без участия нейросетей, который опрашивает Kubernetes API: читает объекты, события kubectl get events, свежие логи упавших подов и метрики ресурсов. О том, как фильтрация сигналов спасает дежурных от лавины шума, мы рассказывали в материале про оптимизацию мониторинга и правил алертов в Kubernetes.
Коллектор группирует данные по всем 27 компонентам и программно сравнивает шаблон с живым подом. Скрипт сам вычисляет расхождение (256Mi против 16Mi у nginx-thrift) и находит подходящее правило gatekeeper-mutating-webhook-configuration, формируя сжатую карточку сигналов сбоя.
По-моему, эта деталь со сверкой двух цифр лимита отлично показывает базовый инженерный принцип: все, что проверяется алгоритмически — дифф шаблона и пода, подсчет рестартов, сопоставление селекторов, — обязан делать детерминированный скрипт до первого вызова ИИ.
Диагностика как тест с вариантами ответа: как модель Jev находит виновника по карточкам улик
Когда карточки готовы, подключается компактная модель jev-1.13.0 от TypeSafe. Ранее мы разбирали архитектуру негенеративной модели Jev и метода калибровки вероятностей: она не генерирует произвольный текст, а лишь оценивает предложенные варианты ответа по принципу теста со множественным выбором (multiple-choice).
Расследование идет в два шага. Сначала Jev получает краткие сводки по сервисам. В карточке deployment/nginx-thrift указаны три сигнала: падение по OOMKilled, лимит живого пода 16Mi при 256Mi в шаблоне и совпадение с gatekeeper-mutating-webhook-configuration. Модель отвечает на два закрытых вопроса:
- Какой компонент является вероятным источником сбоя? Выбран
deployment/nginx-thrift. - Какой тип объекта содержит ошибку? Выбран
admission_webhook.
Затем коллектор собирает досье по nginx-thrift из 26 пронумерованных улик (E1–E26). Под номером E6 записан факт OOMKilled, а под номером E10 — расхождение лимитов 16Mi против 256Mi и привязка к вебхуку. Отвечая на уточняющие вопросы, Jev определяет роль компонента как первопричину (origin вместо косвенной жертвы victim), выбирает категорию admission_or_namespace_policy и указывает на ключевую улику E10. Финальный отчет о вине MutatingWebhookConfiguration пайплайн тоже собирает программно по шаблону, безошибочно пройдя все пять тестовых прогонов.
Цена, скорость и слепые зоны: честный разбор 105 запусков SREGym-Lite
Исследователи протестировали конвейер на 21 сценарии сентябрьской когорты SREGym-Lite по пять попыток на каждый (105 диагнозов). Ответы оценивала модель-судья gpt-6-astra по рубрике из 9 вопросов с порогом прохождения 0.70:
| Показатель (21 сценарий, 105 прогонов) | Результат пайплайна на базе Jev 1.13.0 |
|---|---|
| Успешные диагнозы (оценка ≥ 0.70) | 80 из 105 (76,2%) |
| Стабильность по сценариям | 16 из 21 решены 5/5 раз (5 из 21 — 0/5 раз) |
| Медианное время полной диагностики | 14,6 секунды (задержка Jev API — 0,53 с) |
| Запросы и входные токены | 252 вызова (2,4 на инцидент), 3,48 млн токенов |
| Общая стоимость по прайсу TypeSafe | $0,15 за 105 прогонов (~$0,0014 за инцидент) |
Меня в этой таблице больше всего зацепило сочетание копеечной цены и повторяемости. Уступив тяжелому агенту GPT-5.6 Sol всего полтора процента точности (76,2% против 77,8%), пайплайн с Jev отработал примерно в 7 раз быстрее и обошелся в 200 раз дешевле, а в 18 из 21 задачи все пять запусков получили одинаковый балл.
Чем мы платим за отказ от свободного рассуждения? Разбор пяти неудачных сценариев вскрыл два четких ограничения:
- Соблазн очевидной улики. В сценарии
edge_request_filter_cpu_saturation(Astronomy Shop) запросы к WAF вызывали тяжелое регулярное выражение^([a-zA-Z]+)*$вfrontend-proxy(уликаE7), перегружая процессор. Но коллектор параллельно зафиксировал снижение лимита CPU до100m(уликаE8). Во всех пяти попытках Jev верно нашелfrontend-proxy, но списал проблему на лимитE8вместо регулярки, набрав0.67балла при пороге0.70. - Слепота к межсервисным петлям. В сценарии
search_rate_retry_collapse_hotel_reservation(Hotel Reservation) всплеск запросов к сервисуsearchпереполнил очередь сервисаrate. Из-за таймаутовsearchначал слать повторные запросы, заперевrateна потолке в 20 QPS даже после спада нагрузки. Коллектор не выгрузил метрики глубины очереди и настройки ретраев, а вопросник требовал выбрать ровно один сервис — в итоге все пять попыток обвинили лимитrate, упустив каскадную связь двух компонентов.
Строй автоматизацию дежурств в два эшелона: сначала запускай детерминированный скрипт, собирающий диффы манифестов, статусы OOMKilled и события вебхуков, и отдавай эту выжимку быстрому классификатору. А тяжелых генеративных агентов подключай только тогда, когда быстрый контур не нашел однозначной улики внутри одного сервиса.
Опыт SREGym показывает, куда движется инфраструктурная автоматизация: вместо одного медленного генеративного агента индустрия переходит к связке быстрой «Системы 1» и вдумчивой «Системы 2», что перекликается с выходом открытых моделей CLM и Jev для скоростной верификации шагов агентов. Авторы уже расширяют коллектор трассировками между сервисами и планируют подключать легкие модели вроде GPT-6 Luna для перевода многокомпонентной телеметрии в сжатые формулировки для Jev. В такой архитектуре три четверти типовых сбоев будут закрываться за 15 секунд и доли цента, оставляя дорогим рассуждающим моделям только запутанные межсервисные каскады.




