Диагностика сбоев в Kubernetes без LLM-агентов: опыт пайплайна SREGym на модели JevСтатья · дайджест за 14 ноября
Бумажный коллаж диагностического конвейера инцидентов с механическим сортировочным желобом и отметкой времени локализации сбоя
Статья4 раздела≈ 7 мин

Диагностика сбоев в Kubernetes без LLM-агентов: опыт пайплайна SREGym на модели Jev

Большие языковые модели уверенно пишут микросервисы с нуля, но стоит доверить автономному ИИ-агенту расследование аварии в продакшен-кластере Kubernetes, как его главная сила оборачивается беспомощностью. Чем свободнее нейросеть рассуждает вслух и сама придумывает команды для терминала, тем дольше лежит сервис и тем выше риск случайно добить живые узлы. И наоборот: если лишить модель права генерировать связный текст и команды оболочки, поиск первопричины сбоя внезапно ускоряется в разы.

Когда я открыл отчет исследователей из Университета Иллинойса — Имина Су, Саада Мохаммада Рафида Пиала, Джексона Кларка и Тяньиня Сюя — в блоге SREGym, меня зацепила именно эта инженерная прямота. Авторы убрали генеративных LLM-агентов из контура расследования, заменив их связкой из детерминированного сборщика телеметрии и компактной классификационной модели. Разберемся, почему автономные агенты вязнут в логах и как устроен конвейер, ставящий диагноз за полтора десятка секунд.

Почему автономные генеративные агенты буксуют на живых авариях в кластере

Во время сбоя в распределенном приложении дежурному инженеру дорога каждая минута. Кажется заманчивым подключить к кластеру автономного агента с доступом к kubectl, но свободный поиск в исполнении больших моделей упирается сразу в три барьера.

Первый барьер — информационный шум и переполнение контекста. Кластер Kubernetes ежесекундно порождает тысячи строк логов, событий и многостраничных YAML-манифестов. Для языковой модели такая выгрузка выглядит так, будто тебе вместо одной квитанции с опечаткой вывалили на стол содержимое всех архивных шкафов за квартал. Сырая телеметрия моментально забивает контекстное окно, а каждая итерация чтения логов стоит до нескольких долларов за токены.

Вторая проблема — задержка на цепочках рассуждений (Chain-of-Thought). Пока агент формулирует гипотезу, запрашивает статус пода, читает вывод и проверяет соседний сервис, уходит от 2 до 10 минут. Для фонового рефакторинга пятиминутное ожидание терпимо, но при простое продакшена это непозволительная роскошь. Третья угроза — галлюцинации в консоли: проверяя догадку, агент способен выполнить команду kubectl, которая перезапустит здоровый сервис или удалит том PVC.

Поэтому авторы разделили задачу так, как действует опытный SRE-инженер: сначала жесткий алгоритм собирает стандартный срез метрик и конфигураций, а затем модель лишь выбирает виновника из списка конкретных гипотез.

Программный коллектор SREGym: как собрать улики по 27 сервисам без участия нейросети

Посмотрим, как эта схема работает на кейсе из набора SREGym-Lite — сценарии mutating_webhook_resource_limits_social_network в приложении social-network. Симптом выглядит тревожно: поды сервиса deployment/nginx-thrift циклически падают от нехватки памяти со статусом OOMKilled и уходят в перезагрузку.

Если ты заглянешь в шаблон развертывания Deployment этого сервиса, то увидишь достаточный лимит памяти — 256Mi. Однако в живом поде лимит урезан в шестнадцать раз, до 16Mi. Настройки контейнера на лету переписывает изменяющий вебхук допуска (MutatingAdmissionWebhook). Задачу усложняет масштаб: в social-network работают 27 сервисов Deployment, а в кластере действуют сразу 5 разных вебхуков, поэтому простой поиск по слову webhook не укажет на причину.

В пайплайне SREGym первичную разведку выполняет программный коллектор (Programmatic Collector). Это обычный код без участия нейросетей, который опрашивает Kubernetes API: читает объекты, события kubectl get events, свежие логи упавших подов и метрики ресурсов. О том, как фильтрация сигналов спасает дежурных от лавины шума, мы рассказывали в материале про оптимизацию мониторинга и правил алертов в Kubernetes.

Коллектор группирует данные по всем 27 компонентам и программно сравнивает шаблон с живым подом. Скрипт сам вычисляет расхождение (256Mi против 16Mi у nginx-thrift) и находит подходящее правило gatekeeper-mutating-webhook-configuration, формируя сжатую карточку сигналов сбоя.

По-моему, эта деталь со сверкой двух цифр лимита отлично показывает базовый инженерный принцип: все, что проверяется алгоритмически — дифф шаблона и пода, подсчет рестартов, сопоставление селекторов, — обязан делать детерминированный скрипт до первого вызова ИИ.

Диагностика как тест с вариантами ответа: как модель Jev находит виновника по карточкам улик

Когда карточки готовы, подключается компактная модель jev-1.13.0 от TypeSafe. Ранее мы разбирали архитектуру негенеративной модели Jev и метода калибровки вероятностей: она не генерирует произвольный текст, а лишь оценивает предложенные варианты ответа по принципу теста со множественным выбором (multiple-choice).

Расследование идет в два шага. Сначала Jev получает краткие сводки по сервисам. В карточке deployment/nginx-thrift указаны три сигнала: падение по OOMKilled, лимит живого пода 16Mi при 256Mi в шаблоне и совпадение с gatekeeper-mutating-webhook-configuration. Модель отвечает на два закрытых вопроса:

  1. Какой компонент является вероятным источником сбоя? Выбран deployment/nginx-thrift.
  2. Какой тип объекта содержит ошибку? Выбран admission_webhook.

Затем коллектор собирает досье по nginx-thrift из 26 пронумерованных улик (E1–E26). Под номером E6 записан факт OOMKilled, а под номером E10 — расхождение лимитов 16Mi против 256Mi и привязка к вебхуку. Отвечая на уточняющие вопросы, Jev определяет роль компонента как первопричину (origin вместо косвенной жертвы victim), выбирает категорию admission_or_namespace_policy и указывает на ключевую улику E10. Финальный отчет о вине MutatingWebhookConfiguration пайплайн тоже собирает программно по шаблону, безошибочно пройдя все пять тестовых прогонов.

Цена, скорость и слепые зоны: честный разбор 105 запусков SREGym-Lite

Исследователи протестировали конвейер на 21 сценарии сентябрьской когорты SREGym-Lite по пять попыток на каждый (105 диагнозов). Ответы оценивала модель-судья gpt-6-astra по рубрике из 9 вопросов с порогом прохождения 0.70:

Показатель (21 сценарий, 105 прогонов)Результат пайплайна на базе Jev 1.13.0
Успешные диагнозы (оценка ≥ 0.70)80 из 105 (76,2%)
Стабильность по сценариям16 из 21 решены 5/5 раз (5 из 21 — 0/5 раз)
Медианное время полной диагностики14,6 секунды (задержка Jev API — 0,53 с)
Запросы и входные токены252 вызова (2,4 на инцидент), 3,48 млн токенов
Общая стоимость по прайсу TypeSafe$0,15 за 105 прогонов (~$0,0014 за инцидент)

Меня в этой таблице больше всего зацепило сочетание копеечной цены и повторяемости. Уступив тяжелому агенту GPT-5.6 Sol всего полтора процента точности (76,2% против 77,8%), пайплайн с Jev отработал примерно в 7 раз быстрее и обошелся в 200 раз дешевле, а в 18 из 21 задачи все пять запусков получили одинаковый балл.

Чем мы платим за отказ от свободного рассуждения? Разбор пяти неудачных сценариев вскрыл два четких ограничения:

  • Соблазн очевидной улики. В сценарии edge_request_filter_cpu_saturation (Astronomy Shop) запросы к WAF вызывали тяжелое регулярное выражение ^([a-zA-Z]+)*$ в frontend-proxy (улика E7), перегружая процессор. Но коллектор параллельно зафиксировал снижение лимита CPU до 100m (улика E8). Во всех пяти попытках Jev верно нашел frontend-proxy, но списал проблему на лимит E8 вместо регулярки, набрав 0.67 балла при пороге 0.70.
  • Слепота к межсервисным петлям. В сценарии search_rate_retry_collapse_hotel_reservation (Hotel Reservation) всплеск запросов к сервису search переполнил очередь сервиса rate. Из-за таймаутов search начал слать повторные запросы, заперев rate на потолке в 20 QPS даже после спада нагрузки. Коллектор не выгрузил метрики глубины очереди и настройки ретраев, а вопросник требовал выбрать ровно один сервис — в итоге все пять попыток обвинили лимит rate, упустив каскадную связь двух компонентов.
Как применить этот паттерн в своей инфраструктуре

Строй автоматизацию дежурств в два эшелона: сначала запускай детерминированный скрипт, собирающий диффы манифестов, статусы OOMKilled и события вебхуков, и отдавай эту выжимку быстрому классификатору. А тяжелых генеративных агентов подключай только тогда, когда быстрый контур не нашел однозначной улики внутри одного сервиса.

Опыт SREGym показывает, куда движется инфраструктурная автоматизация: вместо одного медленного генеративного агента индустрия переходит к связке быстрой «Системы 1» и вдумчивой «Системы 2», что перекликается с выходом открытых моделей CLM и Jev для скоростной верификации шагов агентов. Авторы уже расширяют коллектор трассировками между сервисами и планируют подключать легкие модели вроде GPT-6 Luna для перевода многокомпонентной телеметрии в сжатые формулировки для Jev. В такой архитектуре три четверти типовых сбоев будут закрываться за 15 секунд и доли цента, оставляя дорогим рассуждающим моделям только запутанные межсервисные каскады.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2