Метрики работы против метрик ресурсов: почему нельзя будить дежурных из-за загрузки CPU и на что настраивать алертыСтатья · дайджест за 16 ноября
Кинематографичный натюрморт рабочего места SRE-инженера с экраном мониторинга и смартфоном дежурного.
Статья4 раздела≈ 6 мин

Метрики работы против метрик ресурсов: почему нельзя будить дежурных из-за загрузки CPU и на что настраивать алерты

В инженерных командах живёт стойкое убеждение: чем плотнее обложить серверы датчиками процессора, памяти и диска, тем надёжнее продакшен защищён от внезапных падений. Кажется, что если мониторинг следит за каждым вздохом операционной системы, ни одна авария не проскочит мимо дежурного. Но на практике телефон инженера разрывается всю ночь, а о том, что клиенты не могут войти в кабинет или оплатить заказ, команда узнаёт утром из жалоб в техподдержке.

Меня в статье Брента Чепмена, который выстраивал управление инцидентами в Google и Slack, зацепил точный диагноз этой проблемы: мы будим людей из-за того, как «чувствуют себя» машины, вместо того чтобы проверять, работает ли продукт для человека. Почему же мониторинг фиксирует десятки инфраструктурных сбоев, а настоящую аварию первыми замечают пользователи?

Ловушка доступных датчиков и цена ночной усталости дежурных

Всё начинается с простоты сбора данных. При запуске мониторинга метрики железа достаются даром из коробки: достаточно опросить операционную систему, и она сразу выдаст графики загрузки CPU, памяти и сети. А чтобы измерить скорость загрузки страницы глазами клиента, нужны усилия на стороне фронтенда — приходится учитывать разброс браузеров, капризы мобильных сетей, кэширование и разрыв между отправкой ответа сервером и реальной отрисовкой интерфейса.

Соблазн понятен, но именно здесь команды попадают в ловушку. Серверные датчики говорят только о состоянии самого железа. Когда их подключают к ночному пейджеру, поток ложных срабатываний быстро притупляет внимание. Чепмен приводит показательный сценарий: дежурного будят 10 раз за ночь, и 9 из этих вызовов оказываются короткими всплесками CPU, которые проходят сами, или напоминанием о диске, который заполнится лишь через неделю. Так рождается синдром усталости от оповещений (alert fatigue). И когда под утро приходит десятый вызов — обвал успешных авторизаций до 50%, — измотанный инженер по инерции считает его очередным шумом.

Чтобы вырваться из этого круга, в Google ввели еженедельный разбор вызовов (ops review). На встрече команда просматривает каждый сигнал, разбудивший дежурного за 7 дней, и проверяет, требовал ли он немедленных действий. Если алерт оказался шумом, порог корректируют, переводят сигнал в плановый тикет или удаляют. Отсюда следует и простое мерило здорового дежурства: ночных звонков должно быть настолько мало, чтобы весь недельный список разбирался за часть одного совещания.

Метрики работы против метрик ресурсов: от самочувствия железа к клиентскому опыту

Какие же сигналы тогда достойны ночного звонка? В классическом руководстве по мониторингу (Monitoring 101), на которое опирается Чепмен, проведена чёткая граница между метриками работы (work metrics) и метриками ресурсов (resource metrics). Первые оценивают полезный выход системы для людей: успешность запросов, скорость ответа и выполнение фоновых задач по расписанию. Вторые отражают лишь внутреннее состояние компонентов.

Сравним два состояния платёжного сервиса в продакшене. В первом случае сервер работает под загрузкой CPU в 95%, но стабильно проводит каждый платёж за 80 мс без ошибок. Это не авария, а норма: клиенты довольны, а оплаченные в облаке мощности используются с полной отдачей. Во втором случае загрузка процессора падает до спокойных 5% из-за застрявшего пула соединений к базе, а половина покупателей получает ошибку 500 Internal Server Error. Для датчика CPU всё прекрасно, хотя бизнес прямо сейчас теряет деньги.

Попытки спасти процессорные алерты нижними порогами или расписаниями по времени суток превращаются в бесконечную игру в «убей крота». Надёжнее опираться на то, что в руководстве Google SRE называют оповещением по симптомам и четырьмя золотыми сигналами: задержкой (latency), трафиком (traffic), ошибками (errors) и насыщением (saturation), дополняя их доменными метриками продукта. Сравни слепое уведомление «CPU на сервере app-worker-42 превысил 90%», где дежурный тратит 10–15 минут просто на проверку влияния на людей, с предметными сигналами:

  • доля успешных входов в систему упала ниже 90%, указывая на сбой авторизации;
  • загрузка главной страницы превышает 10 секунд на протяжении 5 минут подряд;
  • учётные записи массово блокируются из-за повторных ошибок оплаты;
  • доля сбоев при обработке транзакций превысила 2%;
  • качество поисковой выдачи (процент релевантных ответов) опустилось ниже порога.

Любой из этих пунктов с первой секунды объясняет дежурному, что именно сломалось у пользователей. Команда с тремя честными клиентскими метриками защищена лучше, чем отдел с сотней графиков железа. Схожая ошибка мешает и при масштабировании кластеров: почему реакция на загрузку ядер опаздывает на пиках трафика, мы разбирали на примере метрики MTSS и холодных стартов.

Срочность решает всё: почему датчикам ресурсов место в тикетах и на дашбордах

Ты справедливо спросишь: разве можно не следить за дисками и памятью, пока сервер не упадёт? Игнорировать их нельзя, но важно разделить само оповещение (alerting) и экстренный вызов человека (paging). Главный критерий здесь — время до отказа.

Если по тренду диск заполнится через неделю, клиенты пока не страдают, а чистить логи в 3 часа ночи бессмысленно. Будить инженера ради создания утренней задачи вредно: при горизонте свыше 24 часов система должна сама открывать тикет в рабочую очередь, как и для трендов памяти или истекающих сертификатов. Вызов по пейджеру оправдан лишь тогда, когда диск исчерпается менее чем через 1 час и падение неизбежно.

Принцип скорой помощи в мониторинге

У врачей неотложки есть правило: «Лечите пациента, а не монитор». Нулевой пульс на экране может означать как остановку сердца, так и отвалившийся провод датчика. В инфраструктуре скачок CPU часто оказывается артефактом перестановки контейнеров, а рост занятой памяти — работой файлового кэша, поэтому метрики ресурсов нужны на дашбордах для диагностики известной проблемы, а не для поиска аварий.

О том, как планировщик ядер порой искажает картину загрузки процессора, можно прочитать в разборе механики CPU limits и троттлинга.

Внешний радар для слепых зон: как статус-страница в Slack ловила скрытые аварии

Даже выверенные метрики работы оставляют слепые зоны — новые сценарии отказов, которые команда ещё не успела покрыть проверками. В Slack Брент Чепмен и его коллеги нашли простой независимый индикатор таких сбоев: посещаемость публичной страницы status.slack.com.

Когда у людей перестают уходить сообщения, они открывают статус-страницу, чтобы понять, на чьей стороне проблема. Резкий всплеск просмотров означает, что сотни пользователей одновременно столкнулись со сбоем. Для инженеров Slack этот внешний сигнал служил надёжным радаром: даже при зелёных внутренних дашбордах пора немедленно искать скрытую поломку. Дополни такой датчик быстрой эскалацией от техподдержки к дежурным, а на каждом разборе инцидента, замеченного клиентами, выясняй, какой метрики работы не хватило автоматике.

В конечном счёте здоровый мониторинг сводится к одному правилу: будить инженера ночью имеет право только прямая боль пользователя или неминуемый в ближайший час отказ, а состояние железа должно оставаться в дневных тикетах и на экранах диагностики.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3