15 сентября 2026 года SRE-инженер Даниил Ромашов (@mwgtd) открыл файл waf.tf и оставил в шапке короткий комментарий: «Один клиент застрял в цикле на ручке токенов, шлёт около 20 запросов в секунду и съедает весь бюджет». С этого началась 16-дневная эпопея настройки лимитов на проде, которую автор подробно разобрал на HackerNoon.
Цепочка простая: запрос на access-токен идёт через Amazon CloudFront в API Gateway, а оттуда — в AWS Lambda. У функции жёсткий потолок reserved concurrency — максимум 30 одновременно работающих копий на регион. Один зациклившийся клиент забивает все 30 слотов, остальные ловят 429 от Lambda, а без токена в приложении не работает ничего. Резать такой трафик нужно на краю — в CloudFront (edge rate limiting), пока лишние запросы не добрались до API Gateway и бэкенда.
Как из недельных логов родилась граница между «своими» и ботами
Наугад цифру не брали. Даниил собрал логи CloudFront за семь дней (8–15 сентября 2026 года) — 8 921 клиентский IP — и посчитал для каждого пик запросов к ручке токенов в пятиминутных окнах.
Главный страх был связан с общим NAT-адресом серверного рендеринга европейского дашборда: за ним сидят все пользователи из Европы, так что инженер ждал огромную цифру. На деле пик оказался неожиданно скромным, а между самым активным обычным клиентом и самым тихим нарушителем в логах открылся чистый зазор.
Пики запросов к ручке токенов за 5 минут по логам CloudFront
Выбранная граница — один запрос в секунду на длинной дистанции — легла ровно посередине разрыва: обычный клиент до неё не дотягивается, а любой нарушитель уверенно пробивает потолок. Самого агрессивного клиента на график даже не выносили, чтобы не сплющить шкалу: он набивал 7 383 запроса за пять минут (до 3 888 за минуту). Лимит и окно вынесли в locals прямо рядом с комментарием из логов.
Два «учебниковых» шага инженер сознательно пропустил. Во-первых, не стал неделю гонять правило в тестовом режиме COUNT (когда WAF только считает срабатывания без блокировки) — сразу выкатил block с 429, положившись на логи. Правда, если в системе нет такого чистого разрыва или за корпоративным NAT сидят тысячи людей, без пары дней в COUNT лучше не рисковать. Во-вторых, не подключал полные логи WAF (aws_wafv2_web_acl_logging_configuration), оставив метрики CloudWatch и выборку запросов (sampled_requests_enabled = true).
Анатомия правила в Terraform и подножка в CloudWatch Alarm
Правило описали в Terraform через aws_wafv2_web_acl со scope = "CLOUDFRONT" — такой Web ACL обязан жить в us-east-1 и цепляться к дистрибуции через web_acl_id.
Внутри работает rate-based правило AWS WAF. Допустимые окна evaluation_window_sec — 60, 120, 300 (по умолчанию) или 600 секунд. Ключ IP берёт реальный адрес, видимый CloudFront, без X-Forwarded-For. Чтобы не считать весь сайт подряд, фильтр scope_down_statement сужает область до GET на путь токена в нижнем регистре и исключает IP-сет QA-раннера; всё остальное идёт через default_action = allow. А дефолтный 403 от WAF подменили через custom_response на 429 без тела — как у перегруженной Lambda.
# Основное правило: режем всех, кроме IP-сета QA-раннера
rule {
name = "rate-limit-token"
priority = 10
action {
block {
# Меняем дефолтный 403 на привычный 429 без тела
custom_response { response_code = 429 }
}
}
statement {
rate_based_statement {
limit = local.waf_token_rate_limit # 300
evaluation_window_sec = local.waf_token_rate_window # 300
aggregate_key_type = "IP"
scope_down_statement {
and_statement {
# uri_path EXACTLY <token path>, LOWERCASE
# method EXACTLY "GET"
# not_statement { ip_set_reference_statement { QA } }
}
}
}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "acl-rate-limit-token"
sampled_requests_enabled = true
}
}
Через 22 минуты после правила добавили алерт в CloudWatch: BlockedRequests в AWS/WAFV2, Sum за 300 секунд, 1 период, порог > 0. Даже один заблокированный запрос шлёт тревогу в SNS, при возврате к нулю алерт снимается через ok_actions, а missing data считается нормой. Главная грабля — в измерении Rule нужен metric_name из visibility_config, а не name правила, иначе алерт молча никогда не сработает.
# Алерт на любую блокировку за 5-минутное окно
resource "aws_cloudwatch_metric_alarm" "waf_token_blocked" {
alarm_name = "waf-token-rate-limit-blocked"
namespace = "AWS/WAFV2"
metric_name = "BlockedRequests"
statistic = "Sum"
period = 300
evaluation_periods = 1
threshold = 0
comparison_operator = "GreaterThanThreshold"
treat_missing_data = "notBreaching"
dimensions = {
WebACL = aws_wafv2_web_acl.prod.name
# Сюда идёт metric_name, а НЕ rule.name!
Rule = "acl-rate-limit-token"
}
}
Выкат в тот день (старт в 14:05) занял два часа. Через 7 секунд после коммита с алертом пришлось править другой репозиторий — добавить sns:Publish для cloudwatch.amazonaws.com с условием aws:SourceAccount в политику SNS. Потом упал CI-план: убрали data-поиск SNS-топика, зашили ARN строкой и выдали CI-пользователю 11 прав wafv2 и 6 прав cloudwatch.
16 дней в бою: падение автотестов, правило-близнец и второй маршрут
24 сентября E2E-тесты (браузерные и Node.js) легли на stage и на проде: все прогоны идут с одного IP QA-раннера, а одна тестовая страница дёргает токены сразу из нескольких web workers.
Вместо слепого вайтлиста Даниил поставил правило-близнец с приоритетом 20: основное правило исключает IP-сет раннера через not_statement, а соседнее считает только этот сет с порогом 3 000 за 5 минут (в 10 раз выше). Счётчики не пересекаются, и даже сломанный раннер не сможет бесконечно долбить прод.
# Правило-близнец: отдельный потолок 3000 для QA-раннера
rule {
name = "rate-limit-token-qa"
priority = 20
action {
block {
custom_response { response_code = 429 }
}
}
statement {
rate_based_statement {
limit = local.waf_token_qa_limit # 3000
evaluation_window_sec = local.waf_token_rate_window # 300
aggregate_key_type = "IP"
scope_down_statement {
and_statement {
# uri_path EXACTLY <token path>, LOWERCASE
# method EXACTLY "GET"
# ip_set_reference_statement { QA }
}
}
}
}
visibility_config {
cloudwatch_metrics_enabled = true
metric_name = "acl-rate-limit-token-qa"
sampled_requests_enabled = true
}
}
Коллега перенёс правило на stage без алертов — там уже ловился известный фронтенд-баг, и тревоги только шумели бы. А 30 сентября закрыли второй маршрут (GET профиля маркетплейса) по логам 23–30 сентября (пик на проде 60, на stage 126, QA-раннер 113) — поставили те же 300 и 3 000 и второй алерт на прод. Итого в двух ACL вышло по четыре правила (приоритеты 10, 20, 30, 40) — 8 rate-based правил и 2 IP-сета.
Пощёлкать, как ведут себя основное правило, близнец и прямой обход CloudFront, можно прямо в симуляторе.
Симулятор AWS WAF: лимит 300, правило-близнец 3000 и обход CloudFront
Третий режим в симуляторе показывает главную дыру любой edge-защиты: если клиент стучится в API Gateway напрямую мимо CloudFront, лимиты на границе не сработают.
Защита от обхода с тыла и честный список белых пятен
На stage обход CloudFront закрыл коллега автора: CloudFront дописывает к каждому запросу на origin секретный заголовок, а региональный WAF на API Gateway пропускает GET к токену только с ним.
Секрет генерирует Terraform (random_password, 44 символа без спецсимволов) и хранит в AWS SSM как зашифрованный параметр SecureString. На ресурс повесили lifecycle { ignore_changes = [value] }: без этого следующий terraform apply тихо откатил бы вручную сменённый ключ. Ротация идёт в три шага — записать новое значение в SSM, обновить региональный WAF и выкатить оба сервиса. Для CI пришлось добавить 7 прав SSM плюс ssm:DescribeParameters (а ещё 22 сентября — права на региональные ACL и их привязку к стейджам API Gateway).
Отдельно подкупает честный список «белых пятен» самого автора: сырых логов и скриптов расчёта в репозитории нет, в историю CloudWatch за точным числом срабатываний алертов он не ходил, не перепроверял исчезновение 429 от Lambda у всех пользователей, не знает, кем были сентябрьские нарушители, и не смотрел историю E2E-пайплайна в соседнем проекте после подъёма лимита до 3 000.
И всё же миллионы лишних запросов остались на CloudFront, а порог 300 ни разу не меняли. Первыми под блокировку попали свои же — фронтенд-баг на stage и QA-раннер; после починки WAF срабатывает уже только на реальный DDoS. Как заметил сам Даниил Ромашов: лимит с алертом на блокировки ловит не только атаки, но и ваши собственные баги — прежде чем объявлять DDoS, проверьте, чей это IP.



