300 запросов за 5 минут: как инженеры подобрали лимит AWS WAF для ручки токенов и первыми поймали свои же багиСтатья · дайджест за 21 ноября
Стильный графический плакат с цифровым барьером и индикатором лимита запросов 300 в контрастных тонах
Статья4 раздела≈ 10 мин

300 запросов за 5 минут: как инженеры подобрали лимит AWS WAF для ручки токенов и первыми поймали свои же баги

15 сентября 2026 года SRE-инженер Даниил Ромашов (@mwgtd) открыл файл waf.tf и оставил в шапке короткий комментарий: «Один клиент застрял в цикле на ручке токенов, шлёт около 20 запросов в секунду и съедает весь бюджет». С этого началась 16-дневная эпопея настройки лимитов на проде, которую автор подробно разобрал на HackerNoon.

Цепочка простая: запрос на access-токен идёт через Amazon CloudFront в API Gateway, а оттуда — в AWS Lambda. У функции жёсткий потолок reserved concurrency — максимум 30 одновременно работающих копий на регион. Один зациклившийся клиент забивает все 30 слотов, остальные ловят 429 от Lambda, а без токена в приложении не работает ничего. Резать такой трафик нужно на краю — в CloudFront (edge rate limiting), пока лишние запросы не добрались до API Gateway и бэкенда.

Как из недельных логов родилась граница между «своими» и ботами

Наугад цифру не брали. Даниил собрал логи CloudFront за семь дней (8–15 сентября 2026 года) — 8 921 клиентский IP — и посчитал для каждого пик запросов к ручке токенов в пятиминутных окнах.

Главный страх был связан с общим NAT-адресом серверного рендеринга европейского дашборда: за ним сидят все пользователи из Европы, так что инженер ждал огромную цифру. На деле пик оказался неожиданно скромным, а между самым активным обычным клиентом и самым тихим нарушителем в логах открылся чистый зазор.

Пики запросов к ручке токенов за 5 минут по логам CloudFront

Выбранная граница — один запрос в секунду на длинной дистанции — легла ровно посередине разрыва: обычный клиент до неё не дотягивается, а любой нарушитель уверенно пробивает потолок. Самого агрессивного клиента на график даже не выносили, чтобы не сплющить шкалу: он набивал 7 383 запроса за пять минут (до 3 888 за минуту). Лимит и окно вынесли в locals прямо рядом с комментарием из логов.

Два «учебниковых» шага инженер сознательно пропустил. Во-первых, не стал неделю гонять правило в тестовом режиме COUNT (когда WAF только считает срабатывания без блокировки) — сразу выкатил block с 429, положившись на логи. Правда, если в системе нет такого чистого разрыва или за корпоративным NAT сидят тысячи людей, без пары дней в COUNT лучше не рисковать. Во-вторых, не подключал полные логи WAF (aws_wafv2_web_acl_logging_configuration), оставив метрики CloudWatch и выборку запросов (sampled_requests_enabled = true).

Анатомия правила в Terraform и подножка в CloudWatch Alarm

Правило описали в Terraform через aws_wafv2_web_acl со scope = "CLOUDFRONT" — такой Web ACL обязан жить в us-east-1 и цепляться к дистрибуции через web_acl_id.

Внутри работает rate-based правило AWS WAF. Допустимые окна evaluation_window_sec — 60, 120, 300 (по умолчанию) или 600 секунд. Ключ IP берёт реальный адрес, видимый CloudFront, без X-Forwarded-For. Чтобы не считать весь сайт подряд, фильтр scope_down_statement сужает область до GET на путь токена в нижнем регистре и исключает IP-сет QA-раннера; всё остальное идёт через default_action = allow. А дефолтный 403 от WAF подменили через custom_response на 429 без тела — как у перегруженной Lambda.

# Основное правило: режем всех, кроме IP-сета QA-раннера
rule {
  name     = "rate-limit-token"
  priority = 10

  action {
    block {
      # Меняем дефолтный 403 на привычный 429 без тела
      custom_response { response_code = 429 }
    }
  }

  statement {
    rate_based_statement {
      limit                 = local.waf_token_rate_limit  # 300
      evaluation_window_sec = local.waf_token_rate_window # 300
      aggregate_key_type    = "IP"
      scope_down_statement {
        and_statement {
          # uri_path EXACTLY <token path>, LOWERCASE
          # method EXACTLY "GET"
          # not_statement { ip_set_reference_statement { QA } }
        }
      }
    }
  }

  visibility_config {
    cloudwatch_metrics_enabled = true
    metric_name                = "acl-rate-limit-token"
    sampled_requests_enabled   = true
  }
}

Через 22 минуты после правила добавили алерт в CloudWatch: BlockedRequests в AWS/WAFV2, Sum за 300 секунд, 1 период, порог > 0. Даже один заблокированный запрос шлёт тревогу в SNS, при возврате к нулю алерт снимается через ok_actions, а missing data считается нормой. Главная грабля — в измерении Rule нужен metric_name из visibility_config, а не name правила, иначе алерт молча никогда не сработает.

# Алерт на любую блокировку за 5-минутное окно
resource "aws_cloudwatch_metric_alarm" "waf_token_blocked" {
  alarm_name          = "waf-token-rate-limit-blocked"
  namespace           = "AWS/WAFV2"
  metric_name         = "BlockedRequests"
  statistic           = "Sum"
  period              = 300
  evaluation_periods  = 1
  threshold           = 0
  comparison_operator = "GreaterThanThreshold"
  treat_missing_data  = "notBreaching"

  dimensions = {
    WebACL = aws_wafv2_web_acl.prod.name
    # Сюда идёт metric_name, а НЕ rule.name!
    Rule = "acl-rate-limit-token"
  }
}

Выкат в тот день (старт в 14:05) занял два часа. Через 7 секунд после коммита с алертом пришлось править другой репозиторий — добавить sns:Publish для cloudwatch.amazonaws.com с условием aws:SourceAccount в политику SNS. Потом упал CI-план: убрали data-поиск SNS-топика, зашили ARN строкой и выдали CI-пользователю 11 прав wafv2 и 6 прав cloudwatch.

16 дней в бою: падение автотестов, правило-близнец и второй маршрут

24 сентября E2E-тесты (браузерные и Node.js) легли на stage и на проде: все прогоны идут с одного IP QA-раннера, а одна тестовая страница дёргает токены сразу из нескольких web workers.

Вместо слепого вайтлиста Даниил поставил правило-близнец с приоритетом 20: основное правило исключает IP-сет раннера через not_statement, а соседнее считает только этот сет с порогом 3 000 за 5 минут (в 10 раз выше). Счётчики не пересекаются, и даже сломанный раннер не сможет бесконечно долбить прод.

# Правило-близнец: отдельный потолок 3000 для QA-раннера
rule {
  name     = "rate-limit-token-qa"
  priority = 20

  action {
    block {
      custom_response { response_code = 429 }
    }
  }

  statement {
    rate_based_statement {
      limit                 = local.waf_token_qa_limit    # 3000
      evaluation_window_sec = local.waf_token_rate_window # 300
      aggregate_key_type    = "IP"
      scope_down_statement {
        and_statement {
          # uri_path EXACTLY <token path>, LOWERCASE
          # method EXACTLY "GET"
          # ip_set_reference_statement { QA }
        }
      }
    }
  }

  visibility_config {
    cloudwatch_metrics_enabled = true
    metric_name                = "acl-rate-limit-token-qa"
    sampled_requests_enabled   = true
  }
}

Коллега перенёс правило на stage без алертов — там уже ловился известный фронтенд-баг, и тревоги только шумели бы. А 30 сентября закрыли второй маршрут (GET профиля маркетплейса) по логам 23–30 сентября (пик на проде 60, на stage 126, QA-раннер 113) — поставили те же 300 и 3 000 и второй алерт на прод. Итого в двух ACL вышло по четыре правила (приоритеты 10, 20, 30, 40) — 8 rate-based правил и 2 IP-сета.

Пощёлкать, как ведут себя основное правило, близнец и прямой обход CloudFront, можно прямо в симуляторе.

Симулятор AWS WAF: лимит 300, правило-близнец 3000 и обход CloudFront

Третий режим в симуляторе показывает главную дыру любой edge-защиты: если клиент стучится в API Gateway напрямую мимо CloudFront, лимиты на границе не сработают.

Защита от обхода с тыла и честный список белых пятен

На stage обход CloudFront закрыл коллега автора: CloudFront дописывает к каждому запросу на origin секретный заголовок, а региональный WAF на API Gateway пропускает GET к токену только с ним.

Секрет генерирует Terraform (random_password, 44 символа без спецсимволов) и хранит в AWS SSM как зашифрованный параметр SecureString. На ресурс повесили lifecycle { ignore_changes = [value] }: без этого следующий terraform apply тихо откатил бы вручную сменённый ключ. Ротация идёт в три шага — записать новое значение в SSM, обновить региональный WAF и выкатить оба сервиса. Для CI пришлось добавить 7 прав SSM плюс ssm:DescribeParameters (а ещё 22 сентября — права на региональные ACL и их привязку к стейджам API Gateway).

Отдельно подкупает честный список «белых пятен» самого автора: сырых логов и скриптов расчёта в репозитории нет, в историю CloudWatch за точным числом срабатываний алертов он не ходил, не перепроверял исчезновение 429 от Lambda у всех пользователей, не знает, кем были сентябрьские нарушители, и не смотрел историю E2E-пайплайна в соседнем проекте после подъёма лимита до 3 000.

И всё же миллионы лишних запросов остались на CloudFront, а порог 300 ни разу не меняли. Первыми под блокировку попали свои же — фронтенд-баг на stage и QA-раннер; после починки WAF срабатывает уже только на реальный DDoS. Как заметил сам Даниил Ромашов: лимит с алертом на блокировки ловит не только атаки, но и ваши собственные баги — прежде чем объявлять DDoS, проверьте, чей это IP.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 4