Урок инцидента в Buildkite: бесконечный DNS-кэш в JVM и настройка дрейна в AWS NLBКратко · дайджест за 14 сентября
Кратко≈ 1 мин

Урок инцидента в Buildkite: бесконечный DNS-кэш в JVM и настройка дрейна в AWS NLB

Плановая миграция сервиса в Buildkite вызвала 8-минутный сбой: при выводе балансировщика AWS NLB ошибки Java-планировщика подскочили до 60%. Воркеры на Go и Node.js переключились на новый NLB за минуту по TTL записи Route 53. Java-сервис продолжал слать запросы на старые IP, где они падали по таймауту.

Причиной стало поведение JVM: при активном Security Manager параметр networkaddress.cache.ttl по умолчанию равен -1 — рантайм кэширует IP навсегда. Сервис разрешил адрес при старте за три недели до релиза и больше не обращался к DNS.

Проблему решили двумя правками:

  1. В $JAVA_HOME/conf/security/java.security базового образа выставили networkaddress.cache.ttl=30 и networkaddress.cache.negative.ttl=5 (по документации Oracle, это security properties).
  2. Задержку дерегистрации целей AWS NLB (deregistration_delay.timeout_seconds) снизили с 300 до 30 секунд.

Следующее переключение прошло за 90 секунд. Но сброс TTL учащает DNS-запросы в 120 раз на хост, а снижать задержку дрейна допустимо только при коротких запросах.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3