Плановая миграция сервиса в Buildkite вызвала 8-минутный сбой: при выводе балансировщика AWS NLB ошибки Java-планировщика подскочили до 60%. Воркеры на Go и Node.js переключились на новый NLB за минуту по TTL записи Route 53. Java-сервис продолжал слать запросы на старые IP, где они падали по таймауту.
Причиной стало поведение JVM: при активном Security Manager параметр networkaddress.cache.ttl по умолчанию равен -1 — рантайм кэширует IP навсегда. Сервис разрешил адрес при старте за три недели до релиза и больше не обращался к DNS.
Проблему решили двумя правками:
- В
$JAVA_HOME/conf/security/java.securityбазового образа выставилиnetworkaddress.cache.ttl=30иnetworkaddress.cache.negative.ttl=5(по документации Oracle, это security properties). - Задержку дерегистрации целей AWS NLB (
deregistration_delay.timeout_seconds) снизили с 300 до 30 секунд.
Следующее переключение прошло за 90 секунд. Но сброс TTL учащает DNS-запросы в 120 раз на хост, а снижать задержку дрейна допустимо только при коротких запросах.
