Анализ высоконагруженного производственного инцидента выявил неочевидную причину деградации p99-задержек в Python-микросервисах: корень проблемы крылся не в архитектуре приложения, а во взаимодействии глобальной блокировки интерпретатора (GIL) и планировщика Linux CFS (Completely Fair Scheduler) в Kubernetes.
Механика взаимной блокировки развивается следующим образом:
- При исчерпании лимита процессора (
CPU limits) ядро Linux принудительно замораживает процесс контейнера до наступления следующего квотного окна (обычно 100 мс); - Если в момент срабатывания троттлинга рабочий поток Python удерживал блокировку GIL, он засыпает вместе с ней;
- Все остальные потоки приложения (включая легкие обработчики ввода-вывода и сетевые сокеты) оказываются заблокированы в ожидании освобождения GIL на протяжении десятков миллисекунд.
Для диагностики проблемы инженерам рекомендуется отслеживать метрику Prometheus container_cpu_cfs_throttled_periods_total. В качестве решения авторы исследования советуют отказаться от жестких ограничений limits в пользу контроля через requests либо масштабировать сервисы горизонтально с изоляцией процессов через Gunicorn или Uvicorn.
