Сбой Revolut и математика кворума: почему кластер из пяти узлов в схеме 2/2/1 не переживёт потерю зоны и одного сервераЗаметка · дайджест за 21 ноября
Архитектурный изометрический макет с пятью узлами кластера в трех дата-центрах и нарушенным кворумом
Заметка3 раздела≈ 4 мин

Сбой Revolut и математика кворума: почему кластер из пяти узлов в схеме 2/2/1 не переживёт потерю зоны и одного сервера

Кластер из пяти серверов в трёх дата-центрах на схеме выглядит железобетонно. Кажется, запас огромный: отвалится машина или даже целый дата-центр — система выстоит. Из-за этого спокойствия команды часто не бьют тревогу, когда один из пяти узлов тихо уходит в офлайн. Мол, починим на неделе, четыре же живых. А потом гаснет свет в одной зоне, и сервис встаёт колом.

Что на самом деле сломалось у Revolut 20 октября

Именно так 20 октября 2026 года лёг Revolut. По официальному техническому обзору, около 06:00 UTC пропало питание в зоне доступности Zone B (europe-west2-b) лондонского Google Cloud — это отдельный дата-центр со своим питанием и сетью внутри региона. Авария у облака длилась 7 часов 52 минуты.

Затронутые базы Revolut опирались на группы из пяти серверов координации в трёх зонах (2/2/1). Для автоматического переключения (failover) им нужен кворум — строгое большинство, минимум три живых узла из пяти. Но в части групп один сервер уже лежал до аварии: из-за дыры в мониторинге или незавершённой замены тревога не сработала. Когда потухла Zone B, отвалились ещё два узла. Осталось двое из пяти, и автоматика встала.

Это не баг, а защита от split-brain («раздвоения мозга»). Если бы оставшаяся пара объявила себя главной, а отрезанная часть ожила со старым лидером, обе половины начали бы принимать конфликтующие платежи. Для банка это хуже простоя. Положение добила петля зависимостей: часть инструментов мониторинга и восстановления Revolut жила в той же Zone B, что затянуло ручную починку. Карты начали оживать к 12:40 UTC, а доступ в приложение массово вернулся к 15:45 UTC.

Revolut не назвал движок координации. Алексей Рыбак в канале System Design & Highload предположил, что под капотом стояла связка PostgreSQL + Patroni + пять узлов etcd, где etcd хранит решение о главном узле, а Patroni переключает базу. Сам он честно оговорился: это лишь educated guess, «свечку не держал». Но суть не в названии софта — точно так же сломается любой Raft-координатор вроде Consul или ClickHouse Keeper.

Математика кворума: почему 2/2/1 не прощает лишний отказ

Представь совет из пяти человек, где решение проходит только при большинстве голосов. Если двое сидят в одной переговорке и там вырубило свет, оставшиеся трое спокойно голосуют дальше. Но если один из тройки вчера ушёл на больничный и никто не заметил, после отключения света в зале остаётся двое. Голосовать нельзя: вдруг те трое за стеной живы и уже приняли другое решение.

В кластерах работает та же формула большинства ⌊N / 2⌋ + 1. В схеме 2/2/1 система переживает либо потерю одной зоны, либо выход из строя пары отдельных машин. Но если один сервер уже мёртв заранее, падение зоны с двумя узлами мгновенно выбивает кворум.

Схема кластераКворумПереживёт «зона + 1 узел»?Цена по задержке и ресурсам
3 узла (1/1/1)2 из 3Нет (остаётся 1 узел)Минимальная задержка записи
5 узлов (2/2/1)3 из 5Нет (остаётся 2 узла)Средняя задержка, ложный запас
5 узлов + арбитр в 4-м ДЦ (2/1/1/1)3 из 5Да (кроме зоны на 2 узла + ещё 1)Почти как 2/2/1, дешёвая ВМ в 4-й зоне
9 узлов (3/3/3)5 из 9Да (остаётся 5 узлов)Выше задержка записи и нагрузка на сеть

Всё упирается не в число серверов, а в то, сколько голосов уносит одна авария. Пока в одной зоне стоит сразу пара узлов, любой фоновый сбой соседа обнуляет страховку от падения дата-центра.

Как чинить такую раскладку на практике

Алексей Рыбак описал эту базу распределённых систем с фирменной иронией и передал «лучи поддержки тем, кто вынужден писать публичные пост-мортемы после такого»:

«Так сказать, бомж оторвался от своих пожитков, почесал репу и говорит: братела, на четвертом ДЦ ноду добавь, хоть на минимальной виртуалке, или засетапь 3/3/3 вместо 2/2/1, но задержки будут дольше».

Первое, что стоит поправить — алерты. В схеме 2/2/1 падение даже одного сервера должно сразу будить дежурного: запаса на отказ целой зоны больше нет.

Если нужен реальный запас по топологии, выбор из двух вариантов. Первый — поставить узел-арбитр (tie-breaker) в четвёртую зону: минимальную виртуалку без тяжёлых данных, которая просто участвует в голосовании (а в идеале разнести пять узлов по пяти зонам). Второй — перейти на 3/3/3, но платить за это придётся скоростью: каждой записи нужно дождаться подтверждения от большего числа узлов. Сама документация etcd не советует раздувать кластер до девяти машин под обычную нагрузку, ограничиваясь тремя или пятью. Ну и главное правило из опыта Revolut: мониторинг и инструменты восстановления нельзя держать в той же зоне, которую они должны спасать.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3