Шардинг PostgreSQL без потери ACID: как устроен Postgres Pro ShardmanЗаметка · дайджест за 19 ноября
Шардинг PostgreSQL без потери ACID: как устроен Postgres Pro Shardman
Заметка3 раздела≈ 4 мин

Шардинг PostgreSQL без потери ACID: как устроен Postgres Pro Shardman

В базах данных есть неприятный парадокс. Хочется разнести таблицы по десятку серверов, чтобы нагрузка не душила одно железо. И одновременно хочется работать с кластером как с обычным PostgreSQL — писать привычный SQL и знать, что перевод между двумя счетами либо пройдёт целиком, либо откатится назад. В обычной жизни эти желания не дружат. В разборе на Хабре инженеры Postgres Professional показали, как совместили горизонтальный шардинг и строгий ACID в Postgres Pro Shardman (коммерческом кластере на базе PostgreSQL 17 и 18).

Почему обычный шардинг ломает транзакции

Монолитный PostgreSQL долго терпит рост железа, но на крупных OLTP-системах упирается в MVCC и VACUUM. На таблицу работает один процесс очистки: длинный отчёт держит старые версии строк, база распухает и рискует упереться в переполнение счётчика транзакций. Партиционирование распараллеливает очистку, но память, CPU и диски остаются общими.

Когда железо кончается, базу режут на независимые серверы (шарды) прямо в коде приложения. Места становится больше, а ACID — гарантия атомарности, целостности, изоляции и сохранности транзакции — сыплется. Переводишь деньги между картами на разных узлах, в середине рвётся сеть: на одном списалось, на другом не пришло. При чтении отчёта один шард уже зафиксировал новые строки, другой нет — снимок кривой. И снять единый бэкап кластера на одну точку времени почти невозможно.

Как Shardman собирает распределённый ACID

Shardman встраивает шардинг в доработанное ядро PostgreSQL. Узлы равнозначны: приложение стучится к любому мастеру, и тот становится координатором. Под капотом — партиционирование и переделанный shardman_fdw (на базе postgres_fdw, позволяющего узлам обращаться к таблицам друг друга). Таблицы бывают распределёнными (distributed_by — по хэшу ключа), колоцированными (colocate_with — связанные таблицы лежат на одних шардах ради локальных джойнов) и глобальными (global — копия справочника на каждом узле).

-- Распределённая таблица: ключ шардирования обязателен в PK/UNIQUE
CREATE TABLE transactions (
    transaction_id   serial8,
    card_id          bigint NOT NULL,
    transaction_time timestamp NOT NULL,
    amount           numeric(12, 2) NOT NULL,
    PRIMARY KEY (card_id, transaction_id)
) WITH (distributed_by = 'card_id', num_parts = 12);

-- Глобальный справочник: синхронно хранится на всех шардах
CREATE TABLE currencies (
    code text PRIMARY KEY,
    name text NOT NULL
) WITH (global);

-- Перевод между картами на разных шардах через любой узел кластера
BEGIN ISOLATION LEVEL REPEATABLE READ;
INSERT INTO transactions (card_id, transaction_time, amount)
VALUES (1020444400000060, now(), -500.00);
INSERT INTO transactions (card_id, transaction_time, amount)
VALUES (1020444400000080, now(),  500.00);
COMMIT;

Для кода это обычный SQL, а внутри при записи на несколько узлов работают двухфазный коммит (2PC), глобальный счётчик CSN и фоновый монитор.

Сначала координатор шлёт участникам PREPARE: каждый шард пишет правки в WAL, переводит транзакцию в состояние InDoubt и возвращает свой 64-битный CSN (Commit Sequence Number — счётчик коммитов, привязанный ко времени). Координатор выбирает максимальный CSN и рассылает COMMIT PREPARED. По этому номеру любой узел точно знает, какие версии строк видны транзакции.

Фоновый монитор на сегменте доводит зависшие InDoubt-транзакции после сбоя, ловит распределённые дедлоки и синхронизирует самый старый CSN для VACUUM. Межсерверные связи сжимает мультиплексор Silk (silkroad и silkworm, с M × N до N × (N - 1) + M), отказоустойчивость каждого шарда тянет встроенный Postgres Pro BiHA с арбитром Referee вместо Patroni, а бэкапы и PITR синхронизируются по точкам (CSN, LSN).

Цена распределённости и когда шардинг ещё рано брать

За прозрачный ACID платят задержками и рамками схемы. 2PC добавляет сетевой раунд, а от чтения устаревших данных при рассинхронизации часов спасает пауза csn_commit_delay (в наносекундах) — без точного NTP/PTP не обойтись.

Любой PRIMARY KEY и UNIQUE обязан включать ключ шардирования, а FOREIGN KEY работает только между колоцированными или global-таблицами. Авторы честно называют и текущие ограничения: Silk пока ускоряет только чтение (запись идёт через FDW), кросс-шардовые JOIN не по ключу тормозят, ребалансировка через shardmanctl/shardmand тяжёлая, а переезд с 14-й версии на 18-ю требует переноса данных. Плюс это коммерческий enterprise-продукт.

Пока не выжаты индексы, PgBouncer, партиционирование, read-реплики, кэш и очереди, одиночный PostgreSQL будет проще и быстрее. Shardman оправдан там, где один кластер уже физически не тянет поток записи, а отказываться от строгого SQL и транзакций нельзя.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 4