Sharding en PostgreSQL sin perder ACID: cómo funciona Postgres Pro ShardmanNota · digest del 19 de noviembre
Sharding en PostgreSQL sin perder ACID: cómo funciona Postgres Pro Shardman
Nota3 secciones≈ 5 min

Sharding en PostgreSQL sin perder ACID: cómo funciona Postgres Pro Shardman

En bases de datos existe una paradoja incómoda. Quieres repartir las tablas entre diez servidores para que la carga no ahogue una sola máquina. Y al mismo tiempo quieres trabajar con el clúster como si fuera un PostgreSQL normal: escribir el SQL de siempre y saber que una transferencia entre dos cuentas o se completa entera o se revierte. En el día a día ambos deseos chocan. En un artículo en Habr, los ingenieros de Postgres Professional explicaron cómo unieron sharding horizontal y ACID estricto en Postgres Pro Shardman, un clúster comercial basado en PostgreSQL 17 y 18.

Por qué el sharding habitual rompe las transacciones

Un PostgreSQL monolítico aguanta mucho crecimiento de hardware, pero en sistemas OLTP grandes choca con MVCC y VACUUM. Sobre una tabla trabaja un solo proceso de limpieza: un informe largo retiene versiones viejas de filas, la base se infla y corre riesgo de desbordar el contador de transacciones. El particionado paraleliza la limpieza, pero memoria, CPU y discos siguen compartiéndose.

Cuando se acaba el hardware, la base se divide en servidores independientes (shards) desde el código de la aplicación. Ganas espacio, pero ACID —la garantía de atomicidad, consistencia, aislamiento y durabilidad— se desmorona. Transfieres dinero entre tarjetas de nodos distintos y a mitad se cae la red: en uno se descontó y en el otro no llegó. Al leer un informe, un shard ya confirmó filas nuevas y otro no: foto incoherente. Y sacar una copia única del clúster en un mismo instante resulta casi imposible.

Cómo arma Shardman el ACID distribuido

Shardman integra el sharding en un núcleo modificado de PostgreSQL. Los nodos son equivalentes: la aplicación se conecta a cualquier maestro y ese actúa como coordinador. Por debajo usa particionado y una versión adaptada de shardman_fdw (sobre postgres_fdw, que deja a los nodos consultar tablas entre sí). Las tablas pueden ser distribuidas (distributed_by según hash de clave), colocadas juntas (colocate_with, tablas relacionadas en los mismos shards para joins locales) y globales (global, copia de tabla de referencia en cada nodo).

-- Tabla distribuida: la clave de sharding es obligatoria en PK/UNIQUE
CREATE TABLE transactions (
    transaction_id   serial8,
    card_id          bigint NOT NULL,
    transaction_time timestamp NOT NULL,
    amount           numeric(12, 2) NOT NULL,
    PRIMARY KEY (card_id, transaction_id)
) WITH (distributed_by = 'card_id', num_parts = 12);

-- Tabla global de referencia: replicada en sincronía en todos los shards
CREATE TABLE currencies (
    code text PRIMARY KEY,
    name text NOT NULL
) WITH (global);

-- Transferencia entre tarjetas de distintos shards desde cualquier nodo
BEGIN ISOLATION LEVEL REPEATABLE READ;
INSERT INTO transactions (card_id, transaction_time, amount)
VALUES (1020444400000060, now(), -500.00);
INSERT INTO transactions (card_id, transaction_time, amount)
VALUES (1020444400000080, now(),  500.00);
COMMIT;

Para el código es SQL común, pero por debajo al escribir en varios nodos actúan el commit en dos fases (2PC), un contador global CSN y un monitor en segundo plano.

Primero, el coordinador envía PREPARE a los participantes: cada shard escribe los cambios en el WAL, pasa la transacción a estado InDoubt y devuelve su CSN de 64 bits (Commit Sequence Number, contador de commits ligado al tiempo). El coordinador elige el CSN máximo y envía COMMIT PREPARED. Con ese número, cualquier nodo sabe exactamente qué versiones de filas ve una transacción.

El monitor en segundo plano de cada segmento resuelve transacciones InDoubt atascadas tras una caída, detecta deadlocks distribuidos y sincroniza el CSN más antiguo para VACUUM. Las conexiones entre servidores las comprime el multiplexor Silk (silkroad y silkworm, bajando de M × N a N × (N - 1) + M), la alta disponibilidad de cada shard la lleva Postgres Pro BiHA con árbitro Referee en vez de Patroni, y los backups y PITR se sincronizan por puntos (CSN, LSN).

El costo de distribuir y cuándo aún es pronto para hacer sharding

Ese ACID transparente se paga con latencia y reglas de esquema. El 2PC añade un viaje de red, y para evitar leer datos viejos si los relojes se desincronizan existe la pausa csn_commit_delay (en nanosegundos): sin NTP/PTP preciso no funciona.

Cualquier PRIMARY KEY y UNIQUE debe incluir la clave de sharding, y FOREIGN KEY solo funciona entre tablas colocadas juntas o global. Los propios autores señalan límites actuales: Silk por ahora acelera solo lecturas (la escritura va por FDW), los JOIN entre shards sin clave van lentos, el rebalanceo con shardmanctl/shardmand es pesado y pasar de la versión 14 a la 18 exige migrar datos. Además es un producto comercial enterprise.

Mientras no hayas exprimido índices, PgBouncer, particionado, réplicas de lectura, caché y colas, un PostgreSQL único será más simple y rápido. Shardman tiene sentido cuando un solo clúster ya no soporta físicamente el flujo de escritura y no puedes renunciar al SQL estricto ni a las transacciones.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 4