IsleDB: архитектура LSM-хранилища поверх бакетов S3 и решение проблемы рассинхронизации писателейКратко · дайджест за 21 августа
Кратко≈ 1 мин

IsleDB: архитектура LSM-хранилища поверх бакетов S3 и решение проблемы рассинхронизации писателей

Проект IsleDB для Go 1.25+ исследует архитектуру встраиваемой Key-Value базы данных с хранением данных в бакетах S3, GCS, Azure Blob и MinIO. Прямой перенос традиционных СУБД в объектное хранилище невозможен из-за отсутствия дешевых произвольных чтений, операций append и атомарных переименований файлов.

Для решения этих ограничений IsleDB применяет структуру LSM-дерева: иммутабельные файлы SSTable соответствуют неизменяемым объектам в S3. Фиксация состояния базы выполняется обновлением компактного объекта-заголовка манифеста.

Архитектура построена по модели «один защищенный писатель и множество читателей»:

  • CAS-обновления: заголовок состояния перезаписывается с проверкой ETag (Compare-And-Swap);
  • Маркеры коммита: страхуют от сбоев при потере сетевых подтверждений записи;
  • Токены изоляции (fencing tokens): блокируют запись устаревшим процессом при смене лидера.

Метод Put буферизует данные в памяти, а вызов Flush переносит SSTable в бакет и публикует срез для читателей. Это позволяет строить недорогие аналитические витрины с разделением вычислений и хранилища без сложных распределенных СУБД.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2