Неизвестная предыстория CAP-теоремы: почему Эрик Брюэр менял урожай на отдачуСтатья · дайджест за 10 ноября
Латунные рычажные весы инженера с двумя чашами, уравновешивающими кубики полноты данных и безотказности
Статья4 раздела≈ 6 мин

Неизвестная предыстория CAP-теоремы: почему Эрик Брюэр менял урожай на отдачу

«В ней впервые сформулирован принцип CAP, но центральная тема многократно шире: как вообще строить сервисы, которые при сбоях деградируют постепенно, а не отказывают целиком».

Этой ремаркой технический директор и автор канала System Design & Highload Алексей Рыбак начинает разбор полузабытой работы Эрика Брюэра и Армандо Фокса 1999 года. На собеседованиях CAP-теорему давно превратили в сухую считалочку «выбери две буквы из трех», но за ней стоял совсем другой практический вопрос: как спроектировать высоконагруженный сервис так, чтобы при падении части серверов он продолжал мгновенно отвечать людям, а не рушился целиком из-за одного зависшего узла?

Когда я перечитал оригинальную статью Harvest, Yield, and Scalable Tolerant Systems, представленную на седьмом воркшопе HotOS VII в марте 1999 года в аризонском Рио-Рико, меня зацепило, насколько живой инженерной болью пропитан этот текст. Вместо абстрактной математики в нём разобраны экономика железа, размен полноты данных на доступность и подход к разделению монолита, о котором сегодня нередко забывают.

За кулисами Inktomi: как проектировали сервисы до эпохи микросервисов и облаков

В 1996 году профессор Калифорнийского университета в Беркли Эрик Брюэр и его аспирант Пол Готье основали компанию Inktomi, названную в честь паука-трикстера из легенд индейцев лакота. Пока корпоративные гиганты строили системы вокруг дорогих отказоустойчивых мейнфреймов, Брюэр и Готье собрали поисковый движок на кластере из сотен недорогих рабочих станций.

Собственного поискового сайта Inktomi не держала, а лицензировала технологию крупным порталам — сначала HotBot, а позже Yahoo и MSN. Вторым ключевым продуктом стал кэширующий прокси Traffic Server, который в 2009 году передали в фонд Apache, где он развивается как Apache Traffic Server и работает в крупных сетях доставки контента. На пике бума доткомов в 2000 году оценка Inktomi достигала 25 миллиардов долларов, а после краха рынка в 2003 году компанию купила Yahoo за 235 миллионов долларов.

В кластере из сотен дешёвых машин, круглосуточно отвечающих на миллионы запросов пользователей Yahoo и MSN, железо отказывало ежедневно: сбоили планки памяти, клинили диски, рвалась сеть между стойками. Попытка связать эти узлы классическими транзакциями ACID с двухфазным коммитом положила бы систему сразу. Когда запрос ждёт синхронного ответа от всех серверов, поломка одной рабочей станции запирает весь кластер. Ты экономишь на покупке мейнфреймов, но отказ копеечного узла роняет поиск для всего портала. Брюэру и Фоксу нужен был механизм, превращающий сбой железа из аварии в рядовую погрешность.

Метрики реального мира: Yield (отдача запросов) против Harvest (урожай полноты)

Обычно доступность измеряют аптаймом в «девятках», но бинарная шкала «работает или лежит» не учитывает качество каждого ответа. Фокс и Брюэр заменили её двумя метриками, позволяющими взвесить цену и выгоду архитектурного решения:

  • Yield (выход, или отдача запросов) — доля клиентских запросов, успешно обслуженных без ошибки или таймаута, от всех поступивших запросов.
  • Harvest (урожай, или полнота данных) — доля релевантных данных, вошедших в ответ, по отношению к полному объёму целевых данных в системе.

Разница между ними отлично видна на работе самого поискового кластера Inktomi. Поисковый индекс распределён по сотне серверов, и внезапно 10% машин перестают отвечать. Если требовать стопроцентного «урожая» (Harvest = 100%), центральный агрегатор ждёт ответа от замолчавших узлов, упирается в таймаут и возвращает ошибку 500. Ты сохранил верность абсолютной полноте данных, но обнулил «отдачу» (Yield падает до 0%).

В Inktomi пошли другим путём и обменяли часть урожая на стопроцентную отдачу. Когда 10% поисковых серверов молчат, агрегатор собирает результаты от оставшихся 90% базы и мгновенно возвращает ответ порталам Yahoo и MSN. Если из ста узлов выпадают две машины, Yield остаётся равным 100%, а Harvest снижается до 98%. Пользователь за экраном не замечает, что в стойке меняют диски: главные ссылки на месте, а временная потеря пары процентов редких страниц окупается мгновенным откликом.

Рождение принципа CAP: сильная и слабая формулировки компромисса надежности

Этот поисковый компромисс навёл Фокса и Брюэра на мысль, что похожий баланс действует в любых распределённых хранилищах. В статье для HotOS VII впервые появился принцип CAP, связывающий строгую согласованность (Consistency), высокую доступность (Availability) и устойчивость к разделению сети (Partition tolerance), а также классификация систем на пары CA, CP и AP, которую позже не раз критиковали.

За три года до того, как в 2002 году Сэт Гилберт и Нэнси Линч доказали гипотезу Брюэра как теорему на модели регистров чтения-записи, сами авторы в 1999 году сформулировали принцип CAP в двух вариантах:

  1. Сильная формулировка: из строгой согласованности, высокой доступности и устойчивости к разделению сети невозможно получить более двух свойств одновременно.
  2. Слабая формулировка: чем сильнее гарантии по любым двум свойствам из этой тройки, тем слабее гарантии по третьему.

В слабой формулировке кроется вся инженерная соль работы 1999 года. Позже теоретики свели всё к рубильнику из нулей и единиц, тогда как Брюэр описывал непрерывный спектр компромиссов. Повышая требования к полноте и актуальности данных (Harvest), ты неизбежно теряешь долю успешных ответов (Yield) при сетевых сбоях. И наоборот: разрешая отдавать чуть неполные данные, ты покупаешь запас прочности на случай обрыва связи между стойками.

Где обмен полноты на доступность работает, а где запрещён

Снижение Harvest спасает поисковые движки, рекомендательные ленты, новостные витрины и кэширующие прокси. Но этот размен неприменим в финансовых транзакциях, списании баланса и регистрации билетов: там потеря части данных недопустима по закону и бизнес-логике, поэтому требуется 100% Harvest и строгая согласованность.

Архитектура BASE и проектирование сервисов с независимыми режимами деградации

Как ужиться в одном продукте задачам, требующим точности до копейки, и витринам, которым важнее мгновенный отклик? Ещё в 1997 году исследовательская группа из Беркли предложила концепцию BASE (Basically Available, Soft state, Eventually consistent — базовая доступность, гибкое состояние и согласованность в конечном счёте) в противовес транзакциям ACID.

В статье 1999 года эта идея развёрнута в принцип сознательного отказа от монолитных сервисов — за десять лет до бума микросервисов. Фокс и Брюэр предлагали делить систему не по предметным доменам или кружочкам со стрелочками, а по требуемым гарантиям надёжности и независимым режимам отказа:

  • Изолированное ядро строгих гарантий (ACID): биллинг и оплата выделяются в минимальные компоненты с жёсткими проверками, где временный отказ при сетевом сбое допустим ради 100% точности данных.
  • Контур высокой доступности (BASE): поиск, рекомендации и кэши строятся с мягким промежуточным состоянием и отложенной согласованностью, всегда отвечая пользователю и плавно снижая Harvest в пики нагрузки.

Когда границы подсистем проведены по режимам деградации, падение 10% поискового кластера не заблокирует платежи, а заминка в одном узле не уронит весь портал. Позже, на фоне споров вокруг NoSQL, NewSQL и PACELC, про BASE почти забыли, сузив её до отложенной согласованности (Eventual Consistency). Но урок Inktomi не устарел, и лучше всего его подытоживает мысль, которую выделяет в своём разборе Алексей Рыбак:

«Интернет-сервисам строгие ACID-гарантии не нужны везде, отказ от этих гарантий “покупает” доступность и масштабируемость».

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2