Инфраструктура Git масштаба ИИ-агентов: как GitHub перенёс 99,99999% репозиториев в Azure и внедрил кворум по ссылкамСтатья · дайджест за 16 ноября
Архитектурная изометрическая схема инфраструктуры Spokes с разделением потоков записи Git между локальным дата-центром и облаком Azure.
Статья4 раздела≈ 7 мин

Инфраструктура Git масштаба ИИ-агентов: как GitHub перенёс 99,99999% репозиториев в Azure и внедрил кворум по ссылкам

Когда отправляешь в терминале привычный git push, кажется, что изменения просто ложатся в папку на удалённом сервере. Но за кулисами на стороне GitHub срабатывает внутренний маршрутизатор и координатор хранилища Spokes: он принимает упакованные объекты, рассылает их по независимым серверам в разных залах и следит, чтобы узлы синхронно зафиксировали новое состояние репозитория. Долгое время эта механика оставалась незаметной, потому что темп задавали люди — написал код, проверил локально, отправил ветку на ревью.

Всё изменилось с приходом автономных ИИ-агентов: десятки ботов без перерывов на кофе параллельно создают ветки, гоняют тесты и пушат исправления со скоростью пулемётной очереди. Инженеры GitHub Элеонора Уайт и Виктория Дай в разборе новой архитектуры хранения, на который обратил внимание канал DevOps&SRE Library, показали изнанку этого «агентного сдвига». Как масштабировать платформу уровня GitHub, когда автономные агенты генерируют непрерывный поток коммитов и запирают самые активные репозитории?

Физический потолок дата-центров и барьер в 25 миллисекунд

Взрывной рост трафика от ИИ-агентов (о том, как нейросетевые помощники за полгода увеличивают число коммитов на инженера более чем в пять раз, я недавно рассказывал в разборе исследования Anthropic) упёрся в физический предел. Дата-центры GitHub и энергосеть региона достигли потолка электрической мощности, а цепочки поставок оборудования не позволяли быстро нарастить стойки на месте. Запаса мощностей хватало для безопасного переезда в облако Azure, но медлить было нельзя. Поскольку операции Git на GitHub относятся к критическому уровню Tier 0, менять одновременно хостинг и архитектуру хранения под растущей нагрузкой не решились: сначала перевезли данные как есть, чтобы затем перестроить архитектуру в облаке.

В августе 2025 года первая копия репозитория приземлилась в регионе Azure Central US. Большинство репозиториев хранятся в виде кворума из 5 реплик: сегодня 2 из 5 реплик живут в Azure, обслуживая около половины всего Git-трафика, а преференциальная маршрутизация (preferential routing) в Spokes направляет чтение к реплике в том же регионе и зоне доступности.

К октябрю 2026 года в Azure продублировали 99,99999% репозиториев GitHub, но оставшиеся 0,00001% самых горячих проектов застряли. Меня в этом отчёте сразу зацепила причина: их удерживала всего одна физическая константа. Целевой регион Azure удалён от дата-центров GitHub примерно на 1000 миль, поэтому один сетевой кругорейс (round trip) занимает около 25 мс, а каждая запись в Git требует нескольких обменов пакетами. Для репозитория на пределе пропускной способности эти 25 мс на каждом шаге стали непреодолимой стеной.

От глобального замка репозитория к независимым кворумам по ссылкам

Почему межрегиональная задержка так ударила по записи? Формально для подтверждения записи кворуму Spokes достаточно большинства (3 из 5 узлов), но фактически он ждёт ответа от каждой здоровой реплики до таймаута, чтобы далёкие серверы не отставали. В итоге задержку каждой записи диктует самая медленная реплика на дистанции в 25 мс. При этом в старой схеме каждая запись захватывала монопольную блокировку всего репозитория (repository-wide lock) на всё время сетевых кругорейсов.

Представь бизнес-центр на тысячу кабинетов, где на вахте лежит одна связка ключей от всего здания. Пока курьер поднимается с ней на десятый этаж в комнату 101 и не вернёт ключи охраннику, двадцать других курьеров ждут у турникета — хотя им нужно занести посылки в совсем другие офисы на первом этаже.

Посмотрим на этот затор в рабочем сценарии кластера Spokes из 5 реплик (3 в локальном ЦОД и 2 в Azure с кругорейсом 25 мс). В активном репозитории параллельно трудятся 20 автономных ИИ-агентов в изолированных ветках agent/task-1…agent/task-20, а разработчик в эту же секунду пушит срочное исправление в hotfix/login или коммит в main. При глобальной блокировке в полёте находится только одна запись: разработчик встаёт в хвост единой очереди за двадцатью агентами и ждёт, пока каждый завершит несколько 25-миллисекундных рейсов до Azure. Очередь растёт, и пуши отваливаются по таймауту.

Ты наверняка спросишь: зачем блокировать весь репозиторий, если агенты и разработчик меняют разные ветки? Здесь сработал первый принцип новой архитектуры GitHub — минимизация координации (minimize coordination): не упорядочивай то, что не требует согласования. В Git требования согласованности действуют для каждой отдельной ссылки (reference, например refs/heads/main) индивидуально: после обновления ветки ни один клиент не должен увидеть её старое значение, будь то fast-forward, force push или удаление. А обновления разных веток друг от друга не зависят!

Переход Spokes на сериализацию по отдельным ссылкам (per-reference serialization) снял общий замок со входа. В нашем сценарии ветки agent/task-1…agent/task-20 и hotfix/login летят через 25-миллисекундный мост в Azure параллельно, а ждут друг друга только конкурентные пуши в одну и ту же ветку. Во внутренних тестах на реалистичном трафике это подняло пропускную способность записи в 3–4 раза при меньшей задержке и открыло дорогу в Azure для оставшихся 0,00001% сверхактивных репозиториев.

Виртуальные реплики и вынос хранения в Azure Blob Storage

Следующим шагом стала разгрузка чтения. В типичном репозитории на одну запись приходится от 100 до 1000 операций чтения (git clone, git fetch, сборки CI и чтение кода агентами). Раньше оба потока шли на одни и те же 5 реплик: чтению нужен большой кэш в оперативной памяти, но ту же память съедает фоновое уплотнение данных (compaction).

Второй принцип GitHub — разделение хранения и вычислений (decouple storage from compute). Инженеры ввели в кворум Spokes эфемерную виртуальную реплику записи (virtual write replica) без собственного постоянного состояния. Она не обслуживает чтение, а транслирует поток записей в объектное хранилище Azure Blob Storage и подтверждает коммит в кворуме, когда данные сохранены в облаке. При этом виртуальная реплика записи выполняет коалесценцию транзакций (coalescing): склеивает параллельные коммиты независимых веток (от всех 20 наших агентов и ветки hotfix/login) в единый пакет сетевого ввода-вывода к Blob Storage. Репозиторий платит всего за один сетевой рейс вместо двадцати, а эта же нода пока выполняет уплотнение файлов.

Когда эталонные данные лежат в Azure Blob Storage, платформа по требованию поднимает сколько угодно виртуальных реплик чтения (virtual read replicas). Они не входят в кворум записи: каждая нода греет локальный кэш напрямую из Blob Storage (сразу получая уплотнённое состояние) и в фоне сверяет изменения с облачным хранилищем. Когда я читал результаты их внутренних испытаний, больше всего впечатлила деталь со стендом: распределённый нагрузочный стенд GitHub, регулярно упиравшийся в потолок старой архитектуры, на виртуальных репликах чтения впервые исчерпал собственные лимиты раньше, чем дрогнули серверы репозитория.

Неизменяемость объектов Git и путь к следующему миллиарду репозиториев

У переходной архитектуры есть свои границы. Если десятки агентов одновременно пушат в одну общую ветку refs/heads/main, им по-прежнему приходится ждать друг друга по очереди и разбирать отклонённые не-fast-forward пуши. Кроме того, фоновая сверка виртуальных реплик чтения с Blob Storage подходит не для всех задач: чтобы гарантировать мгновенное чтение сразу после записи, сверку переводят в синхронный режим (in-line reconciliation), подтягивая только изменившиеся ссылки и данные.

Сегодня Spokes обрабатывает свыше 100 миллиардов операций в сутки и управляет фоновым восстановлением («sweepers») для миллиарда репозиториев, но протокол с полными копиями репозитория не выдержит следующего миллиарда проектов. К счастью, в Git сами объекты (блобы файлов, деревья и коммиты) неизменяемы (immutable) и адресуются хешем содержимого (эта модель позволяет хранить внутри дерева объектов даже распределённые трекеры вроде git-bug). Их можно сохранять параллельно без голосования.

Упорядочивать во времени нужно лишь крошечный изменяемый указатель ссылки. Как объясняют инженеры Картик Раман и Брайан Селенза в обзоре целевой архитектуры Project Rubicon, для этого выделяется легковесный консенсусный сервис Ref-CAS (Reference Compare-And-Swap), который атомарно обновляет реплицированный журнал ссылок, пока изолированный пул воркеров в фоне уплотняет пак-файлы. Контур рассчитан на работу до 5000 автономных агентов и до 7200 пушей в секунду в один репозиторий.

По-моему, опыт GitHub отлично показывает, куда движется вся инфраструктура разработки: когда автономные агенты превращают написание и проверку кода в круглосуточный конвейер, системы хранения отказываются от глобальных блокировок. На пути к следующему миллиарду репозиториев выигрывает архитектура, которая отделяет неизменяемый массив объектов от крошечного ядра состояния и синхронизирует по сети только те несколько байт, без которых действительно нельзя обойтись.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3