NVIDIA открыла исходный код инфраструктуры фабрик ИИ: архитектура оркестратора NVKE и рантайма NVKRЗаметка · дайджест за 13 ноября
Архитектурный изометрический разрез серверного узла GPU-кластера с модулем безопасности TPM и шинами NVLink
Заметка3 раздела≈ 4 мин

NVIDIA открыла исходный код инфраструктуры фабрик ИИ: архитектура оркестратора NVKE и рантайма NVKR

Принято считать, что NVIDIA — это прежде всего продавец «железа» с закрытой экосистемой: ставишь стойки с картами, накатываешь обычный Kubernetes и запускаешь обучение. Но в дата-центре всё упирается в программную оркестрацию кластера, где типовые облачные инструменты слепнут на первой же аппаратной ошибке.

На KubeCon + CloudNativeCon North America 10 ноября компания выложила на GitHub под лицензией Apache 2.0 два ядра платформы DSX AI Factory: оркестратор NVKE (NVIDIA Kubernetes Environment) и рантайм NVKR (NVIDIA Kubernetes Recipes). Я изучил репозитории и разбор Джулиана Голди, чтобы выяснить, почему базовый Kubernetes буксует на фермах видеокарт и как открытый стек решает эту проблему.

Почему стандартный Kubernetes теряется в плотных GPU-кластерах

Обычный Kubernetes создавался как диспетчер курьеров для независимых веб-серверов: если у одного спустило колесо, диспетчер просто передаёт заказ другому.

Распределённое обучение модели устроено как синхронный гребной экипаж, где десятки тысяч ядер CUDA связаны шинами NVLink и каждую миллисекунду сверяют шаги. Базовый планировщик слеп к перегреву чипов, деградации шин NVLink и сбоям памяти HBM3: ошибка одной карты обрывает многодневный расчёт на всех 64 узлах.

Архитектура NVKE и NVKR: изоляция, криптография TPM и живая телеметрия

Открытый стек делит задачу на два слоя. Оркестратор NVKE по API разворачивает кластеры на базе CNCF Kubernetes (kubeadm и Cluster API), выделяя каждому арендатору изолированный control plane, свою базу etcd и пулы узлов.

При входе в кластер сервер проходит аппаратный фейсконтроль: криптографический чип TPM (модуль с цифровым слепком железа) через протоколы SPIFFE и SPIRE подтверждает подлинность прошивки. За состоянием карт следят OpenTelemetry и агент NVIDIA NVSentinel. Посмотрим на манифест cluster-definition.yaml:

apiVersion: nvke.nvidia.com/v1alpha1
kind: WorkloadCluster
metadata:
  name: ai-factory-training-01
  namespace: tenant-deeplearning
spec:
  kubernetesVersion: "1.31.2"
  controlPlane:
    replicas: 3
    etcdEncryption:
      enabled: true
  security:
    attestation:
      provider: "spiffe-spire"
      requireTPM: true
  nodePools:
    - name: h100-compute-pool
      replicas: 8
      instanceType: "gpu.hgx.h100.8x"
      gpuConfig:
        nvlinkMonitoring: true
        nvsentinelAutoEvict: true

Параметр requireTPM: true отсекает узлы без аппаратного паспорта, а флаги nvlinkMonitoring: true и nvsentinelAutoEvict: true страхуют 64-узловой кластер. Когда NVSentinel фиксирует ошибки памяти HBM3 на третьем ускорителе узла, NVKE сохраняет контрольную точку (checkpoint), изолирует сбойный сервер и перезапускает расчёт на резервном узле без обрыва сессии.

Второй компонент — рантайм NVKR — развивает подход декларативных профилей NVIDIA AICR. По рецептам он собирает воспроизводимые образы ОС, контейнеры и Helm-чарты под amd64 и arm64, фиксируя версии драйверов и снабжая релиз подписью и паспортом состава пакетов SBOM (Software Bill of Materials).

Локальный тест-драйв без видеокарт и трезвый расчёт ограничений

Для проверки стека стойка с H100 не нужна: эмулятор контроллера NICO (NVIDIA Infrastructure Controller) позволяет развернуть макет флота на обычном ноутбуке. Поднимем стенд, создадим кластер утилитой nvkectl и проверим подпись сборки:

git clone https://github.com/dsx-ai-factory/nvkr.git
cd nvkr && ./quickstart.sh
nvkectl populate-site --config site-config.yaml
nvkectl create-cluster --file cluster-definition.yaml
nvkr release verify --artifact nvke-workload-v1.0.tar.gz

Скрипт ./quickstart.sh поднимает контур с моковой версией NICO, команды nvkectl создают кластер и выдают kubeconfig, а nvkr release verify сверяет криптографический SBOM архива. Заодно на KubeCon компания передала в CNCF песочницу прав агентов OpenShell и планировщик KAI Scheduler, а также показала утилиту Snapshot, сократившую старт моделей на Crusoe Cloud с 8 минут до 31 секунды.

Но давай честно взвесим плату за удобство. Оба пакета вышли в статусе Public Preview: API и настройки ещё меняются, и сама NVIDIA не рекомендует их для продакшена. К тому же NVKE не заменяет физический контроллер NICO и не хостит образы за оператора. Не спеши сносить ради новинки рабочие серверы — разумнее спокойно обкатать эмуляцию на ноутбуке, пока стек дозревает в облаках партнёров вроде SK Telecom, Firmus и Mirantis.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3