NVIDIA PAIR: локальный маршрутизатор инференса нейросетей для компьютеров в единой сетиКратко · дайджест за 20 сентября
Кратко≈ 1 мин

NVIDIA PAIR: локальный маршрутизатор инференса нейросетей для компьютеров в единой сети

При работе с несколькими компьютерами запуск локальных нейросетей упирается в рутину: разработчикам приходится переключать адреса и порты в настройках ИИ-агентов в зависимости от того, где развернута нужная модель. Открытый проект NVIDIA Personal AI Router (PAIR) объединяет рабочие станции в общую точку входа для выполнения запросов без обращения во внешние облака.

Архитектура PAIR развертывается как фоновый сервис и приложение для Linux, Windows и macOS. Программа находит машины в локальной сети, связывая их после ввода шестизначного PIN-кода с взаимным шифрованием TLS (mTLS). Для внешних инструментов вроде Cursor или OpenCode маршрутизатор выглядит как стандартный локальный эндпоинт формата OpenAI или Ollama.

PAIR перенаправляет вызов только на узел, где запущен совместимый движок (Ollama или LM Studio) и уже загружены веса модели. Планировщик балансирует нагрузку по текущей очереди задач, защищая машины от перегрузки. При этом маршрутизатор не объединяет видеопамять нескольких GPU в общий пул и не шардирует веса: каждый запрос целиком выполняет один конкретный компьютер.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3