Умная маршрутизация LLM в Kubernetes с Istio и LiteLLMКратко · дайджест за 5 июля
Кратко≈ 1 мин

Умная маршрутизация LLM в Kubernetes с Istio и LiteLLM

При запуске self-hosted LLM (локальных языковых моделей) в Kubernetes стандартные балансировщики не учитывают GPU-нагрузку и token cache (кеш токенов). Проблему решает связка Gateway API Inference Extension, сервисной сетки Istio и LiteLLM как единого API-шлюза (точки входа для приложений).

Перед стартом нужны: актуальный Kubernetes, LoadBalancer, sidecar-поддержка, Helm и jq.

Настройка инфраструктуры:

  1. Установка CRD: добавьте ресурсы Gateway API: kubectl apply -k "github.com/kubernetes-sigs/gateway-api-inference-extension/config/crd?ref=v1.0.1"
  2. Активация в Istio: установите Istio с флагами: istioctl install --set profile=minimal --set values.pilot.env.SUPPORT_GATEWAY_API_INFERENCE_EXTENSION=true --set values.pilot.env.ENABLE_GATEWAY_API_INFERENCE_EXTENSION=true -y (см. задачу Istio).
  3. Настройка LiteLLM: настройте алиасы моделей в config.yaml. Передавайте токен LITELLM_MASTER_KEY через Secrets. Избегайте флага --detailed_debug в продакшене.

Для проверки шлюза: curl http://localhost:4000/chat/completions -H "Content-Type: application/json" -d '{"model": "model-alias", "messages": [{"role": "user", "content": "Hi"}]}'.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 3 голоса.
Источники · 6