При запуске self-hosted LLM (локальных языковых моделей) в Kubernetes стандартные балансировщики не учитывают GPU-нагрузку и token cache (кеш токенов). Проблему решает связка Gateway API Inference Extension, сервисной сетки Istio и LiteLLM как единого API-шлюза (точки входа для приложений).
Перед стартом нужны: актуальный Kubernetes, LoadBalancer, sidecar-поддержка, Helm и jq.
Настройка инфраструктуры:
- Установка CRD: добавьте ресурсы Gateway API:
kubectl apply -k "github.com/kubernetes-sigs/gateway-api-inference-extension/config/crd?ref=v1.0.1" - Активация в Istio: установите Istio с флагами:
istioctl install --set profile=minimal --set values.pilot.env.SUPPORT_GATEWAY_API_INFERENCE_EXTENSION=true --set values.pilot.env.ENABLE_GATEWAY_API_INFERENCE_EXTENSION=true -y(см. задачу Istio). - Настройка LiteLLM: настройте алиасы моделей в
config.yaml. Передавайте токенLITELLM_MASTER_KEYчерез Secrets. Избегайте флага--detailed_debugв продакшене.
Для проверки шлюза:
curl http://localhost:4000/chat/completions -H "Content-Type: application/json" -d '{"model": "model-alias", "messages": [{"role": "user", "content": "Hi"}]}'.


