Умная маршрутизация LLM в Kubernetes с Istio и LiteLLM
Для обслуживания self-hosted LLM в кластере Kubernetes стандартные балансировщики не подходят. Проблему решает связка Gateway API Inference Extension, сервисной сетки Istio для маршрутизации трафика и LiteLLM как единого шлюза API. Карточка содержит инструкцию по установке CRD, флагов Istio и настройки прокси.




![Node.JS [ru]](/api/digests/it_development/daily/20260705/assets/sources/we-use-js.jpg)