Экономия до 80% токенов в LLM: практический стек из утилит Headroom, RTK, Caveman и Ponytail

Ты замечал, как быстро сгорает баланс API, когда отдаёшь терминальному агенту даже несложную задачу? Просишь поправить одну функцию, агент запускает тесты, прогоняет линтер, делает git commit — и вот в контекстное окно улетает десять тысяч токенов.

Если вскрыть трассировку сессии, открывается грустная картина: до 80% оплаченного объёма токенов уходит на абсолютный информационный шум. Это анимированные полосы прогресса npm или cargo, простыни одинаковых логов успешных тестов, раздутые JSON-структуры и бесконечная вежливость модели («С удовольствием помогу вам решить эту проблему, давайте рассмотрим следующие шаги...»).

Я протестировал открытый стек из четырёх специализированных инструментов — Headroom, RTK, Caveman и Ponytail. Вместе они перекрывают все каналы утечки контекста и срезают расходы на разработку в четыре-пять раз без потери точности рассуждений.

Уровень терминала: Rust Token Killer (RTK)

Первая и самая большая дыра в бюджете — вывод системных команд. Когда агент выполняет pytest или git status, в контекст отправляются сотни строк форматирования, пустых отступов и ANSI-цветов, которые нейросети вообще не нужны.

CLI-прокси RTK, написанный на Rust, встаёт прозрачной прослойкой между агентом и шеллом. Он на лету парсит вывод утилит, удаляет визуальный мусор и оставляет только сухую суть — упавшие ассерты, пути изменённых файлов и коды возврата. На типовых командах это даёт от 60% до 90% экономии входящих токенов.

Настройка занимает пару минут:

# Установка бинарника RTK
cargo install rtk-cli

# Настройка оболочки bash/zsh: перехват типовых многословных команд
alias git="rtk git"
alias pytest="rtk pytest"
alias npm="rtk npm"
alias cargo="rtk cargo"

# Пример прямого выполнения команды со сжатием вывода
rtk cargo test --workspace

Уровень прокси и системного промпта: Headroom и Caveman

Второй рубеж обороны — уровень API-запросов. Утилита Headroom работает как локальный прокси-сервер между средой разработки и эндпоинтом провайдера (Anthropic или OpenAI). Она использует алгоритм CCR (Compress-Cache-Retrieve): очищает структуры данных, сжимает контекст кода и вырезает повторяющиеся блоки истории диалога.

А модуль Caveman решает проблему многословия самой модели. Он внедряет поведенческие директивы, запрещающие нейросети здороваться, повторять условия задачи и рассыпаться в благодарностях. Модель начинает отвечать сразу кодом и точечными комментариями, экономя до 54,9% выходных токенов (которые у всех провайдеров стоят в 3–5 раз дороже входных!).

Конфигурация прокси выглядит компактно:

{
  "proxy": {
    "listen_port": 8080,
    "target_url": "https://api.anthropic.com",
    "compression": {
      "enabled": true,
      "strategy": "compress_cache_retrieve",
      "strip_ansi_codes": true,
      "max_log_lines": 50
    },
    "caveman_mode": {
      "enabled": true,
      "brevity_level": 3,
      "enforce_concise_output": true
    }
  }
}

Четвёртый инструмент связки, Ponytail, следит за тем, чтобы сгенерированный код не обрастал избыточными абстракциями и простынями комментариев, оставляя только чистую рабочую реализацию.

Ранее мы уже касались похожих механик в материалах о практических стратегиях экономии на API и стеке оптимизации расходов в терминальных агентах. Но связка RTK и Headroom хороша тем, что не требует переписывать пайплайны: ты просто настраиваешь алиасы и продолжаешь работать в привычном темпе, пока баланс на счёте перестаёт таять на глазах.