Локальный запуск ИИ: развертывание Qwythos 9B и агентов Hermes без облакаКратко · дайджест за 2 июля
Кратко≈ 1 мин

Локальный запуск ИИ: развертывание Qwythos 9B и агентов Hermes без облака

Для конфиденциального выполнения задач на локальном компьютере можно развернуть связку автономного агента Nous Research Hermes Agent и модели Qwythos 9B (квантованная GGUF-версия весом 5,6 ГБ на базе Qwen3.5 9B).

Пошаговый процесс настройки:

  1. Установка Hermes: Скачайте агент с GitHub и активируйте в файле конфигурации функции learning_loop и сохранения навыков skill_persistence. Запустите режим Blank Slate (чистый лист), чтобы ограничить доступные агенту инструменты терминалом и файлами для экономии памяти.
  2. Запуск модели в Ollama: Установите среду Ollama и загрузите модель в терминале компьютера командой ollama run qwen3.5:9b. Для точечных задач скачайте оптимизированный GGUF-файл с Hugging Face Qwythos-9B.
  3. Сопряжение: В настройках Hermes укажите локальный провайдер Ollama и задайте контекстное окно от 64K токенов.
  4. Проверка: Отправьте тестовую команду в консоли агента. Он должен выполнить файловую операцию локально. Проверьте по сетевым логам отсутствие исходящего трафика во внешние API.

Учитывайте, что локальная модель уступает облачным гигантам в логике, а контекст свыше 64K токенов критичен к объему RAM компьютера.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 6