Локальный войсовер VoiceStudio: интеграция клонирования голоса с терминалом Claude CodeЗаметка · дайджест за 10 ноября
Вечернее рабочее место с терминалом Claude Code и компактным аудиоинтерфейсом для локального синтеза речи VoiceStudio
Заметка2 раздела≈ 4 мин

Локальный войсовер VoiceStudio: интеграция клонирования голоса с терминалом Claude Code

Как настроить клонирование голоса и дубляж видео прямо из терминала, не отдавая десятки и сотни долларов облачным подпискам и не отправляя записи тембра на чужие серверы? Задачу решает связка открытой студии VoiceStudio Палаша Дебнатха (AGPL-3.0) и консольного агента Claude Code от Anthropic, который сам управляет файлами и программами по текстовым командам.

Я сверил практический разбор Джулиана Голди с документацией проекта, чтобы отделить рабочие настройки от мифов про серверное железо. Пройдём весь маршрут на задаче автора YouTube-канала: готов 10-минутный англоязычный ролик video.mp4 и чистый 15-секундный образец речи sample.wav, из которых нужно одной фразой в консоли собрать испанскую и немецкую версии со своим тембром и сохранённой музыкой.

Развёртывание VoiceStudio, защита контекста и клонирование тембра

На macOS с Apple Silicon и в Linux студия ставится строкой curl -fsSL https://voicestudio.sh/install | sh (есть и Docker-образ). Бэкенд сразу поднимает на порту 3900 переходник для агентов — сервер Model Context Protocol (MCP) по адресу http://127.0.0.1:3900/mcp/, без платных ключей, какие нужны в официальном MCP-сервере ElevenLabs. Если создать в корне проекта файл .mcp.json с этим адресом (а не мифический claude.json с портом 8080), то Claude Code мгновенно видит инструменты clone_voice, generate_speech и transcribe.

Но в документации MCP-сервера я нашёл ловушку: по умолчанию звук отдаётся строкой base64 (OMNIVOICE_MCP_OUTPUT_MODE=resources) — простынёй из миллионов символов, будто вместо флешки диктору принесли распечатку кода на тысячу страниц. Если прогнать её через чат, то контекст агента захлебнётся за пару реплик. Если же включить режим OMNIVOICE_MCP_OUTPUT_MODE=files и задать рабочую папку в OMNIVOICE_MCP_BASE_PATH, то файлы WAV и Opus пишутся сразу на диск, а модель получает лишь путь output_path.

Память сессии остаётся чистой, а голосовые исходники не покидают твой диск.

А можно ли монетизировать такой клон на YouTube или в рекламе? Если оставить базовую модель для личных тестов, то коммерция запрещена — поэтому выбираем открытый движок VoxCPM2 от OpenBMB с бизнес-лицензией Apache-2.0. Ему хватает 5–20 секунд чистой речи без эха и музыки. Регистрируем сэмпл sample.wav и проверяем синтез в терминале:

curl -X POST http://127.0.0.1:3900/profiles \
  -F "name=author_voice" -F "file=@sample.wav" -F "language=Auto"

voicestudio speak "Привет! Это локальная озвучка через VoiceStudio." \
  --voice "author_voice" --output "output.wav"

В базе закрепляется профиль author_voice, а рядом ложится контрольный output.wav с твоими паузами и подачей. Греть микрофон ради правок больше не нужно: профиль виден Claude Code через .mcp.json, и дубляж выпуска запускается одной фразой в консоли.

Конвейер дубляжа по таймкодам, видеопамять и границы метода

По команде агента студия отделяет в video.mp4 голос от музыки, размечает реплики таймкодами через pyannote и WhisperX (для чистой расшифровки встреч сравни с NVIDIA Nemotron 3.5 Transcribe), переводит субтитры (до 646 языков) и начитывает их в VoxCPM2. Испанские и немецкие фразы длиннее английских, поэтому алгоритм Smart Fit поджимает паузы и темп под таймкоды сцен, а ffmpeg сводит речь с музыкой в video_es.mp4 и video_de.mp4.

Не положит ли это домашний ПК? Если бы нейросеть покадрово перерисовывала губы ведущего, то потребовалась бы карта на 16–24 ГБ памяти. Но VoiceStudio делает аудиодубляж по времени (speech-timed audio dubbing) без трогания картинки и выгружает модель синтеза в ОЗУ на время работы WhisperX, поэтому хватает RTX 3060/4060 с 4–8 ГБ VRAM или Mac серии M с 8–16 ГБ единой памяти через MLX (на CPU через CTranslate2 расчёт просто идёт дольше).

На такой графике коэффициент RTF ниже 1.0 — дорожка собирается быстрее длины самого ролика при нулевой цене за минуту.

Попутно через отслеживаемые папки легко собирать статьи в аудиокниги по главам (агент сам очистит ссылки и таблицы) и генерировать голоса по описанию со встроенной водяной ИИ-меткой.

Универсального рецепта под любой кадр тут нет: на крупных портретных планах заметен рассинхрон губ с чужой речью, эхо в сэмпле даст металлический призвук, а для pyannote нужно принять условия на Hugging Face. Зато для скринкастов, презентаций и уроков правила игры прозрачны: тихий сэмпл, лицензия VoxCPM2, клонирование строго своего голоса (или с согласия диктора) и пометка ИИ-контента на площадке.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 4