Locución local VoiceStudio: integración de clonación de voz con la terminal Claude CodeNota · digest del 10 de noviembre
Espacio de trabajo nocturno con terminal Claude Code e interfaz de audio compacta para síntesis de voz local VoiceStudio
Nota2 secciones≈ 5 min

Locución local VoiceStudio: integración de clonación de voz con la terminal Claude Code

¿Cómo configurar clonación de voz y doblaje de video directo desde la terminal, sin pagar decenas o cientos de dólares a suscripciones en la nube ni enviar grabaciones de tu timbre a servidores ajenos? El problema lo resuelve la combinación del estudio abierto VoiceStudio de Palash Debnath (AGPL-3.0) y el agente de consola Claude Code de Anthropic, que maneja archivos y programas mediante comandos de texto.

Contrasté el análisis práctico de Julian Goldie con la documentación del proyecto para separar la configuración real de los mitos sobre hardware de servidor. Recorramos toda la ruta con el caso de un creador de YouTube: tiene listo un video de 10 minutos en inglés video.mp4 y una muestra limpia de voz de 15 segundos sample.wav, a partir de los cuales debe generar con una sola frase en consola las versiones en español y alemán con su propio timbre y conservando la música.

Despliegue de VoiceStudio, protección del contexto y clonación de timbre

En macOS con Apple Silicon y en Linux, el estudio se instala con la línea curl -fsSL https://voicestudio.sh/install | sh (también hay imagen Docker). El backend levanta de inmediato en el puerto 3900 un puente para agentes —un servidor Model Context Protocol (MCP) en la dirección http://127.0.0.1:3900/mcp/, sin claves de pago como las que exige el servidor MCP oficial de ElevenLabs. Si creas en la raíz del proyecto un archivo .mcp.json con esa dirección (y no un mítico claude.json con el puerto 8080), Claude Code ve al instante las herramientas clone_voice, generate_speech y transcribe.

Pero en la documentación del servidor MCP encontré una trampa: por defecto, el audio se devuelve como una cadena base64 (OMNIVOICE_MCP_OUTPUT_MODE=resources) —una sábana de millones de caracteres, como si en lugar de una memoria USB al locutor le llevaran una impresión de código de mil páginas. Si la pasas por el chat, el contexto del agente se ahoga en un par de turnos. En cambio, si activas el modo OMNIVOICE_MCP_OUTPUT_MODE=files y defines la carpeta de trabajo en OMNIVOICE_MCP_BASE_PATH, los archivos WAV y Opus se escriben directo al disco y el modelo solo recibe la ruta output_path.

La memoria de la sesión queda limpia y las grabaciones originales de voz no salen de tu disco.

¿Y se puede monetizar ese clon en YouTube o en publicidad? Si dejas el modelo base para pruebas personales, el uso comercial está prohibido —por eso elegimos el motor abierto VoxCPM2 de OpenBMB con licencia comercial Apache-2.0. Le bastan 5–20 segundos de voz limpia sin eco ni música. Registramos la muestra sample.wav y probamos la síntesis en la terminal:

curl -X POST http://127.0.0.1:3900/profiles \
  -F "name=author_voice" -F "file=@sample.wav" -F "language=Auto"

voicestudio speak "¡Hola! Esta es una locución local a través de VoiceStudio." \
  --voice "author_voice" --output "output.wav"

En la base queda fijado el perfil author_voice, y al lado aparece el archivo de prueba output.wav con tus pausas y cadencia. Ya no hace falta calentar el micrófono para corregir frases: Claude Code ve el perfil a través de .mcp.json y el doblaje del episodio se lanza con una sola frase en consola.

Pipeline de doblaje por códigos de tiempo, memoria de video y límites del método

A la orden del agente, el estudio separa en video.mp4 la voz de la música, marca los diálogos con códigos de tiempo mediante pyannote y WhisperX (para transcripción limpia de reuniones compáralo con NVIDIA Nemotron 3.5 Transcribe), traduce los subtítulos (hasta 646 idiomas) y los locuta con VoxCPM2. Las frases en español y alemán son más largas que en inglés, por lo que el algoritmo Smart Fit ajusta pausas y ritmo a los códigos de tiempo de cada escena, y ffmpeg mezcla la voz con la música en video_es.mp4 y video_de.mp4.

¿No tumbará esto una PC doméstica? Si la red neuronal redibujara cuadro por cuadro los labios del presentador, haría falta una tarjeta de 16–24 GB de memoria. Pero VoiceStudio realiza doblaje de audio temporizado (speech-timed audio dubbing) sin tocar la imagen y descarga el modelo de síntesis a la RAM mientras trabaja WhisperX, así que basta una RTX 3060/4060 con 4–8 GB de VRAM o un Mac serie M con 8–16 GB de memoria unificada vía MLX (en CPU mediante CTranslate2 el cálculo simplemente tarda más).

Con esa gráfica, el factor RTF queda por debajo de 1.0: la pista se ensambla más rápido que la duración del propio video a costo cero por minuto.

De paso, mediante carpetas vigiladas es fácil convertir artículos en audiolibros por capítulos (el agente limpia enlaces y tablas por su cuenta) y generar voces por descripción con marca de agua de IA integrada.

No existe una receta universal para cualquier plano: en primeros planos de rostro se nota la desincronización de los labios respecto al idioma extranjero, el eco en la muestra produce un matiz metálico y para pyannote hay que aceptar las condiciones en Hugging Face. En cambio, para screencasts, presentaciones y tutoriales las reglas del juego son transparentes: muestra silenciosa, licencia VoxCPM2, clonación estrictamente de tu propia voz (o con consentimiento del locutor) y etiquetado de contenido con IA en la plataforma.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 4