Edición de video con agentes en FrameJam: montaje de videos verticales con Claude y Cursor en 17 minutosNota · digest del 18 de noviembre
Edición de video con agentes en FrameJam: montaje de videos verticales con Claude y Cursor en 17 minutos
Nota3 secciones≈ 5 min

Edición de video con agentes en FrameJam: montaje de videos verticales con Claude y Cursor en 17 minutos

«Tuve un editor de video trabajando conmigo un par de años. Cuando salió el modelo Opus 5.5, la necesidad de pasarle correcciones a otra persona simplemente desapareció, porque la idea de cómo debe verse el video igual vive en mi cabeza».

Así describió el creador del motor abierto FrameJam, Moritz Kremb, el paso a la edición con agentes en una entrevista en el canal de YouTube de Kieran Flanagan. Pongamos la mecánica a prueba en una tarea real: en el teléfono hay una grabación de 20 minutos donde el hablante se trabó y repitió tomas. De ese material en bruto hay que sacar un short vertical compacto de 60 segundos con subtítulos y acercamientos.

Antes, ese ciclo de idas y vueltas con un editor llevaba uno o dos días, mientras en la demostración de Kremb se resolvió en 17 minutos. La diferencia está en que el agente controla un motor local de video siguiendo una instrucción clara en lugar de pedidos vagos en el chat.

Por qué la edición programática supera a Sora y Runway

Los generadores por difusión como Sora y Runway crean tomas vistosas a partir de texto, pero tropiezan con el habla real: deforman gestos, cortan mal las pausas y desajustan la sincronía de los subtítulos.

La edición programática funciona distinto: el modelo no redibuja el rostro píxel por píxel. Por debajo trabajan Node.js, la herramienta de consola FFmpeg y el framework HyperFrames del equipo de HeyGen, que convierte HTML animado en un video listo. FrameJam, abierto bajo licencia MIT, se conecta con Claude Code o Cursor mediante el protocolo MCP.

En su charla con el presentador Kipp Bodnar, el autor lanza una advertencia clara: conviene ejecutar esta dupla solo en Cursor de escritorio o en Claude Code local. En el chat del navegador el modelo vive en la nube y no alcanza el render local de FFmpeg con archivos pesados.

Habilidad en lugar de brief: tres fases de armado y el fallo con el audio

Para que el agente no improvise a su gusto, en FrameJam se usan playbooks y archivos de habilidades: manuales del editor en formato Markdown. Según se trate de un lanzamiento de producto, un tutorial o un short, definen tres fases: limpieza de pausas según la transcripción, ajuste de cortes al ritmo musical e inserción de subtítulos.

Echemos un vistazo al archivo .framejam/skills/video-editor.md con el que Claude arma un video vertical:

---
name: video-editor
description: Automates raw footage trimming, beat-synced pacing, and captioning.
---

# Video Editing Playbook: Vertical Short
1. Ingest subtitle track from `input/audio.vtt`.
2. Remove silent pauses longer than 400ms and conversational disfluencies ("um", "uh").
3. Detect audio beats and align cut transitions to every 2nd downbeat.
4. Apply 1.15x digital zoom punch-in on emphasis keywords.
5. Render burned-in subtitles with 2-word active karaoke highlighting.

Con estos cinco puntos, el modelo trabaja como un asistente disciplinado. Toma la pista desde input/audio.vtt, elimina silencios de más de 400 milisegundos junto con muletillas, alinea los cortes cada segundo golpe del ritmo, añade un zoom de 1.15x en las palabras clave y quema subtítulos con resaltado activo de dos palabras.

En las primeras pruebas salió un detalle que arruinaba la calidad: sin indicación previa, el agente usaba Whisper local y fallaba en términos técnicos. Un error de medio segundo al reconocer la voz corre los subtítulos y parte palabras por la mitad. Kremb pasó a la API de ElevenLabs, conectó la herramienta Claude Eyes para revisar capturas de pantalla y creó un archivo de memoria feedback donde el agente anota correcciones pasadas.

Calibración cuadro por cuadro en 17 minutos y límites del método

Si el borrador queda listo en 17 minutos, pero en el segundo 14 el título tapó la cara, en un chat de texto habría que dictar códigos de tiempo a mano. En el reproductor de FrameJam pausas el cuadro, haces clic directo sobre la zona con problemas y dejas una nota.

La interfaz convierte ese clic al instante en una orden exacta para el modelo:

{
  "timestampMs": 14250,
  "frameNumber": 428,
  "target": "text_overlay",
  "feedback": "Change highlight color from yellow to neon green and increase font weight to 800."
}

El agente no tiene que adivinar qué corregir: timestampMs fija el milisegundo exacto, frameNumber señala el fotograma 428 y target apunta directo a la capa text_overlay. Tras la revisión, el script recalcula coordenadas en 5 segundos y un nuevo render queda listo en unos 15 minutos en lugar de dos días. Así, 20 minutos de charla frente al teléfono se convierten en un clip limpio de 60 segundos.

Con todo, el método tiene tres límites muy concretos. Renderizar efectos en FFmpeg exige bastante al procesador y a la tarjeta gráfica, no hay etalonaje artístico al nivel de DaVinci Resolve ni exportación directa a Adobe Premiere Pro, y un fallo del servicio de transcripción hará que el agente borre por accidente una frase importante como si fuera una toma repetida.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 2