Агентный видеомонтаж в FrameJam: сборка вертикальных роликов через Claude и Cursor за 17 минутЗаметка · дайджест за 18 ноября
Агентный видеомонтаж в FrameJam: сборка вертикальных роликов через Claude и Cursor за 17 минут
Заметка3 раздела≈ 4 мин

Агентный видеомонтаж в FrameJam: сборка вертикальных роликов через Claude и Cursor за 17 минут

«У меня пару лет работал видеомонтажёр. Когда вышла модель Opus 5.5, необходимость перекидывать правки другому человеку просто отпала — ведь понимание того, как должен выглядеть ролик, всё равно сидит у меня в голове».

Так создатель открытого движка FrameJam Мориц Кремб описал переход на агентный монтаж в интервью на YouTube-канале Кирана Фланагана. Проверим механику на живой задаче: на телефоне лежит 20-минутная запись, где спикер сбивался и повторял дубли. Из этого сырья нужно выжать плотный 60-секундный вертикальный шорт с титрами и зумами.

Раньше цикл с перепиской и правками занимал у монтажёра один-два дня, а в демонстрации Кремба уложился в 17 минут. Разница в том, что агент управляет локальным видеодвижком по чёткой инструкции вместо размытых просьб в чате.

Почему программный монтаж обходит Sora и Runway

Диффузионные генераторы вроде Sora и Runway рисуют зрелищные вставки по тексту, но пасуют перед живой речью: они сбивают мимику, рвут паузы и путают синхронизацию субтитров.

Программный монтаж устроен иначе — модель не перерисовывает лицо пиксель за пикселем. Под капотом работают Node.js, консольный комбайн FFmpeg и фреймворк HyperFrames от команды HeyGen, превращающий HTML с анимациями в готовый ролик. Открытый FrameJam под лицензией MIT связывается с Claude Code или Cursor через протокол MCP.

В разговоре с ведущим Киппом Боднаром автор отдельно предупреждает: запускать связку стоит только в десктопном Cursor или локальном Claude Code. В браузерном чате модель сидит в облаке и не дотянется до локального рендера FFmpeg с тяжёлыми исходниками.

Навык вместо ТЗ: три фазы сборки и баг со звуком

Чтобы агент не импровизировал на свой вкус, в FrameJam используют плейбуки и файлы навыков — должностные инструкции монтажёра в формате Markdown. Под формат запуска продукта, туториала или шорта в них заданы три фазы: чистка пауз по расшифровке, подгонка склеек под бит и наложение титров.

Заглянем в файл .framejam/skills/video-editor.md, по которому Claude собирает вертикальный ролик:

---
name: video-editor
description: Automates raw footage trimming, beat-synced pacing, and captioning.
---

# Video Editing Playbook: Vertical Short
1. Ingest subtitle track from `input/audio.vtt`.
2. Remove silent pauses longer than 400ms and conversational disfluencies ("um", "uh").
3. Detect audio beats and align cut transitions to every 2nd downbeat.
4. Apply 1.15x digital zoom punch-in on emphasis keywords.
5. Render burned-in subtitles with 2-word active karaoke highlighting.

По этим пяти пунктам модель работает как чёткий ассистент. Она берёт дорожку из input/audio.vtt, вырезает паузы длиннее 400 миллисекунд с оговорками, ставит склейки на каждый второй удар бита, добавляет зум 1.15x на акцентах и выжигает титры с подсветкой по два слова.

На первых прогонах вылезла деталь, ломавшая качество: без подсказки агент ставил локальный Whisper и ошибался в терминах. Промах распознавания речи на полсекунды сдвигает титры и режет слова пополам. Кремб перешёл на API ElevenLabs, подключил инструмент Claude Eyes для сверки скриншотов и завёл файл памяти feedback, куда агент записывает прошлые замечания.

Покадровая калибровка за 17 минут и границы метода

Если черновик за 17 минут готов, но на 14-й секунде заголовок наехал на лицо, в текстовом чате пришлось бы вручную диктовать таймкоды. В плеере FrameJam ты ставишь кадр на паузу, кликаешь прямо по проблемной зоне и оставляешь заметку.

Интерфейс сразу превращает клик в точное задание для модели:

{
  "timestampMs": 14250,
  "frameNumber": 428,
  "target": "text_overlay",
  "feedback": "Change highlight color from yellow to neon green and increase font weight to 800."
}

Агенту не нужно гадать, что именно исправить: timestampMs фиксирует миллисекунду, frameNumber указывает на 428-й кадр, а target ведёт сразу к слою text_overlay. После ревью скрипт сборки пересчитывает координаты за 5 секунд, и новый рендер готов примерно через 15 минут вместо двух дней. Так 20-минутная болтовня с телефона превращается в чистый 60-секундный ролик.

Правда, у метода есть три земных ограничения. Рендер эффектов в FFmpeg заметно грузит процессор и видеокарту, художественный грейдинг уровня DaVinci Resolve и прямой экспорт в Adobe Premiere Pro здесь недоступны, а ошибка сервиса распознавания речи заставит агента случайно вырезать важную фразу как лишний дубль.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2