Синхронный синтез медиа: релиз видеомодели P-Video-2-Pro с нативной генерацией аудиодорожкиКратко · дайджест за 23 сентября
Кратко≈ 1 мин

Синхронный синтез медиа: релиз видеомодели P-Video-2-Pro с нативной генерацией аудиодорожки

Команда сервиса Pika представила видеомодель P-Video-2-Pro, предложив решение хронической проблемы генеративного видеопроизводства. Новая архитектура синтезирует визуальный ряд и синхронную нативную звуковую дорожку за единый проход нейросети, устраняя необходимость отдельного монтажа звуковых эффектов.

Прежний процесс требовал создания немого видео с последующим подбором шумов, фоновых эффектов и наложения речи в сторонних редакторах. P-Video-2-Pro объединяет эти этапы: модель одновременно синтезирует динамику движений в кадре, пространственную акустику окружения, механические звуки взаимодействия объектов и черновую речь персонажей с базовой синхронизацией артикуляции (lip-sync).

На текущем этапе подтвержденное разрешение генерации составляет 768p. Создателям контента и маркетинговым командам стоит учитывать, что громкие заявления авторов скринкастов о поддержке формата 4K и произвольной длительности пока не подкреплены официальной документацией. До интеграции в коммерческие конвейеры предстоит дождаться публикации открытых спецификаций API на платформах вроде Replicate, условий лицензирования и независимых тестов стабильности звуковой синхронизации.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 2