Pika объединяет несколько изображений и аудиофайл в редактируемое видеоКратко · дайджест за 7 ноября
Кратко≈ 1 мин

Pika объединяет несколько изображений и аудиофайл в редактируемое видео

Команда платформы генерации контента Pika Labs выкатила обновление, кардинально расширяющее контроль над результатом. Вместо привычной лотереи с текстовыми промптами или сборки ролика по единственной картинке пользователи получили полноценный мультимодальный конструктор.

Теперь в систему можно одновременно загрузить до пяти различных изображений-референсов и отдельную звуковую дорожку в несжатом формате WAV. Мультимодальный диффузионный трансформер (DiT) сопоставляет визуальные образы со спектрограммой звука через слои кросс-внимания, согласуя смену ракурсов виртуальной камеры с ритмом и интонациями речи.

Главное практическое достоинство обновления — встроенный инструмент точечного инпейнтинга. Если на полученном клипе тебя не устраивает движение руки персонажа или цвет автомобиля, не нужно перегенерировать ролик целиком: достаточно выделить проблемную зону курсором и переписать действие на лету. Общее фоновое освещение, перспектива и звуковая синхронизация при этом остаются абсолютно нетронутыми.

Синтез пятисекундного клипа высокого разрешения на облачном кластере Pika занимает от 30 до 50 секунд. Для создателей рекламы это открывает возможность собирать сцены с точным сохранением внешности героя с разных ракурсов под заранее записанную актерскую озвучку.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3