Команда платформы генерации контента Pika Labs выкатила обновление, кардинально расширяющее контроль над результатом. Вместо привычной лотереи с текстовыми промптами или сборки ролика по единственной картинке пользователи получили полноценный мультимодальный конструктор.
Теперь в систему можно одновременно загрузить до пяти различных изображений-референсов и отдельную звуковую дорожку в несжатом формате WAV. Мультимодальный диффузионный трансформер (DiT) сопоставляет визуальные образы со спектрограммой звука через слои кросс-внимания, согласуя смену ракурсов виртуальной камеры с ритмом и интонациями речи.
Главное практическое достоинство обновления — встроенный инструмент точечного инпейнтинга. Если на полученном клипе тебя не устраивает движение руки персонажа или цвет автомобиля, не нужно перегенерировать ролик целиком: достаточно выделить проблемную зону курсором и переписать действие на лету. Общее фоновое освещение, перспектива и звуковая синхронизация при этом остаются абсолютно нетронутыми.
Синтез пятисекундного клипа высокого разрешения на облачном кластере Pika занимает от 30 до 50 секунд. Для создателей рекламы это открывает возможность собирать сцены с точным сохранением внешности героя с разных ракурсов под заранее записанную актерскую озвучку.
