Ты наверняка видел впечатляющие ролики, сгенерированные видеосетями вроде Sora, Runway Gen-3 или Kling. Они потрясающе выглядят, радуют глаз кинематографическими отражениями и плавной камерой. Но у всех современных видеогенераторов есть один фундаментальный изъян: ты остаешься пассивным зрителем. Ты не можешь нажать клавишу со стрелкой, повернуть за угол или открыть дверь. Картинка просто транслируется вперед по заранее предсказанной вероятности пикселей, а при малейшей попытке продлить ролик физика сцены начинает плыть и рассыпаться.
Исследовательская лаборатория Google DeepMind совершила качественный фазовый переход, представив четвертое поколение своей модели мира — Genie 4. В наших материалах о 3D-игре за один промпт: эксперимент Саймона Уиллисона и генеративной модели мира Agora 2 мы следили за развитием интерактивных сред. Сегодня давайте разберем, как устроена технология, стирающая границу между нейросетью и игровым движком.
От 2D-спрайтов к 720p при 24 FPS: эволюция генерации реальности
Если первая экспериментальная версия Genie в начале 2024 года умела генерировать лишь примитивные двухмерные платформеры с частотой 1 кадр в секунду, то Genie 4 — это полноценный интерактивный трехмерный симулятор:
- Разрешение 720p при стабильной частоте 24 FPS: Картинка генерируется непрерывно в реальном времени с задержкой отклика на клавиши управления менее 80 миллисекунд;
- Нативный пространственный звук (Native Spatial Audio): Звуковая дорожка не накладывается сторонней моделью поверх готового видео, а рассчитывается в едином латентном пространстве. Шаги персонажа по деревянному мосту, гул ветра в ущелье или скрип открывающейся двери математически синхронизированы с микросекундной точностью;
- Рассуждающий слой Gemini: Главная беда моделей мира — «эффект золотой рыбки», когда нейросеть забывает, что находилось за спиной персонажа секунду назад. В Genie 4 подключен мультимодальный агент Gemini, удерживающий глобальную карту состояний: если ты оставил ключи на столе в хижине, обошел весь лес и вернулся назад через 15 минут, ключи будут лежать на том же месте.
Как модель выучила законы физики без программирования
Самое поразительное в архитектуре Genie 4 — это то, как именно она обучалась:
- В классических играх вроде тех, что делают на Unreal Engine 5, разработчик обязан вручную прописать математические формулы гравитации, настроить плотность материалов, коэффициенты трения и векторы отскока;
- В Genie 4 никаких формул физики нет в помине. Пространственно-временные трансформеры (Spatiotemporal Transformers) обучались на миллионах часов обычных неразмеченных видеозаписей прохождений игр и реальных съемок.
Латентный кодировщик действий (Latent Action Model) сам выделил закономерности движения: модель на опыте поняла, что тяжелые камни падают быстрее перьев, что вода огибает препятствия, а стеклянные бутылки разбиваются при ударе о гранит.
Более того, модель поддерживает рулевое текстовое управление на лету (Real-Time Steering). Ты можешь идти по тропинке, нажать микрофон и сказать: «Включи лунную гравитацию и начни метель». Сцена плавно, без рывков сменит освещение, траектория прыжков станет плавной и затяжной, а на объектах начнет процедурно накапливаться виртуальный снег.
Токийский вокзал и заснеженные Альпы: разбор демонстрационных миров
Чтобы оценить масштаб происходящего, достаточно взглянуть на два ключевых демонстрационных сценария, опубликованных исследователями Google DeepMind:
- Токийский вокзал 1980-х годов: Пользователь управляет камерой, двигаясь сквозь многолюдную железнодорожную станцию эпохи неонового бума в Японии. По рельсам с аутентичным металлическим перестуком колес прибывают поезда, на платформах горят вывески с японскими иероглифами, а навстречу идут прохожие. Самое интересное — это взаимодействие с неигровыми персонажами (NPC): если подойти к газетному киоску или кондуктору, подключается языковой слой Gemini, и персонаж вступает в полноценный голосовой диалог, реагируя на события вокруг;
- Заснеженные альпийские вершины: Второй демо-мир симулирует динамический спуск на лыжах по крутому горному склону. Genie 4 в реальном времени рассчитывает физику скольжения кантов по снежному насту, деформацию сугробов, образование микролавин при резких поворотах и сложное преломление солнечных лучей в кристаллах снежной пыли. При этом звук режущего снега и свист ветра в ушах меняют тембр в зависимости от скорости движения игрока.
Синтетические полигоны для роботов и автопилотов
Зачем Google DeepMind вкладывает колоссальные ресурсы в интерактивные миры? Ради создания безопасных синтетических полигонов для воплощенного интеллекта (Embodied AI).
Тренировать физического робота-манипулятора или беспилотный автомобиль Waymo в реальном мире — невероятно долго, дорого и опасно: любая ошибка грозит аварией и разбитым «железом». В мире Genie 4 инженеры могут смоделировать миллиарды редчайших критических ситуаций (гололед, ослепляющее солнце, выкатившийся на дорогу мяч) и обучить нейросеть управления за считанные часы до ее загрузки в физическое шасси.
Смерть классических полигонов?
Означает ли появление Genie 4 скорую гибель классических игровых движков вроде Unreal Engine или Unity?
Конечно, пока нет. У Genie 4 есть объективные аппаратные ограничения: непрерывная стабильная сессия пока удерживается на протяжении 20–30 минут, после чего в латентных координатах накапливается микропогрешность, а запуск симуляции требует мощных кластеров на базе Google TPU v6 (Trillium).
Но вектор развития кристально ясен: на смену ручной расстановке полигонов и запеканию текстур приходит эпоха нейросетевых симуляций, где трехмерный интерактивный мир рождается на лету по желанию человека.