Если ты следил за бумом генеративного видео последних двух лет — всеми этими Sora, Runway Gen-3, Kling и Luma Dream Machine, — то наверняка заметил их фундаментальный потолок. Какими бы фотореалистичными ни выглядели сгенерированные кадры, перед нами всегда оставался пассивный «кинематограф». Ты вбиваешь текстовый промпт, ждешь пару минут и получаешь красивый пятисекундный MP4-ролик. Ты не можешь повернуть камеру за угол, не можешь пнуть лежащий на дороге камень или изменить направление ветра. Это иллюзия мира, нарисованная на стекле.
Исследовательская лаборатория Google DeepMind решила сломать эту стеклянную стену. Их новый релиз — архитектура Google Genie 4 — переводит генеративный ИИ из категории «видеогенераторов» в принципиально иной класс: интерактивные фундаментальные модели мира (Foundation World Models). Нейросеть генерирует полноценное трехмерное интерактивное пространство, которым можно управлять в реальном времени с геймпада или клавиатуры, причем окружающая среда строго подчиняется законам механики. Давай разберем, как устроена эта технология и почему она способна перевернуть геймдев и робототехнику.
От пикселей к физике: генерация, управляемая действиями
Первая версия Genie умела создавать лишь примитивные двухмерные пиксельные платформеры, напоминающие игры для приставки Dendy. В Genie 4 команда DeepMind совершила колоссальный скачок, перейдя к честным 3D-пространствам с поддержкой вида от первого и третьего лица.
Ключевое отличие модели мира от видеогенератора заключается в архитектуре генерации, управляемой действиями (Action-Conditioned Generation). Традиционная видеосеть пытается угадать следующий кадр исключительно на базе предыдущих кадров. Genie 4 работает иначе:
- Вектор входящих действий. На каждом временном шаге модель принимает два потока данных: текущее визуальное состояние сцены и вектор управляющего воздействия (нажата клавиша «вперед», стик геймпада отклонен вправо, нажат триггер прыжка).
- Скрытое обучение действиям (Latent Action Learning). Нейросеть не программировали по формулам классической физики. Ее обучили на десятках тысяч часов неразмеченного видео геймплея и 3D-симуляций. Модель сама, анализируя визуальные изменения при перемещении камеры, вывела эмпирические концепции: гравитацию, упругость твердых тел, сохранение импульса, скольжение и преломление света.
- Инференс в реальном времени. Модель синтезирует поток со скоростью от 24 до 30 кадров в секунду при минимальном инпут-лаге. Ты нажимаешь стрелку на клавиатуре — и персонаж на экране не просто скользит по текстуре, а честно спотыкается о кочки, поднимается по ступеням и отбрасывает динамическую тень.
О том, как развивается это направление, мы говорили в обзоре возможностей генеративной модели Genie 4 от DeepMind.
Память пространства: как победить дрейф при развороте на 180 градусов
Главным проклятием ранних нейросетевых симуляций был так называемый пространственный дрейф (spatial drift). Стоило игроку в сгенерированной комнате развернуть камеру на 180 градусов, а затем повернуться обратно, как мир полностью менялся: дверь исчезала, стена становилась другого цвета, а оставленные на столе предметы растворялись в воздухе. У нейросети попросту не было долговременной трехмерной памяти.
В Genie 4 эту проблему решили внедрением гибридного пространственно-временного буфера (Spatio-Temporal Memory Buffer). Архитектура удерживает скрытое геометрическое представление сцены. Если ты вошел в заброшенный ангар, разбил деревянный ящик и пошел исследовать соседний коридор, при возвращении назад ящик останется разбитым именно в той точке, где ты его оставил.
Более того, прямо во время интерактивной сессии можно в реальном времени модифицировать мир текстовыми командами:
- «Добавь сильный ливень и туман». Модель на лету пересчитывает отражения на мокром асфальте и снижает дальность прорисовки.
- «Уменьши гравитацию до лунной». Объекты начинают медленно парить при толчке.
- «Смени время суток на закат». Источник света смещается к горизонту, меняя цветовую температуру всей геометрии.
В отличие от классического веб-рендеринга вроде генерации 3D-миров на чистом Three.js, здесь нет заранее заданных полигональных сеток или шейдеров: каждый пиксель рождается в глубинах нейросети.
Зачем это нужно: бесконечный полигон для роботов и смерть классических движков
Многие воспринимают такие разработки исключительно как забаву для видеоигр. Безусловно, перспектива получить бесконечную RPG, где каждый город и квест генерируются на лету под стиль игрока, захватывает дух. Но главный коммерческий интерес DeepMind лежит в совершенно другой плоскости — в робототехнике.
Обучать двуногих роботов или автономные манипуляторы в реальном физическом мире — безумно дорого и долго. Робот падает, ломает сервоприводы, разбивает камеры и требует ремонта. До сих пор разработчики использовали ручные симуляторы (NVIDIA Isaac Sim, MuJoCo), требующие месяцев кропотливого труда 3D-моделлеров и физиков, о чем мы упоминали в контексте автоматизации пайплайнов в Blender и Unreal Engine.
Genie 4 позволяет за считанные секунды сгенерировать миллионы разнообразных симуляционных сценариев: скользкий кафель после мытья полов, заваленный коробками склад, лестницу со сломанной ступенькой. Роботы-агенты могут тренироваться в этих мирах на тысячекратной скорости, набивая миллиарды шишек в виртуальном пространстве до того, как их физическое тело сделает первый реальный шаг.
Где границы возможного: накопление ошибок и аппетиты к «железу»
Несмотря на технологический триумф, до полной замены Unreal Engine нейросетями пока далеко:
- Накопление ошибок на длинных дистанциях. Буфер памяти стабильно держит геометрию на протяжении 10–15 минут активной игры. После этого в дальних углах локаций начинает проявляться визуальная энтропия: текстуры слегка «плывут», а мелкие детали теряют четкость.
- Колоссальные требования к вычислительным ресурсам. Рендеринг трехмерной физики в реальном времени требует гигантских вычислительных мощностей. Модель работает на кластерах Google TPU v5p, и запустить ее на домашней видеокарте GeForce в обозримом будущем не получится.
- Отсутствие инженерной строгости. Модель мира оперирует визуальным правдоподобием, а не строгими математическими уравнениями Навье-Стокса. Использовать ее для аэродинамических расчетов ракет или краш-тестов автомобилей нельзя: она создает правдоподобную картинку, а не расчетную модель.
Genie 4 демонстрирует тектонический сдвиг: искусственный интеллект научился не просто пассивно описывать мир текстом или рисовать статичные картинки, а моделировать интерактивную физическую реальность. И этот виртуальный полигон изменит правила игры быстрее, чем кажется.