Cua Spaces: многопользовательская совместная работа людей и ИИ-агентовСтатья · дайджест за 7 ноября
Совместная работа человека и ИИ в среде Cua Spaces с независимыми курсорами
Статья4 раздела≈ 5 мин

Cua Spaces: многопользовательская совместная работа людей и ИИ-агентов

Направление Computer-Use — обучение нейросетей взаимодействовать с компьютером точно так же, как это делает живой человек (двигать курсор, нажимать кнопки, заполнять поля форм) — сегодня считается одним из самых многообещающих. Но вплоть до последнего времени эти агенты были заперты в «глухих одиночных камерах». Бот запускался в изолированной виртуальной машине, пользователь не видел его живых действий и лишь спустя минуты получал статичный скриншот или сообщение об ошибке.

Этот барьер непрозрачности порождал колоссальное недоверие. Если агент завис на двухфакторной аутентификации, перепутал вкладку или начал кликать не туда, человек ничем не мог ему помочь — приходилось убивать сессию и начинать всё сначала. Платформа Cua Spaces ломает эту изоляцию, превращая взаимодействие с агентами в многопользовательский общий рабочий стол (Multiplayer Shared Desktop), где люди и искусственные ассистенты работают плечом к плечу на одном экране.

Слепая песочница против открытого экрана

Главный концептуальный прорыв Cua Spaces — переход от изолированной песочницы к коллаборативному пространству в духе Figma или Google Docs, но примененному к целой операционной системе (Ubuntu Linux, macOS или Windows).

Когда ты открываешь сессию Cua Space, ты видишь живой рабочий стол. Но самое удивительное — курсоры:

  • У каждого живого инженера свой цветной курсор с подписью имени.
  • У каждого запущенного ИИ-агента — собственный независимый курсор другого цвета.
  • Все участники видят движения друг друга в реальном времени с частотой 60 кадров в секунду.

Если агент спотыкается на всплывающем окне подтверждения или графической капче, человеку больше не нужно переписывать промпты. Ты просто берешь мышь в руку, кликаешь нужную галочку прямо на глазах у агента — и бот мгновенно подхватывает управление дальше.

Протокол RCDP: независимые аппаратные курсоры на 60 FPS

Реализовать такую механику на базе старых протоколов удаленного доступа (вроде VNC или RDP) было технически невозможно: там курсор «запекается» прямо в картинку рабочего стола, и одновременное движение мыши двумя пользователями приводит к хаотичным рывкам.

Инженеры Cua разработали специализированный протокол RCDP (Remote Collaborative Desktop Protocol) поверх WebRTC:

  1. Разделение потоков: видеопоток пикселей транслируется независимо от потоков координатных событий.
  2. Аппаратный рендеринг: курсоры агентов и людей отрисовываются на стороне клиента с нулевой задержкой. В локальной сети задержка трансляции составляет всего 35–65 мс, а через глобальный интернет не превышает 95 мс.
  3. Емкость сессии: один рабочий стол выдерживает одновременную работу до 10 людей и до 4 активных ИИ-агентов без просадки частоты кадров.

Дерево доступности против тяжелых скриншотов

Еще одна фундаментальная инновация кроется в том, как именно агент «видит» экран. Ранние решения заставляли модель делать скриншот высокого разрешения каждые полсекунды и прогонять его через тяжелую мультимодальную нейросеть. Это сжигало огромные деньги на инференс и создавало паузы в 3–5 секунд на каждый клик.

В Cua Spaces агент подключается к среде через стандартный Model Context Protocol (MCP) и специализированный драйвер Cua Driver:

  • Вместо анализа сырых пикселей агент получает семантическое дерево доступности операционной системы (Accessibility Tree).
  • Он точно знает координаты всех кнопок, текстовых полей, выпадающих меню и их текущие состояния.
  • Благодаря этому скорость принятия решений агентом возрастает в 5–7 раз, а расходы на API падают на 80%.

Архитектура подключения агента и управление фокусом

Ниже показан пример программного подключения ИИ-агента к общему рабочему столу через Python SDK платформы Cua:

import asyncio
from typing import Tuple

class CuaCollaborativeClient:
    def __init__(self, space_id: str, auth_token: str):
        self.space_id = space_id
        self.auth_token = auth_token
        self.agent_cursor_id = None

    async def join_desktop(self, agent_name: str, cursor_color: str):
        print(f"[CUA SPACES] Подключение к сессии {self.space_id}...")
        await asyncio.sleep(0.3)
        self.agent_cursor_id = f"cur_{agent_name.lower()}"
        print(f"[CUA SPACES] Агент '{agent_name}' вошел на рабочий стол. Курсор: {cursor_color}")
        print("[RCDP] Поток WebRTC синхронизирован (60 FPS, пинг 45 мс).")

    async def click_element(self, element_name: str, coords: Tuple[int, int]):
        x, y = coords
        print(f"[ACTION] Перемещение курсора в точку ({x}, {y}) -> клик по элементу '{element_name}'")
        await asyncio.sleep(0.1)
        print(f"[ACTION] Клик успешно зафиксирован на общем экране.")

А вот как выглядит манифест запуска рабочего пространства с авторизованными сессиями (cua_space.json):

{
  "spaceId": "spc_dev_team_alpha",
  "osTemplate": "ubuntu-24.04-desktop",
  "resolution": "1920x1080@60",
  "collaborativeProtocol": "RCDP-WebRTC",
  "keyvault": {
    "teleportChromeSessions": true,
    "encryptedTokenStorage": "isolated-enclave"
  },
  "guardrails": {
    "inputFocusLocking": true,
    "requireHumanApprovalForRoot": true
  }
}

Cua Spaces устраняет самый неприятный барьер в работе с автономными системами — ощущение изоляции и потери контроля. Когда ты видишь каждое движение алгоритма собственными глазами и можешь на ходу подстраховать его на сложном шаге, автоматизация сложных десктопных задач наконец становится комфортной и безопасной.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3