El área de Computer-Use —entrenar redes neuronales para interactuar con un ordenador exactamente como lo hace una persona (mover el cursor, pulsar botones, rellenar campos de formularios)— se considera hoy una de las más prometedoras. Pero hasta hace muy poco estos agentes estaban encerrados en «celdas solitarias sordas». El bot se ejecutaba en una máquina virtual aislada, el usuario no veía sus acciones en vivo y solo minutos después recibía una captura estática o un mensaje de error.
Esa barrera de opacidad generaba una desconfianza enorme. Si el agente se quedaba atascado en una autenticación de dos factores, confundía una pestaña o empezaba a hacer clic donde no debía, la persona no podía ayudarlo en nada: tocaba matar la sesión y empezar todo de nuevo. La plataforma Cua Spaces rompe ese aislamiento convirtiendo la interacción con agentes en un escritorio compartido multiusuario (Multiplayer Shared Desktop), donde personas y asistentes artificiales trabajan codo a codo en una misma pantalla.
Sandbox ciego frente a pantalla abierta
El principal avance conceptual de Cua Spaces es el paso de un sandbox aislado a un espacio colaborativo al estilo de Figma o Google Docs, pero aplicado a todo un sistema operativo (Ubuntu Linux, macOS o Windows).
Cuando abres una sesión de Cua Space, ves un escritorio vivo. Pero lo más sorprendente son los cursores:
- Cada ingeniero humano tiene su propio cursor de color con la etiqueta de su nombre.
- Cada agente de IA en ejecución tiene su propio cursor independiente de otro color.
- Todos los participantes ven los movimientos de los demás en tiempo real a 60 fotogramas por segundo.
Si el agente tropieza con una ventana emergente de confirmación o un captcha gráfico, la persona ya no necesita reescribir prompts. Simplemente tomas el ratón con la mano, marcas la casilla necesaria delante del propio agente y el bot retoma el control al instante.
Protocolo RCDP: cursores independientes por hardware a 60 FPS
Implementar una mecánica así sobre protocolos antiguos de acceso remoto (como VNC o RDP) era técnicamente imposible: allí el cursor se «hornea» directamente en la imagen del escritorio, y el movimiento simultáneo del ratón por dos usuarios provoca saltos caóticos.
Los ingenieros de Cua desarrollaron el protocolo especializado RCDP (Remote Collaborative Desktop Protocol) sobre WebRTC:
- Separación de flujos: el flujo de video de píxeles se transmite de forma independiente a los flujos de eventos de coordenadas.
- Renderizado por hardware: los cursores de agentes y personas se dibujan en el lado del cliente con latencia cero. En red local, el retardo de transmisión es de apenas 35–65 ms, y a través de internet global no supera los 95 ms.
- Capacidad de sesión: un solo escritorio soporta el trabajo simultáneo de hasta 10 personas y hasta 4 agentes de IA activos sin caída de fotogramas.
Árbol de accesibilidad frente a capturas pesadas
Otra innovación fundamental radica en cómo exactamente «ve» la pantalla el agente. Las soluciones tempranas obligaban al modelo a tomar una captura de alta resolución cada medio segundo y pasarla por una pesada red neuronal multimodal. Eso quemaba muchísimo dinero en inferencia y creaba pausas de 3–5 segundos en cada clic.
En Cua Spaces, el agente se conecta al entorno mediante el estándar Model Context Protocol (MCP) y el controlador especializado Cua Driver:
- En lugar de analizar píxeles en bruto, el agente recibe el árbol semántico de accesibilidad del sistema operativo (Accessibility Tree).
- Conoce con exactitud las coordenadas de todos los botones, campos de texto, menús desplegables y sus estados actuales.
- Gracias a ello, la velocidad de toma de decisiones del agente aumenta entre 5 y 7 veces, y los gastos de API caen un 80%.
Arquitectura de conexión del agente y control de foco
A continuación se muestra un ejemplo de conexión programática de un agente de IA al escritorio compartido mediante el SDK en Python de la plataforma Cua:
import asyncio
from typing import Tuple
class CuaCollaborativeClient:
def __init__(self, space_id: str, auth_token: str):
self.space_id = space_id
self.auth_token = auth_token
self.agent_cursor_id = None
async def join_desktop(self, agent_name: str, cursor_color: str):
print(f"[CUA SPACES] Conectando a la sesión {self.space_id}...")
await asyncio.sleep(0.3)
self.agent_cursor_id = f"cur_{agent_name.lower()}"
print(f"[CUA SPACES] El agente '{agent_name}' entró al escritorio. Cursor: {cursor_color}")
print("[RCDP] Flujo WebRTC sincronizado (60 FPS, ping 45 ms).")
async def click_element(self, element_name: str, coords: Tuple[int, int]):
x, y = coords
print(f"[ACTION] Moviendo cursor al punto ({x}, {y}) -> clic en elemento '{element_name}'")
await asyncio.sleep(0.1)
print(f"[ACTION] Clic registrado con éxito en la pantalla compartida.")
Y así se ve el manifiesto de lanzamiento del espacio de trabajo con sesiones autorizadas (cua_space.json):
{
"spaceId": "spc_dev_team_alpha",
"osTemplate": "ubuntu-24.04-desktop",
"resolution": "1920x1080@60",
"collaborativeProtocol": "RCDP-WebRTC",
"keyvault": {
"teleportChromeSessions": true,
"encryptedTokenStorage": "isolated-enclave"
},
"guardrails": {
"inputFocusLocking": true,
"requireHumanApprovalForRoot": true
}
}
Cua Spaces elimina la barrera más incómoda al trabajar con sistemas autónomos: la sensación de aislamiento y pérdida de control. Cuando ves cada movimiento del algoritmo con tus propios ojos y puedes respaldarlo sobre la marcha en un paso difícil, la automatización de tareas complejas de escritorio por fin se vuelve cómoda y segura.

