Piensa en cómo suele ser tu interacción con un asistente de IA en mitad de una jornada intensa. Estás cuadrando una tabla compleja en Excel, escribiendo código o revisando un contrato. Para hacerle una pregunta al modelo tienes que parar, soltar el teclado, hacer una captura de pantalla de la zona concreta, cambiar a la ventana del navegador, adjuntar la imagen al chat, teclear una explicación y esperar un par de segundos la respuesta. Parece un detalle menor, pero ese corte constante de contexto rompe por completo el ritmo de trabajo y el hilo de las ideas.
El equipo de Nous Research resolvió este problema de raíz lanzando el módulo multimodal abierto Hermes Apollo dentro de su ecosistema Agent OS. Apollo no se comporta como un chatbot encerrado en una pestaña web, sino como un compañero atento sentado junto a ti en la misma mesa, mirando directo a tu monitor y respondiendo al instante con voz natural a cualquier comentario sin que tengas que pulsar botones ni escribir prompts.
Mirando por encima del hombro: por qué el flujo de vídeo en segundo plano cambia el diálogo
La principal baza técnica de Apollo es la captura continua de pantalla en segundo plano (Screen Capture Video Stream). El agente no espera a que le pases archivos ni capturas manuales. Mediante un controlador nativo del sistema lee a una frecuencia de 1 o 2 fotogramas por segundo lo que ocurre en tu monitor: la ventana activa del editor de código, una web abierta en el navegador, logs en la terminal o una tabla de facturas.
En lugar de procesar cada fotograma a lo bruto, el modelo aplica un algoritmo de muestreo dinámico: si nada cambia en pantalla, la frecuencia de escaneo baja para ahorrar recursos de la tarjeta gráfica. Pero en cuanto seleccionas una línea de texto o abres otra ventana, Apollo detecta el cambio al instante.
Puedes decir en voz alta sin apartar la vista del documento: «Oye, comprueba si el total al final de la tabla cuadra con la factura de la pestaña de al lado». El agente ve ambos documentos y te contesta de viva voz en el acto: «En la novena fila hay un descuadre de 1400 rublos, el IVA está mal calculado». Es otro nivel de ergonomía frente al que las interfaces de texto simplemente no pueden competir.
Voz sin pausas: cómo el canal Voice-to-Voice elimina la espera
La segunda innovación clave de Apollo es abandonar el clásico flujo «en sándwich» para la voz. En los bots de voz convencionales, el audio primero se transcribe a texto (con un modelo STT como Whisper), luego el texto viaja al modelo de lenguaje, se genera la respuesta y solo después el sintetizador de voz (TTS) empieza a hablar. La demora acumulada rondaba los 2 o 4 segundos: una eternidad en una conversación fluida.
Ya seguíamos la evolución de la plataforma, en particular el despliegue del equipo de agentes en Hermes Agent OS. Apollo incorpora procesamiento de audio en streaming en tiempo real con soporte Full-duplex:
- la latencia de respuesta cae a fracciones de segundo (300–500 ms);
- el sistema capta entonaciones naturales y pausas humanas;
- puedes interrumpir al agente a mitad de frase con un comentario normal y se calla al instante para escuchar tu nueva aclaración.
La conversación suena tan fluida como una llamada telefónica con un especialista real, creando una auténtica sensación de presencia.
Obsidian como memoria a largo plazo: Markdown transparente en vez de bases en la nube
El punto más delicado de cualquier asistente personal avanzado es la memoria a largo plazo. ¿Dónde se guardan tus acuerdos, los datos encontrados y las notas de trabajo? En la mayoría de productos comerciales, esa memoria queda encerrada en bases de datos propietarias en la nube de las que resulta casi imposible exportarla o editarla con comodidad.
Los desarrolladores de Nous Research tomaron una decisión brillante por su sencillez: usar como almacén central de memoria de Apollo la bóveda local del popular editor de notas Obsidian (Obsidian Shared Memory). Todas las ideas clave, decisiones tomadas, fragmentos de código y encargos se estructuran y se añaden automáticamente a archivos Markdown normales y corrientes en tu disco duro.
Eso resuelve tres necesidades fundamentales de golpe:
- Transparencia absoluta: en cualquier momento abres tu carpeta en Obsidian, lees los apuntes de hoy del agente, corriges una frase a mano o borras lo que sobre.
- Acceso multiagente: ampliando las ideas del sistema operativo abierto Hermes, otros bots en segundo plano de tu equipo pueden leer ese mismo archivo Markdown y retomar tareas sin consultar servidores externos.
- Seguridad y privacidad: tus ideas, listas de pendientes y cifras de negocio no acaban en centros de datos ajenos.
Arranque del servicio Apollo y registro automático de notas
Para desplegar el agente de voz Apollo necesitas un entorno local con Python 3.11+ y una GPU compatible con CUDA o acceso a la API de modelos abiertos.
Clonamos el repositorio y arrancamos el servicio indicando la ruta de la bóveda local de Obsidian:
# Clonar el repositorio e instalar dependencias
git clone https://github.com/NousResearch/Hermes-Agent.git
cd Hermes-Agent
pip install -r requirements.txt
# Arrancar el demonio Apollo con captura de pantalla y canal de voz
python -m hermes_agent.apollo \
--model "nousresearch/hermes-3-llama-3.1-8b" \
--screen-capture-fps 2 \
--audio-backend "elevenlabs" \
--obsidian-vault "~/Documents/ObsidianVault"
Para enrutar la memoria se crea el módulo hook obsidian_memory_hook.py, que registra los comandos de voz y las observaciones de pantalla en el diario cotidiano de notas:
import os
from datetime import datetime
def sync_apollo_memory(event_type: str, summary: str, vault_path: str):
"""Sincroniza hechos y decisiones del agente Apollo en el diario de Obsidian."""
today = datetime.now().strftime("%Y-%m-%d")
log_file = os.path.join(vault_path, "Daily", f"{today}.md")
os.makedirs(os.path.dirname(log_file), exist_ok=True)
timestamp = datetime.now().strftime("%H:%M:%S")
entry = f"\n- **[{timestamp}] Apollo ({event_type})**: {summary}\n"
with open(log_file, "a", encoding="utf-8") as f:
f.write(entry)
print(f"Evento registrado en Obsidian: {log_file}")
Como el flujo de vídeo se analiza de forma continua, en el campo de visión del agente pueden aparecer contraseñas, números de tarjeta o chats privados. Configura un atajo de teclado para cortar al instante el stream de vídeo (Privacy Mute) y añade las aplicaciones sensibles a la lista de exclusiones de captura.
En la barra de tareas también tienes disponible la interfaz visual Pixel Office, que muestra el estado actual del agente (si está escuchando, analizando la pantalla o escribiendo en tus notas). Estamos ante un prototipo real de cómo será el escritorio del futuro: sin teclear prompts ni perseguir ventanas con el ratón.

