Asistente de voz local JARVIS: coaching 100% offline en tu propio MacArtículo · digest del 7 de noviembre
Cápsula acústica local JARVIS sobre el escritorio junto al ordenador
Artículo4 secciones≈ 6 min

Asistente de voz local JARVIS: coaching 100% offline en tu propio Mac

Cualquiera que lleve negociaciones comerciales o asesore a clientes sobre servicios técnicos complejos conoce esa sensación: el cliente hace una pregunta inesperada, plantea una objeción escéptica sobre una mala experiencia pasada, y justo la cifra o el argumento necesario se esfuma de la cabeza. Las plataformas en la nube de analítica de voz como Gong o Chorus cuestan miles de dólares al mes y exigen enviar grabaciones de audio privadas a servidores externos, algo simplemente inaceptable para clínicas médicas, abogados o acuerdos B2B confidenciales.

Pero si tienes sobre el escritorio un ordenador Mac con chip Apple Silicon (M1, M2, M3 o M4), puedes desplegar un asistente personal completo JARVIS en un entorno 100% offline. Ni un solo byte de sonido sale de tu equipo. El sistema escucha la conversación entrante, transcribe el habla al vuelo, muestra al instante pistas en pantalla ante objeciones y, al terminar la llamada, compila automáticamente un borrador de propuesta comercial. Analicemos la arquitectura de esta combinación y pongámosla en marcha paso a paso.

Por qué los asistentes en la nube no sirven para negociaciones sensibles

Las soluciones tradicionales de ayuda durante llamadas sufren dos defectos fatales:

  1. Latencia de respuesta (Latency): enviar el flujo de audio a la nube, esperar la transcripción, mandar el texto al modelo de lenguaje y devolver la respuesta por la red toma entre 3 y 8 segundos. En una conversación en vivo eso es una eternidad: para cuando aparece la sugerencia, el interlocutor ya cambió de tema.
  2. Privacidad y seguridad de los datos: discutir condiciones financieras, diagnósticos médicos o código fuente bajo NDA no se puede confiar a plataformas SaaS de terceros con políticas poco claras sobre el entrenamiento de modelos.

El entorno local en Mac resuelve ambos problemas: los cálculos se realizan directamente en el Neural Engine y la memoria unificada Unified Memory con costo cero en claves de API.

Anatomía del entorno local: oído, cerebro y síntesis de voz

El sistema JARVIS está dividido en cuatro módulos autónomos:

  • Oído local (Ears): modelo cuantizado faster-whisper (basado en CTranslate2) junto con el detector de pausas Silero VAD. Transcribe fragmentos de audio de 1.5–3 segundos con una latencia de apenas 180–320 ms.
  • Cerebro local (Brain): modelo abierto Qwen 2.5 7B (o Llama 3.2), ejecutándose localmente mediante la plataforma Ollama. El modelo está ajustado en modo de pistas de una línea: cuando aparece una objeción, en 450–700 ms entrega exactamente un argumento concentrado de hasta 15 palabras.
  • Visión local (Eyes): biblioteca ocrmac, que usa la API nativa Apple Vision para leer al instante pestañas abiertas y presentaciones sin cargar el procesador.
  • Voz local (Voice): modelo ultrarrápido Kokoro-82M a través del entorno de ejecución kokoro-onnx, por si el asistente necesita susurrar la respuesta al auricular.

Todo este conjunto ocupa alrededor de 6.8 GB de memoria operativa unificada, dejando recursos suficientes para el navegador y la videoconferencia.

Escenario en vivo: pistas en tiempo real durante la llamada con un cliente

Veamos un caso real de la práctica de Julian Goldie durante una llamada con Sarah, dueña de la clínica de fisioterapia Harbor Physio. La clienta expresó una duda típica: «Ya contratamos una agencia hace dos años, gastamos muchísimo dinero y el resultado fue cero».

El gestor ni siquiera alcanzó a tomar aire para responder cuando JARVIS, tras captar la frase mediante Whisper, mostró en el monitor un consejo conciso: «Haz énfasis en resolver el problema de las ausencias de pacientes (no-shows) y en la ausencia de presupuesto inicial». El gestor tomó el argumento con seguridad, el diálogo pasó a un terreno constructivo y, para el momento de la despedida, el sistema ya había armado el borrador de un acuerdo personalizado.

A continuación se presenta el script funcional en Python del procesador de flujo de voz:

import time
import requests
from faster_whisper import WhisperModel

# 1. Inicialización del oído local
whisper = WhisperModel("small", device="cpu", compute_type="int8")

def get_coaching_hint(client_phrase: str) -> str:
    system_prompt = (
        "Eres un coach oculto de ventas. Analiza la objeción del cliente y da exactamente UN "
        "contraargumento preciso o pregunta aclaratoria (hasta 15 palabras). Responde estrictamente en español."
    )
    payload = {
        "model": "qwen2.5:7b",
        "prompt": f"Frase del cliente: \"{client_phrase}\"\nPista para el gestor:",
        "system": system_prompt,
        "stream": False,
        "options": {"temperature": 0.2}
    }
    response = requests.post("http://localhost:11434/api/generate", json=payload)
    return response.json()["response"].strip()

def process_live_utterance(audio_path: str):
    start_time = time.time()
    segments, _ = whisper.transcribe(audio_path, beam_size=1, language="ru")
    recognized_speech = " ".join([seg.text for seg in segments]).strip()
    
    if recognized_speech:
        print(f"\n[Cliente]: {recognized_speech}")
        advice = get_coaching_hint(recognized_speech)
        print(f"[JARVIS Pista]: {advice}")
        print(f"[Latencia de reacción]: {time.time() - start_time:.2f} seg.")

Despliegue en macOS mediante Homebrew y Ollama

Configurar el entorno de trabajo en Mac toma alrededor de 15 minutos.

  1. Instalación del cable de audio virtual BlackHole para capturar sonido desde Zoom o Google Meet:
brew install blackhole-2ch

En los ajustes del sistema «Audio MIDI Setup» se crea un «Multi-Output Device» para que el sonido vaya en paralelo a tus auriculares y al canal de entrada virtual del script.

  1. Instalación y arranque de la inferencia local Ollama:
brew install ollama
ollama serve &
ollama run qwen2.5:7b
  1. Instalación de las bibliotecas Python del pipeline:
pip install faster-whisper kokoro-onnx sounddevice requests

Tras ejecutar el script obtienes un compañero digital fiel en tus negociaciones. Sin facturas mensuales, sin riesgos de filtración y con reacción instantánea directamente en tu Mac.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 4