Dessa de Block: el modelo de voz de IA entrenado exclusivamente con habla realArtículo · digest del 25 de octubre
Macrofotografía de estudio de un micrófono vintage con una onda sonora luminosa dinámica del habla real del modelo Dessa.
Artículo3 secciones≈ 5 min

Dessa de Block: el modelo de voz de IA entrenado exclusivamente con habla real

Seguro que has notado esa extraña sensación de falsedad al hablar con asistentes de voz, ya sea el modo de voz estándar de ChatGPT, Siri o el robot telefónico de soporte de tu banco. Las palabras parecen correctas, la gramática es impecable y la voz resulta agradable, pero tu subconsciente grita al instante: tienes delante una máquina sin alma. Las pausas entre frases son antinaturalmente uniformes, la entonación no cambia ante una broma y, si intentas interrumpirlo a mitad de frase, el bot sigue recitando su párrafo memorizado o se atraganta y pierde el hilo.

El equipo de investigación de Block (el imperio financiero de Jack Dorsey, creador de Square y Cash App) ha decidido poner fin a esa artificialidad mecánica. Acaban de presentar Dessa, un sistema experimental de voz que suena tan inquietantemente humano que sus creadores han preferido guardar sus pesos bajo siete llaves por ahora.

La muerte del pipeline clásico: por qué ya no hace falta texto para sintetizar voz

Para entender en qué consiste el avance fundamental de Dessa, echemos un vistazo bajo el capó de los sistemas de voz tradicionales. Históricamente, todo diálogo hablado pasaba por un engorroso circuito de tres etapas:

  1. Reconocimiento automático del habla (ASR): tu voz se convierte en letras de texto.
  2. Modelo grande de lenguaje (LLM): se analizan los tokens de texto y se genera una respuesta escrita.
  3. Síntesis de voz (TTS): un modelo vocal lee en voz alta el texto generado.

¿Ves dónde está la trampa? En el preciso instante en que la voz humana viva se convierte en texto plano, se evapora para siempre el 90 % de la información emocional y de matiz. Una transcripción escrita no sabe si dijiste la frase con sarcasmo o totalmente en serio, si te tembló la voz por los nervios, si soltaste un suspiro pesado antes de contestar o si esbozaste una media risa.

Dessa manda el eslabón de texto directamente al cubo de la basura de la historia. Es una red neuronal de extremo a extremo «audio a audio» (End-to-End Audio). No traduce palabras a letras y vuelta atrás. La red se entrenó directamente sobre cientos de miles de horas de grabaciones de conversaciones humanas reales. Sus capas internas operan con patrones espectrales y acústicos continuos, comprendiendo el habla directamente a través del sonido.

Dúplex completo real: interrupciones, risa y reacción a las emociones del interlocutor

Prescindir del intermediario textual permitió a los ingenieros de Block implementar un auténtico dúplex completo (Full Duplex). En los chatbots habituales el funcionamiento es semidúplex: o te escucha el micrófono, o se apaga mientras habla el modelo.

Dessa escucha el flujo de sonido de forma continua, incluso mientras ella misma está hablando. Si empiezas a hablar en mitad de su frase, reacciona como una persona tomando un café contigo: no se corta en seco como un robot, sino que baja suavemente el volumen, intercala una breve muletilla («ajá», «te escucho») y te cede el turno.

Pero lo que más impresiona son los microdetalles del comportamiento conversacional:

  • El modelo sabe reírse mientras pronuncia palabras, entrecortando la respiración exactamente como ocurre en una risa real.
  • Hace pausas naturales para pensar, alargando vocales o introduciendo ligeras vacilaciones si la pregunta resulta inesperada.
  • Si en tu voz asoma irritación o cansancio, Dessa cambia al instante el timbre a uno más suave y tranquilizador, sin necesidad de indicación alguna en un prompt.
  • El tiempo de respuesta (la latencia entre el final de tu intervención y el inicio de la suya) es inferior a 200 milisegundos, el umbral por debajo del cual el oído humano deja de percibir la pausa como un retardo mecánico.

Del superclúster GB200 al MacBook local: velocidad de inferencia y privacidad

Entrenar una arquitectura así de extremo a extremo exigió recursos titánicos. En Block desplegaron un superclúster de cómputo basado en los nuevos chips NVIDIA GB200 NVL72 para afinar los algoritmos de compresión y representación vectorial de ondas de audio.

Sin embargo, la sorpresa más grata para los ingenieros independientes fue lo compacto que resulta el modelo en ejecución (inferencia). Sus autores lograron optimizar los pesos con tal maestría que Dessa es capaz de funcionar completamente en local en portátiles MacBook Pro con procesador Apple M4 Max.

Piensa en lo que esto cambia en términos de privacidad. Ya no necesitas enviar conversaciones íntimas, consultas médicas o discusiones sobre operaciones financieras confidenciales a los servidores remotos de ninguna corporación. Un asistente de voz con calidad cinematográfica corre directamente en la memoria RAM de tu portátil, sin conexión a internet.

¿Por qué entonces Block no ha publicado el modelo en abierto? La respuesta es obvia: el riesgo colosal de ingeniería social. Al teléfono es imposible distinguir la voz de Dessa de la de una persona real, lo que abriría una peligrosa caja de Pandora para estafas telefónicas y ataques contra la biometría vocal de los bancos. Por eso, de momento, el modelo solo está disponible en vista previa cerrada de investigación para especialistas en seguridad. Pero la dirección está marcada: la era de las muletas de texto en la IA de voz ha terminado para siempre.

Quiero un análisis detalladoLos votos ayudan a elegir qué analizar a fondo. Este material tiene 0 votos.
Fuentes · 3