Si alguna vez has construido un servicio corporativo de transcripción de llamadas de voz o has transcrito grabaciones de meetups de varias horas, seguro que sabes dónde tropieza el tan elogiado Whisper de OpenAI. Sí, con la locución limpia en estudio de un solo hablante el modelo entrega un texto decente. Pero basta con pasarle una videollamada real en Zoom donde tres personas se interrumpen con emoción sobre el zumbido del aire acondicionado y el tecleo para que el pipeline se convierta en una pesadilla.
El gran problema de Whisper es su ceguera arquitectónica ante los hablantes: el modelo suelta un muro continuo de texto sin la menor noción de quién pronunció cada intervención. Los ingenieros tenían que montar parches monstruosos: trocear el audio por separado, pasarlo por la biblioteca PyAnnote para la diarización (identificación de locutores) y luego intentar alinear con una tercera red neuronal las marcas de tiempo del texto con las pistas de voz. Cualquier fallo en la unión provocaba alucinaciones y atribuía citas a la persona equivocada.
NVIDIA puso fin a ese sufrimiento presentando la familia abierta insignia de modelos Nemotron 3.5 Speech. El buque insignia de la gama —Nemotron 3.5 Transcribe— encabezó el ranking mundial Hugging Face Open ASR Leaderboard al ofrecer una arquitectura integral con diarización integrada y marcas de tiempo palabra por palabra de serie. Analicemos la anatomía de la novedad y pongamos en marcha un pipeline práctico en Python.
Arquitectura SALM: fusión de acústica Fastconformer y modelo de lenguaje Mamba-Transformer
A diferencia de los sistemas ASR clásicos, que funcionan como un simple traductor acústico de sonido a letras, Nemotron 3.5 está diseñado como un modelo de lenguaje hablado: SALM (Speech-Augmented Language Model). El pipeline combina cuatro bloques fundamentales:
- Codificador acústico Fastconformer. Módulo optimizado de atención convolucional que transforma espectrogramas Mel de audio bruto con frecuencia de muestreo de 16 kHz en vectores contextuales densos con compresión temporal de ocho veces.
- Módulo integrado de diarización. Subred congelada Nemotron 3 Diarization que extrae las huellas vocales (speaker embeddings) de cada participante de la conversación en paralelo al procesamiento del espectrograma.
- Núcleo lingüístico Nemotron 3.5 Lightning 30B-A3B. Es un gran modelo de lenguaje con arquitectura de mezcla de expertos (Mixture-of-Experts, MoE). De los 30 mil millones de parámetros totales, para cada token se activan dinámicamente apenas unos 4.3 mil millones de pesos. Además, los bloques del modelo combinan capas de espacio de estados selectivo Mamba-2 y atención transformer clásica, garantizando una comprensión profunda de la gramática y el contexto de las intervenciones.
- Adaptador CTC para marcas palabra por palabra (timestamps). Decodificador especializado que sincroniza el texto generado con la línea temporal de la pista de audio con precisión de milisegundos.
Esta aleación híbrida elimina las alucinaciones típicas de modelos antiguos en tramos de silencio: el modelo de lenguaje «escucha» las pausas y no intenta inventar palabras donde solo suena ruido de fondo.
Práctica: pipeline de transcripción con diarización en Python
Para trabajar con Nemotron 3.5, NVIDIA ofrece el conjunto de herramientas abierto NeMo Toolkit. El script básico para reconocer un archivo de audio con separación integrada de intervenciones por hablante resulta sumamente conciso:
import nemo.collections.asr as nemo_asr
def transcribe_audio_meeting(audio_path: str):
# Carga de los pesos del modelo integral Nemotron 3.5 Transcribe
model_name = "nvidia/nemotron-3.5-transcribe"
asr_model = nemo_asr.models.EncDecCTCModelBPE.from_pretrained(
model_name=model_name
)
# Ejecución de inferencia por lotes con extracción de hipótesis
hypotheses = asr_model.transcribe(
paths2audio_files=[audio_path],
batch_size=1,
return_hypotheses=True
)
# Procesamiento de la transcripción y etiquetas de los participantes del diálogo
for result in hypotheses:
print("=== Full Detected Dialogue ===")
print(result.text)
if hasattr(result, "speaker_labels") and result.speaker_labels:
print("\n=== Speaker Mapping with Timestamps ===")
for segment in result.speaker_labels:
speaker = segment.get("speaker", "Unknown")
start = segment.get("start_time", 0.0)
end = segment.get("end_time", 0.0)
phrase = segment.get("text", "")
print(f"[{start:.2f}s - {end:.2f}s] {speaker}: {phrase}")
if __name__ == "__main__":
transcribe_audio_meeting("board_meeting_call.wav")
El modelo acepta un archivo de audio de entrada de hasta una hora de duración en una sola pasada continua, sin necesidad de trocearlo previamente en fragmentos pequeños.
Inferencia industrial: compilación mediante TensorRT-LLM
Para su uso en pasarelas telefónicas de alta carga y centros de contacto, la ejecución mediante PyTorch no aprovecha al máximo la GPU. Los modelos de la familia Nemotron están completamente optimizados para compilarse en motores binarios de alta velocidad mediante el stack TensorRT-LLM:
# Compilación del motor binario optimizado Nemotron 3.5 Speech
trtllm-build \
--checkpoint_dir ./checkpoints/nemotron-3.5-speech \
--output_dir ./engines/nemotron_trt \
--gemm_plugin float16 \
--max_batch_size 16 \
--max_input_len 8192
# Arranque del microservicio de reconocimiento en streaming sobre Triton Inference Server
tritonserver --model-repository=/models/nemotron_speech_trt/ --grpc-port=8001
Para tareas de traducción simultánea en vivo y asistentes de voz, la gama incluye también el modelo compacto nemotron-3.5-asr-streaming-0.6b de apenas 600 millones de parámetros. Soporta latencia ajustable de reconocimiento en streaming de 80 milisegundos a 1 segundo, entregando al instante palabras intermedias a medida que se pronuncian. Sobre cómo evolucionan los modelos de audio integrales y los agentes de voz en tiempo real, lee nuestro artículo sobre la comparativa de Hermes Apollo y la red nativa de audio Dessa.
Ranking Open ASR y superioridad frente a Whisper
En el prestigioso benchmark Hugging Face Open ASR Leaderboard, el modelo Nemotron 3.5 ocupó el primer puesto indiscutible entre los pesos abiertos. La tasa media de error por palabra (Word Error Rate, WER) fue de:
- 4.71% en conjuntos de prueba en inglés;
- 4.62% en muestras multilingües (frente a ~6.8% en Whisper Large v3).
El modelo soporta 40 idiomas del mundo. Además, la diarización integrada de hablantes sin ajuste adicional está disponible para los 13 idiomas más extendidos. La aleación arquitectónica de Mamba y MoE aporta el mismo salto de eficiencia que en las soluciones visuales de la compañía: antes analizamos esta mecánica en el estudio del codificador multimodal Nemotron 3.5 Super VL.
Requisitos de hardware y marco operativo
Antes de integrar Nemotron 3.5 en tu entorno de producción, presta atención a los requisitos técnicos:
- Requisitos de VRAM: el modelo base Transcribe contiene un núcleo lingüístico MoE de 30B parámetros (~4.3B activos), por lo que para una inferencia cómoda en FP16 se necesita una GPU con 16–24 GB de memoria (del nivel de RTX 4090, RTX 6000 Ada o A100). Para tarjetas más modestas conviene elegir la versión en streaming de 0.6B parámetros.
- Preparación del audio: el modelo exige estrictamente audio con frecuencia de muestreo de 16,000 Hz en formato mono. Las grabaciones a 8 kHz (telefonía estándar) o 44.1 kHz requieren remuestreo previo obligatorio mediante
soxoffmpeg. - Idiomas de diarización: aunque el reconocimiento de texto funciona en 40 idiomas, la separación de calidad entre hablantes está probada sobre un conjunto de 13 lenguas principales; en idiomas poco frecuentes las intervenciones pueden agruparse bajo un único identificador.
NVIDIA Nemotron 3.5 Speech marca un nuevo estándar para el reconocimiento de voz abierto: la arquitectura integral ha librado por fin a los desarrolladores del zoológico de bibliotecas dispersas, uniendo escucha, comprensión y separación de voces en un único checkpoint elegante.

