В сфере автоматического распознавания речи (Automatic Speech Recognition, ASR) долгие годы царила монополия архитектуры Whisper от OpenAI. Все, кому требовалось перевести аудио в текст — от создателей субтитров до разработчиков корпоративных ботов, — брали семейство Whisper, накатывали библиотеки ускорения вроде Faster-Whisper и старались не замечать его врожденных недостатков.
А недостатков хватало: склонность к бесконечным галлюцинациям на фрагментах с фоновой тишиной или музыкой, медленная скорость работы с длинными записями и, главное, полное отсутствие нативной диаризации (разделения речи по спикерам). Чтобы понять, кто именно произнес реплику на важной корпоративной планерке, приходилось накручивать отдельную тяжелую нейросеть вроде PyAnnote, что усложняло пайплайн и роняло производительность.
Компания Nvidia нанесла сокрушительный удар по привычным стандартам, выпустив специализированную открытую модель NVIDIA Nemotron 3.5 Transcribe на базе собственного фреймворка NeMo. Это не просто быстрый транскрибатор, а полноценный аналитический комбайн для локальной расшифровки деловых встреч. Давай посмотрим, как устроена модель и как запустить ее на своей рабочей станции.
За пределами Whisper: почему обычного распознавания речи уже мало
В деловой среде сырой текст аудиозаписи сам по себе имеет небольшую ценность. Если ты получил сплошную простыню из пяти тысяч слов без знаков препинания и указания говорящих, тебе все равно придется вручную переслушивать запись, чтобы понять, какое именно поручение дал генеральный директор, а о чем спорили маркетологи.
Nemotron 3.5 Transcribe изначально проектировалась под задачи бизнес-коммуникаций:
- Сверхнизкий уровень ошибок по словам (Word Error Rate, WER): модель блестяще справляется со сложной технической терминологией, аббревиатурами и акцентами;
- Встроенная диаризация спикеров: алгоритм прямо в процессе декодирования аудиопотока идентифицирует акустические отпечатки голосов и маркирует каждого говорящего (Спикер 1, Спикер 2);
- Устойчивость к акустическому шуму: в отличие от Whisper, Nemotron не выдумывает бессмысленные фразы на паузах и вздохах, корректно пропуская тишину;
- Высочайшая скорость обработки: оптимизированные архитектурные блоки Conformer в сочетании с библиотекой TensorRT-LLM обеспечивают скорость транскрибирования в 15–20 раз быстрее реального времени (RTF < 0.05).
Этот релиз органично продолжает развитие экосистемы, которую мы рассматривали в обзоре открытого флагмана NVIDIA Nemotron для распознавания речи.
С технической точки зрения ключевое новшество архитектуры FastConformer в Nemotron 3.5 — 8-кратное понижение частоты дискретизации (subsampling) на ранних слоях нейросети. Это позволяет модели сжимать акустический спектр во времени без потери фонетической информации, радикально сокращая длину последовательности, поступающей на вход блокам внимания. Именно за счет этого достигается рекордная скорость инференса даже при одновременной диаризации нескольких перебивающих друг друга голосов.
Архитектура стека NeMo и аппаратные требования
Под капотом Nemotron 3.5 Transcribe трудится гибридная архитектура, объединяющая акустический энкодер FastConformer и легковесный декодер на трансформерах.
Модель выпускается в нескольких весовых категориях, но наиболее интересна для практики версия на 1.5 миллиарда параметров. Она идеально сбалансирована для запуска на потребительских видеокартах Nvidia GeForce RTX 3080, 4070 или 4080 с 8–16 ГБ видеопамяти.
Для корпоративного применения ключевой фактор — абсолютная конфиденциальность данных. Ни одна запись конфиденциального совещания совета директоров, ни одна запись разговора службы безопасности не покидает периметр локального сервера компании.
Практический запуск расшифровки на Python
Для работы с моделью используется официальная библиотека Nvidia NeMo Toolkit либо высокоскоростной пайплайн Hugging Face Transformers.
Вот рабочий пример скрипта для пакетной транскрипции аудиофайла с извлечением спикеров и таймкодов:
import torch
import nemo.collections.asr as nemo_asr
def transcribe_meeting(audio_path):
# Загрузка предварительно обученной модели Nemotron Transcribe
print("Загрузка модели Nemotron 3.5 Transcribe...")
asr_model = nemo_asr.models.EncDecCTCModelBPE.from_pretrained(
model_name="nvidia/nemotron-3.5-transcribe-1.5b"
)
# Перевод модели на графический процессор
device = "cuda" if torch.cuda.is_available() else "cpu"
asr_model = asr_model.to(device)
# Выполнение транскрипции с автоматической пунктуацией
print(f"Обработка аудиофайла {audio_path}...")
asr_results = asr_model.transcribe(
paths2audio_files=[audio_path],
batch_size=4,
return_hypotheses=True
)
# Вывод распознанного текста с метками
hypothesis = asr_results[0]
print("
Результат расшифровки:")
print(hypothesis.text)
if __name__ == "__main__":
transcribe_meeting("meeting_recording.wav")
Для быстрого тестирования из терминала разработчики NeMo предоставляют удобную консольную утилиту:
# Запуск пакетной обработки каталога с аудиозаписями через командную строку
python3 -m nemo.collections.asr.scripts.transcribe_speech --model_name="nvidia/nemotron-3.5-transcribe-1.5b" --audio_dir="./recordings" --output_filename="./recognized_output.json" --cuda=0
Итог для прикладных систем
Появление Nemotron 3.5 Transcribe знаменует окончательное взросление локальных речевых технологий. Мы получили быстрый, надежный и бесплатный инструмент промышленного уровня, который можно встроить в корпоративный мессенджер, подключить к АТС отдела продаж или использовать для мгновенной расшифровки личных голосовых заметок без абонентской платы и риска утечки данных.