Голосовые агенты в Hermes Voice: дуплексное аудио, интеграция GPT-6 Astra и обработка прерываний bargingКратко · дайджест за 17 сентября
Кратко≈ 1 мин

Голосовые агенты в Hermes Voice: дуплексное аудио, интеграция GPT-6 Astra и обработка прерываний barging

Обновление голосового модуля Hermes Voice в связке с моделью GPT-6 Astra решает проблему невозможности естественного перебивания ассистента во время речи. В классических системах бот озвучивает аудиотрек монолитным блоком, игнорируя попытки человека скорректировать диалог до завершения реплики.

В обновленном контуре реализована полнодуплексная передача звука (Full-Duplex Audio). Микрофон непрерывно анализирует входящий поток даже во время активного синтеза речи. При обнаружении голоса человека алгоритм детекции активности речи (VAD) мгновенно прерывает воспроизведение ответа (механизм barging), очищает аудиобуфер и передает новую реплику модели с сохранением предыдущего контекста.

Практическая надежность дуплексного взаимодействия требует балансировки алгоритмов эхоподавления и фильтрации шума, чтобы случайные звуки не вызывали ложных остановок генерации. Отдельное внимание уделяется безопасности действий: если в момент прерывания агент уже инициировал вызов внешнего инструмента (tool call), выполнение операции должно отменяться либо блокироваться до подтверждения пользователем.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 1