Synthesia запустила Interactive Avatar API для встраивания диалоговых видео-ассистентов в приложенияКратко · дайджест за 3 октября
Кратко≈ 1 мин

Synthesia запустила Interactive Avatar API для встраивания диалоговых видео-ассистентов в приложения

Synthesia открыла бета-тест Interactive Avatar API для интеграции потоковых диалоговых ассистентов реального времени в сторонние приложения. Сервис заменяет асинхронный рендеринг видео прямым стримингом по WebRTC через шлюз LiveKit.

Инициализация сессии аватара выполняется через REST-запрос:

// 1. Создание сессии диалогового аватара в Synthesia
const session = await fetch("https://api.synthesia.io/v2/interactive-avatars", {
  method: "POST",
  headers: {
    "Authorization": `Bearer ${process.env.SYNTHESIA_API_KEY}`,
    "Content-Type": "application/json",
  },
  body: JSON.stringify({
    avatar_id: "alex_concierge_v2",
    transport: "livekit",
    room_name: `room_${Date.now()}`,
  }),
}).then((r) => r.json());

Для подключения браузера сервер генерирует токен к медиакомнате LiveKit:

// 2. Генерация клиентского токена LiveKit для WebRTC-стрима
import { AccessToken } from "livekit-server-sdk";

const token = new AccessToken(process.env.LIVEKIT_API_KEY, process.env.LIVEKIT_API_SECRET, {
  identity: "web_user",
});
token.addGrant({ roomJoin: true, room: session.room_name });
const clientJwt = await token.toJwt();

Технология переводит видеогенерацию из формата роликов в интерактивный интерфейс поддержки, хотя живой диалог требует минимального пинга во всех звеньях синтеза.

Хочу подробный разборГолоса помогают выбрать, что разобрать подробно. За этот материал 0 голосов.
Источники · 3