3D-аватары для голосовых ассистентов
Три 3D-персонажа, которые говорят голосами агентов, с движением губ под речь и эмоциями.
Работает в браузере и на внешнем экране
Задача
Голосовой ассистент без лица хуже воспринимается в разговоре. Цель: живая мимика на своём оборудовании, без платных 3D-моделей.
Решение
Головы построены кодом на three.js, движение губ рассчитывается из текста и звука каждые 10 мс. Сервер рендерит на GPU и передаёт видеопоток лёгкому приёмнику.
Результат
- Синхронизация губ с точностью от 10 до 30 мс
- Задержка 720p60 около 83 мс
- Приёмник занимает 16 МБ вместо 382 МБ памяти
Моя роль
Дизайн персонажей, анимация, синхронизация губ и стриминг.
