Awatary 3D dla asystentów głosowych
Trzy postacie 3D, które mówią głosem agentów, z ruchem ust dopasowanym do mowy i emocjami.
Zadanie
Asystent głosowy bez twarzy jest mniej czytelny w rozmowie. Celem była żywa mimika na własnym sprzęcie, bez płatnych modeli 3D.
Rozwiązanie
Głowy zbudowane kodem w three.js, ruch ust liczony z tekstu i dźwięku co 10 ms. Obraz renderuje serwer na GPU i przesyła strumień wideo do lekkiego odbiornika.
Wynik
- Synchronizacja ust z dokładnością 10 do 30 ms
- Opóźnienie obrazu 720p60 około 83 ms
- Odbiornik zużywa 16 MB zamiast 382 MB pamięci
Moja rola
Projekt postaci, animacja, synchronizacja ust i strumieniowanie.