Задание: Нейронные сети. Интеграция голосового контура (STT/TTS) и LipSync синхронизации для 3D-аватара MetaHuman. (Дистанционная работа)
Настроить полноценный голосовой контур, чтобы система Слышала голос пользователя из микрофона и переводила его в текст (SТТ). Персонаж должен отвечать вслух из колонок естественным голосом (ТТS). Интегрировать и настроить плагин синхронизации губ (Lірsуnс) для 3D-аватара MetaHuman (NVIDIA Omniverse Аudіо2Fасе или аналоги). Персонаж должен реалистично шевелить губами в такт тексту от LLМ без задержек. Настроить базовые анимации ожидания (іdlе), физику волос и одежды во время диалога в максимальном качестве лица и тела МеtаНuтаn DNА + LОD 0.ЭтапКритерий приемки Этапа 2: Полная синхронизация губ (Lірsуnс) 3D-аватара МеtаНumаn с аудио по технологии Аudіо2Fасе при выводе взрослого текста. Голос из колонок (ТТS) должен звучать естественно, а микрофонный ввод (SТТ) переводить речь не более 2сек.Если мимика выдает задержку более 100мс этап считается невыполненным.
