GHARP забезпечує анімацію 3D-голов у реальному часі на мобільних пристроях

Дослідники Apple представили GHARP - новий метод анімації 3D-голов людини у реальному часі на основі кількох вхідних зображень та сигналу керуючої міміки. Ключова інновація полягає в розділенні процесу на два етапи: офлайн-етап відновлення ідентичності, що створює детальне представлення геометрії та зовнішнього вигляду об'єкта, і етап анімації у реальному часі, що передбачає залишкові значення, залежні від міміки. Таке розділення дозволяє робити етап відновлення обчислювально затратним, тоді як етап анімації використовує легку нейронну мережу, оптимізовану для мобільних пристроїв. Це створює сприятливий баланс між візуальною точністю, якістю та продуктивністю.

Етап анімації працює в семантично структурованому латентному просторі, отриманому з попередньо навченої моделі відновлення. Цей підхід гарантує, що зміни міміки залишаються просторово ізольованими, що робить передбачення залишкових значень високоефективним. Апріорні дані відновлення забезпечують узгоджену просторову структуру, що полегшує об'єднання кількох вхідних видів у компактне канонічне гауссове представлення фіксованого розміру. Завдяки використанню цього структурованого простору система може обробляти складні рухи обличчя без потреби в потужних обчислювальних ресурсах на етапі рендерингу, підтримуючи високу частоту кадрів, необхідну для інтерактивних застосунків.

Значна проблема методів аватарів, що керуються мімікою, полягає в тому, що коди міміки зазвичай описують лише обличчя, ігноруючи позу тіла та положення одягу. Це упущення залишає ці області недостатньо визначеними, що призводить до некоректно поставленої задачі, де мережа анімації може вдаватися до усереднення суперечливих зображень тіла, що спричиняє візуальне розмиття та тимчасове мерехтіння. Щоб вирішити цю проблему, GHARP включає мережу вирівнювання тіла, яка вчиться узгоджувати положення тіла людини на цільовому зображенні з вхідними референтними зображеннями. Таке вирівнювання усуває неоднозначність із сигналу навчання, забезпечуючи стабільність та узгодженість не обличних елементів під час анімації.

Метод досягає найкращої якості на бенчмарку Ava-256, значно підвищуючи ефективність. На GPU A100 GHARP працює до 13 разів швидше за порівнювані методи, використовуючи в 8 разів менше гаусів. Це зниження обчислювального навантаження та збільшення швидкості роблять технологію придатною для застосувань у реальному часі на споживчому обладнанні. Поєднання високоякісного відновлення та ефективної обробки в реальному часі позиціонує GHARP як практичне рішення для розробників, які хочуть інтегрувати реалістичну анімацію голови в мобільні та XR-платформи без шкоди для продуктивності.