GHARP обеспечивает анимацию 3D-голов в реальном времени на мобильных устройствах

Исследователи Apple представили GHARP - новый метод анимации 3D-голов человека в реальном времени на основе нескольких входных изображений и сигнала управляющей мимики. Ключевая инновация заключается в разделении процесса на два этапа: офлайн-этап восстановления идентичности, создающий детальное представление геометрии и внешнего вида объекта, и этап анимации в реальном времени, предсказывающий остаточные значения, зависящие от мимики. Такое разделение позволяет делать этап восстановления вычислительно затратным, тогда как этап анимации использует легкую нейросеть, оптимизированную для мобильных устройств. Это создает благоприятный баланс между визуальной точностью, качеством и производительностью.

Этап анимации работает в семантически структурированном латентном пространстве, полученном из предобученной модели восстановления. Этот подход гарантирует, что изменения мимики остаются локализованными в пространстве, что делает предсказание остаточных значений высокоэффективным. Приоритет восстановления обеспечивает согласованную пространственную структуру, облегчая объединение нескольких входных видов в компактное каноническое гауссово представление фиксированного размера. Благодаря использованию этого структурированного пространства система может обрабатывать сложные движения лица без необходимости в мощных вычислительных ресурсах на этапе рендеринга, поддерживая высокую частоту кадров, необходимую для интерактивных приложений.

Значительная проблема методов аватаров, управляемых мимикой, заключается в том, что коды мимики обычно описывают только лицо, игнорируя позу тела и положение одежды. Это упущение оставляет эти области недостаточно определенными, приводя к некорректной задаче, где сеть анимации может прибегать к усреднению конфликтующих изображений тела, что вызывает визуальное размытие и временное мерцание. Для решения этой проблемы GHARP включает сеть выравнивания тела, которая учится согласовывать положение тела человека на целевом изображении с входными референсными изображениями. Это выравнивание устраняет неоднозначность из обучающего сигнала, обеспечивая стабильность и согласованность нефациальных элементов во время анимации.

Метод достигает наилучшего качества на бенчмарке Ava-256, значительно повышая эффективность. На GPU A100 GHARP работает до 13 раз быстрее сопоставимых методов, используя в 8 раз меньше гауссов. Это снижение вычислительной нагрузки и увеличение скорости делают технологию пригодной для приложений в реальном времени на потребительском оборудовании. Сочетание высококачественного восстановления и эффективной обработки в реальном времени позиционирует GHARP как практичное решение для разработчиков, желающих интегрировать реалистичную анимацию головы в мобильные и XR-платформы без ущерба для производительности.