GHARP permet l'animation de têtes 3D en temps réel sur les appareils mobiles

Les chercheurs d'Apple ont présenté GHARP, une nouvelle méthode d'animation de têtes humaines 3D en temps réel basée sur quelques images d'entrée et un signal d'expression pilote. L'innovation clé réside dans la division du processus en deux étapes distinctes : une étape hors ligne de reconstruction de l'identité qui crée une représentation détaillée de la géométrie et de l'apparence du sujet, et une étape d'animation en temps réel qui prédit les résidus dépendants des expressions. Cette séparation permet à l'étape de reconstruction d'être coûteuse en calculs, tandis que l'étape d'animation utilise un réseau léger optimisé pour les appareils mobiles. Cela crée un équilibre favorable entre fidélité visuelle, qualité et performance en temps réel.

L'étape d'animation fonctionne dans un espace latent sémantiquement structuré dérivé d'un modèle de reconstruction pré-entraîné. Cette approche garantit que les changements d'expression restent spatialement localisés, rendant la prédiction des résidus très efficace. L'a priori de reconstruction fournit une structure spatiale cohérente, facilitant la fusion de plusieurs vues d'entrée en une représentation gaussienne canonique compacte de taille fixe. En exploitant cet espace structuré, le système peut traiter des mouvements faciaux complexes sans nécessiter de ressources de calcul lourdes lors de la phase de rendu, maintenant ainsi des taux de rafraîchissement élevés adaptés aux applications interactives.

Un défi majeur des méthodes d'avatars pilotés par l'expression réside dans le fait que les codes d'expression décrivent généralement uniquement le visage, en omettant la pose du corps et la position des vêtements. Cette omission laisse ces régions sous-spécifiées, conduisant à un problème mal posé où le réseau d'animation peut recourir à une moyenne des apparences corporelles conflictuelles, provoquant un flou visuel et un scintillement temporel. Pour remédier à cela, GHARP intègre un réseau d'alignement corporel qui apprend à aligner le corps de la personne sur l'image cible avec les images de référence d'entrée. Cet alignement élimine l'ambiguïté du signal d'apprentissage, garantissant que les éléments non faciaux restent stables et cohérents pendant l'animation.

La méthode atteint une qualité de pointe sur le benchmark Ava-256 tout en améliorant considérablement l'efficacité. Sur un GPU A100, GHARP fonctionne jusqu'à 13 fois plus vite que les méthodes comparables, tout en utilisant 8 fois moins de gaussiennes. Cette réduction de la charge de calcul et cette augmentation de la vitesse rendent la technologie viable pour les applications en temps réel sur du matériel grand public. La combinaison d'une reconstruction de haute qualité et d'un traitement efficace en temps réel positionne GHARP comme une solution pratique pour les développeurs souhaitant intégrer des animations de tête réalistes en temps réel sur les plateformes mobiles et XR sans compromettre les performances.