GHARP ermöglicht die Echtzeit-Animation von 3D-Köpfen auf mobilen Geräten

Forscher von Apple haben GHARP vorgestellt, eine neue Methode zur Echtzeit-Animation von 3D-Menschenköpfen auf Basis einiger Eingabebilder und eines Steuer-Signals für die Mimik. Die Kerninnovation liegt in der Aufteilung des Prozesses in zwei Phasen: eine Offline-Phase zur Identitätsrekonstruktion, die eine detaillierte Darstellung der Geometrie und des Aussehens des Subjekts erstellt, und eine Echtzeit-Animationsphase, die mimikabhängige Residuen vorhersagt. Diese Trennung ermöglicht es, die Rekonstruktionsphase rechenintensiv zu gestalten, während die Animationsphase ein leichtgewichtiges neuronales Netz nutzt, das speziell für mobile Geräte optimiert ist. Dies schafft einen günstigen Kompromiss zwischen visueller Genauigkeit, Qualität und Laufzeit-Performance.

Die Animationsphase arbeitet in einem semantisch strukturierten latenten Raum, der aus einem vorab trainierten Rekonstruktionsmodell abgeleitet wird. Dieser Ansatz stellt sicher, dass Mimikänderungen räumlich begrenzt bleiben, was die Vorhersage der Residuen hocheffizient macht. Die Rekonstruktionspriorität gewährleistet eine konsistente räumliche Anordnung, die die Fusion mehrerer Eingangsansichten in eine kompakte, kanonische Gauß-Darstellung fester Größe erleichtert. Durch die Nutzung dieses strukturierten Raums kann das System komplexe Gesichtsbewegungen verarbeiten, ohne während der eigentlichen Renderphase auf leistungsfähige Rechenressourcen angewiesen zu sein, und hält so hohe Bildwiederholraten aufrecht, die für interaktive Anwendungen erforderlich sind.

Eine erhebliche Herausforderung bei Mimik-gesteuerten Avatar-Methoden besteht darin, dass Mimik-Codes in der Regel nur das Gesicht beschreiben und dabei die Körperhaltung sowie die Position der Kleidung ignorieren. Diese Auslassung lässt diese Bereiche unzureichend definiert, was zu einem schlecht gestellten Problem führt, bei dem das Animationsnetzwerk dazu neigen kann, widersprüchliche Darstellungen des Körpers zu mitteln. Dies führt zu visuellem Unschärfe und zeitlichem Flackern. Um dieses Problem zu lösen, integriert GHARP ein Körperausrichtungsnetzwerk, das lernt, die Position des Körpers der Person im Zielfoto mit den Eingabe-Referenzbildern abzugleichen. Diese Ausrichtung beseitigt die Mehrdeutigkeit im Trainingsignal und stellt sicher, dass nicht-gesichtliche Elemente während der Animation stabil und konsistent bleiben.

Die Methode erreicht die beste Qualität im Ava-256-Benchmark und verbessert die Effizienz erheblich. Auf einer A100-GPU läuft GHARP bis zu 13-mal schneller als vergleichbare Methoden und verwendet dabei 8-mal weniger Gaußsche. Diese Reduzierung der Rechenlast und die Erhöhung der Geschwindigkeit machen die Technologie für Echtzeitanwendungen auf Consumer-Hardware geeignet. Die Kombination aus hochwertiger Rekonstruktion und effizienter Echtzeitverarbeitung positioniert GHARP als praktische Lösung für Entwickler, die realistische Echtzeit-Kopfanimationen in mobile und XR-Plattformen integrieren möchten, ohne die Leistung zu beeinträchtigen.