GHARP omogućuje animaciju 3D glava u stvarnom vremenu na mobilnim uređajima

Istraživači Applea predstavili su GHARP, novi metod za animaciju 3D ljudskih glava u stvarnom vremenu na temelju nekoliko ulaznih slika i signala upravljanja mimikom. Ključna inovacija leži u razdvajanju procesa u dvije faze: offline fazu obnavljanja identiteta koja izgrađuje detaljan prikaz geometrije i izgleda subjekta, te fazu animacije u stvarnom vremenu koja predviđa rezidualne vrijednosti ovisne o mimici. Ovo razdvajanje omogućuje da faza obnavljanja bude izračunski zahtjevna, dok faza animacije koristi lagani neuronski mrežu optimiziranu za mobilne uređaje. To stvara povoljan omjer između vizualne vjernoće, kvalitete i performansi u stvarnom vremenu.

Faza animacije radi u semantički strukturiranom latentnom prostoru izvedenom iz prethodno treniranog modela rekonstrukcije. Ovaj pristup osigurava da promjene mimike ostaju prostorno ograničene, čineći predviđanje rezidualnih vrijednosti iznimno učinkovitim. Prior rekonstrukcije pruža dosljedan prostorni raspored, što olakšava spajanje više ulaznih pogleda u kompaktnu kanonsku Gaussovu reprezentaciju fiksne veličine. Iskoristivši ovaj strukturirani prostor, sustav može obrađivati složene pokrete lica bez potrebe za teškim izračunskim resursima tijekom faze renderiranja, čime održava visoku frekvenciju sličica potrebnu za interaktivne aplikacije.

Značajan izazov metoda avatarima vođenim izrazima lica leži u tome što kodovi izraza obično opisuju samo lice, a zanemaruju položaj tijela i odjeće. To propuštanje ostavlja te regije nedovoljno definirane, što dovodi do loše postavljenog problema u kojem mreža za animaciju može pribjeći prosječnom prikazu sukobljenih izgleda tijela, što uzrokuje vizualno zamućenje i vremensko treperenje. Kako bi se to riješilo, GHARP uključuje mrežu za poravnanje tijela koja uči poravnavati tijelo osobe na ciljanom snimku s ulaznim referentnim snimcima. Ovo poravnanje uklanja dvosmislenost iz signala za učenje, osiguravajući da elementi koji nisu dio lica ostaju stabilni i dosljedni tijekom animacije.

Metoda postiže vrhunsku kvalitetu na benchmarku Ava-256, istovremeno značajno poboljšavajući učinkovitost. Na GPU-ju A100, GHARP radi do 13 puta brže od usporedivih metoda, koristeći 8 puta manje Gaussovih čestica. Ovo smanjenje računalnog opterećenja i povećanje brzine čine tehnologiju izvedivom za aplikacije u stvarnom vremenu na potrošačkoj opremi. Kombinacija visokokvalitetne rekonstrukcije i učinkovite obrade u stvarnom vremenu pozicionira GHARP kao praktično rješenje za developere koji žele integrirati realistične animacije glave u mobilne i XR platforme bez kompromisa u performansama.