VRChat dodaje nativnu podršku praćenja lica na razini SDK-a u otvorenoj beti

VRChat je predstavila podršku za nativno praćenje lica na razini SDK-a za avatare u klijentu Open Beta i beti Avatars SDK. Iako je platforma tehnički podržavala praćenje očiju i lica godinama putem Open Sound Controla i aplikacije VRCFaceTracking koju je izradila zajednica, avatari ranije nisu imali nativne mogućnosti potpunog praćenja lica. Korisnici su bili prisiljeni konfigurirati dodatke kako bi postigli detaljne izraze, jer je nativna podrška bila ograničena na osnovni pogled i kretanje kapaka pomoću podataka Eye Trackinga. Ova nova implementacija uklanja tu ovisnost, omogućujući izravnije i učinkovitije upravljanje animacijom lica unutar osnovne strukture softvera.

Najnoviji klijent Open Beta na Steamu i Avatars SDK verzije 3.10.6-beta.1 omogućuju izradu praćenja lica na razini SDK-a, što se prvotno nazivalo High Fidelity Face Tracking. Kreatori sada mogu postaviti izraze lica putem namjenskog odjeljka u komponenti Avatar Descriptor. Sustav mapira izraze na blendshapeove i parametre animatora, uz podršku standarda Unified Expressions od VRCFT. On se besprijekorno integrira s audio-pokretnim vizemima, pogledom i kapcima VRChata, iako trenutačno ne podržava Blended Shapes niti Simplified Parameters. Ova nativna integracija pojednostavljuje proces izrade i osigurava bolju kompatibilnost između različitih postavki avatara bez potrebe za složenom vanjskom konfiguracijom.

Značajna prednost ovog ažuriranja je mrežno sinkronizirano praćenje lica koje ne troši proračun sinkroniziranih parametara avatara. Ovo smanjenje opterećenja sinkroniziranih parametara dovodi do bolje ukupne performanse i vizualno konzistentnijih izraza lica za druge korisnike u zajedničkom prostoru. Sustav podržava različite metode ulaza, uključujući OSC protokole poput VRCFT u njegovoj najnovijoj beta verziji na Steamu. Također se integrira s funkcijom Selfie Expression u VRChatu, koja korisnicima omogućuje zrcaljenje izraza lica na svoje avatare na desktop PC-ima i Android uređajima pomoću web kamere ili prednje kamere, čime se povećava pristupačnost za one koji nemaju namjenske VR headsete.

Kompatibilnost s hardverom varira, a trenutno malo headseta nudi i hardversku podršku i API-je trećih strana za praćenje očiju i kamernu praćenje lica. Popularne opcije uključuju Pico 4 Pro i Enterprise, Meta Quest Pro te Samsung Galaxy XR. Za druge uređaje, poput Meta Quest 3 i 3S, postoje rješenja s otvorenim izvorom i rješenja izgrađena od strane zajednice, dok VRCFT može proslijediti podatke s uređaja koji podržavaju samo praćenje očiju, poput Bigscreen Beyond 2e. Creator Hash je ažurirao nekoliko popularnih Booth paketova avatara beta varijantama koje koriste ovu novu funkcionalnost SDK-a, što omogućuje postojećim vlasnicima da odmah pređu na poboljšani sustav praćenja.

Nadolazeća funkcija Meta VR Glasses ima hardversku podršku za praćenje očiju i kamernu praćenje lica, koristeći namjenske senzore za oči i kamere usmjerene prema dolje za signale lica. Međutim, Meta neće pružiti pristup API-jima trećih strana za izvor podataka vizualnog praćenja lica pri lansiranju, za razliku od Meta Quest Pro. Razvojci će imati pristup samo praćenju očiju i morat će osloniti se na izvore podataka pokretane audio signalima, poznate kao Audio to Expressions. Kamerno praćenje lica bit će ograničeno na korištenje prve strane, primjerice za realistične hologramske avatare. Ovo ograničenje izazvalo je frustraciju među razvojima, a Meta Developer Advocate Dilmer Valecillos je priznao povratne informacije. Zahtjev za kamernim API-jem na web stranici Meta VR Developer trenutno je u redu čekanja, što ukazuje na budući, ali neodređen rok za pristup trećim stranama.