VRChat fügt nativem Gesichtstracking auf SDK-Ebene in der Open Beta hinzu

VRChat hat die Unterstützung für nativem Gesichtstracking auf SDK-Ebene für Avatare im Open-Beta-Client und der Beta-Version des Avatars SDK vorgestellt. Obwohl die Plattform technisch seit Jahren Eye- und Face-Tracking über Open Sound Control und die von der Community erstellte App VRCFaceTracking unterstützte, verfügten Avatare zuvor nicht über native Funktionen für vollständiges Gesichtstracking. Benutzer waren gezwungen, Add-ons zu konfigurieren, um detaillierte Ausdrücke zu erzielen, da die native Unterstützung auf grundlegende Blickrichtung und Lidbewegung mit Eye-Tracking-Daten beschränkt war. Diese neue Implementierung beseitigt diese Abhängigkeit und ermöglicht eine direktere und effizientere Handhabung der Gesichtsanimation innerhalb der Kernsoftwarestruktur.

Der neueste Open-Beta-Client auf Steam und das Avatars SDK Version 3.10.6-beta.1 ermöglichen die Erstellung von Gesichtstracking auf SDK-Ebene, ursprünglich als High Fidelity Face Tracking bezeichnet. Ersteller können nun Gesichtsausdrücke über einen dedizierten Abschnitt in der Avatar-Descriptor-Komponente einrichten. Das System mappt Ausdrücke auf Blendshapes und Animator-Parameter und unterstützt dabei den Unified Expressions-Standard von VRCFT. Es integriert sich nahtlos mit den audio-gesteuerten Visemen, dem Blick und den Lidern von VRChat, unterstützt derzeit jedoch keine Blended Shapes oder Simplified Parameters. Diese native Integration vereinfacht den Erstellungsvorgang und stellt eine bessere Kompatibilität zwischen verschiedenen Avatar-Setups sicher, ohne komplexe externe Konfigurationen zu erfordern.

Ein wesentlicher Vorteil dieses Updates ist die netzwerksynchronisierte Gesichtserkennung, die das Budget für synchronisierte Avatar-Parameter nicht beansprucht. Diese Reduzierung der Last auf synchronisierte Parameter führt zu einer besseren Gesamtleistung und zu visuell konsistenteren Gesichtsausdrücken für andere Nutzer im geteilten Raum. Das System unterstützt verschiedene Eingabemethoden, einschließlich OSC-Protokolle wie VRCFT in seiner neuesten Beta-Version auf Steam. Es integriert sich auch mit der Selfie Expression-Funktion von VRChat, die es Nutzern ermöglicht, Gesichtsausdrücke auf ihren Avataren auf Desktop-PCs und Android-Geräten über eine Webcam oder Frontkamera abzubilden. Dies erhöht die Zugänglichkeit für Personen ohne dedizierte VR-Headsets.

Die Hardware-Kompatibilität variiert, und nur wenige Headsets bieten derzeit sowohl Hardware-Unterstützung als auch Drittanbieter-APIs für Eye Tracking und kamerabasiertes Face Tracking. Beliebte Optionen umfassen Pico 4 Pro und Enterprise, Meta Quest Pro sowie Samsung Galaxy XR. Für andere Geräte wie Meta Quest 3 und 3S existieren Open-Source- und Community-Lösungen, während VRCFT Daten von Geräten mit nur Eye Tracking, wie dem Bigscreen Beyond 2e, übermitteln kann. Creator Hash hat mehrere beliebte Booth-Avatar-Pakete mit Beta-Varianten aktualisiert, die diese neue SDK-Funktionalität nutzen, sodass bestehende Besitzer sofort auf das verbesserte Tracking-System umstellen können.

Die kommende Meta VR Glasses-Funktion bietet Hardware-Unterstützung für sowohl Eye Tracking als auch kamerabasiertes Face Tracking, wobei dedizierte Sensoren für die Augen und nach unten gerichtete Kameras für Gesichtssignale verwendet werden. Meta wird jedoch beim Launch keinen Drittanbieter-API-Zugriff auf die Datenquelle für visuelles Face Tracking bereitstellen, im Gegensatz zum Meta Quest Pro. Entwickler haben nur Zugriff auf Eye Tracking und müssen sich auf audio-gesteuerte Datenquellen namens Audio to Expressions verlassen. Kamerabasiertes Face Tracking ist auf die Verwendung durch die erste Partei beschränkt, beispielsweise für realistische Hologramm-Avatare. Diese Einschränkung hat Frustration unter Entwicklern ausgelöst, und Meta Developer Advocate Dilmer Valecillos hat das Feedback anerkannt. Eine Anfrage nach einer kamerabasierten API auf der Meta VR Developer-Website ist derzeit in der Warteschlange, was auf einen zukünftigen, aber unbestimmten Zeitrahmen für den Drittanbieter-Zugriff hindeutet.