VRChat ajoute le suivi facial natif au niveau SDK dans la bêta ouverte

VRChat a introduit la prise en charge du suivi facial natif au niveau SDK pour les avatars dans son client Open Beta et la version bêta de l'Avatars SDK. Bien que la plateforme prenait techniquement en charge le suivi des yeux et du visage depuis des années via Open Sound Control et l'application communautaire VRCFaceTracking, les avatars ne disposaient auparavant pas de capacités natives de suivi facial complet. Les utilisateurs étaient contraints de configurer des modules complémentaires pour obtenir des expressions détaillées, car la prise en charge native se limitait à un regard de base et au mouvement des paupières en utilisant les données de suivi des yeux. Cette nouvelle implémentation supprime cette dépendance, permettant un traitement plus direct et efficace de l'animation faciale au sein de la structure logicielle principale.

Le dernier client Open Beta sur Steam et la version 3.10.6-beta.1 de l'Avatars SDK permettent la création de suivi facial au niveau SDK, initialement appelé High Fidelity Face Tracking. Les créateurs peuvent désormais configurer les expressions faciales via une section dédiée dans le composant Avatar Descriptor. Le système associe les expressions aux blendshapes et aux paramètres de l'animateur tout en prenant en charge la norme Unified Expressions de VRCFT. Il s'intègre parfaitement avec les visèmes pilotés par l'audio, le regard et les paupières de VRChat, bien qu'il ne prenne actuellement pas en charge les Blended Shapes ou les Simplified Parameters. Cette intégration native simplifie le processus de création et assure une meilleure compatibilité entre les différentes configurations d'avatars sans nécessiter de configurations externes complexes.

Un avantage majeur de cette mise à jour est le suivi facial synchronisé sur le réseau, qui ne consomme pas le budget des paramètres synchronisés de l'avatar. Cette réduction de la charge des paramètres synchronisés entraîne de meilleures performances globales et des expressions faciales plus visuellement cohérentes pour les autres utilisateurs dans l'espace partagé. Le système prend en charge diverses méthodes d'entrée, y compris des protocoles OSC tels que VRCFT dans sa dernière version bêta sur Steam. Il s'intègre également à la fonctionnalité Selfie Expression de VRChat, qui permet aux utilisateurs de reproduire leurs expressions faciales sur leurs avatars sur PC de bureau et appareils Android à l'aide d'une webcam ou d'une caméra frontale, améliorant ainsi l'accessibilité pour ceux qui ne disposent pas de casques VR dédiés.

La compatibilité matérielle varie, et peu de casques proposent actuellement à la fois un support matériel et des API tiers pour le suivi oculaire et le suivi facial par caméra. Les options populaires incluent le Pico 4 Pro et Enterprise, le Meta Quest Pro et le Samsung Galaxy XR. Des solutions open source et créées par la communauté existent pour d'autres appareils tels que le Meta Quest 3 et le 3S, tandis que VRCFT peut transmettre des données provenant d'appareils prenant en charge uniquement le suivi oculaire, comme le Bigscreen Beyond 2e. Creator Hash a mis à jour plusieurs paquets d'avatars Booth populaires avec des variantes bêta utilisant cette nouvelle fonctionnalité SDK, permettant aux propriétaires existants de passer immédiatement au système de suivi amélioré.

La fonctionnalité Meta VR Glasses à venir offre un support matériel pour le suivi oculaire et le suivi facial par caméra, en utilisant des capteurs dédiés pour les yeux et des caméras orientées vers le bas pour les signaux faciaux. Cependant, Meta ne fournira pas d'accès API tiers à la source de données du suivi facial visuel au lancement, contrairement au Meta Quest Pro. Les développeurs n'auront accès qu'au suivi oculaire et devront s'appuyer sur des sources de données pilotées par l'audio, connues sous le nom d'Audio to Expressions. Le suivi facial par caméra sera réservé à l'usage de première partie, par exemple pour des avatars holographiques réalistes. Cette limitation a provoqué de la frustration parmi les développeurs, et Dilmer Valecillos, Meta Developer Advocate, a reconnu ces retours. Une demande d'API par caméra sur le site Meta VR Developer est actuellement en attente, indiquant un calendrier futur mais non défini pour l'accès des tiers.