VRChat додає нативний трекинг обличчя на рівні SDK в відкритій беті

VRChat представила підтримку нативного трекингу обличчя на рівні SDK для аватарів у клієнті Open Beta та бета-версії Avatars SDK. Хоча платформа технічно підтримувала трекинг очей та обличчя протягом багатьох років через Open Sound Control та створений спільнотою VRCFaceTracking, аватари раніше не мали нативних можливостей повного трекингу обличчя. Користувачам доводилося налаштовувати додатки для досягнення деталізованих виразів, оскільки нативна підтримка обмежувалась базовим поглядом та рухом вій за допомогою даних Eye Tracking. Ця нова реалізація усуває цю залежність, дозволяючи більш безпосередньо та ефективно обробляти анімацію обличчя в межах основної структури програмного забезпечення.

Останній клієнт Open Beta в Steam та Avatars SDK версії 3.10.6-beta.1 дозволяють створювати трекинг обличчя на рівні SDK, який спочатку називався High Fidelity Face Tracking. Тепер творці можуть налаштовувати вирази обличчя через спеціальний розділ у компоненті Avatar Descriptor. Система прив'язує вирази до blendshapes та параметрів аніматора, підтримуючи стандарт Unified Expressions від VRCFT. Вона безшовно інтегрується з аудіо-керованими віземами, поглядом та віками VRChat, хоча наразі не підтримує Blended Shapes або Simplified Parameters. Ця нативна інтеграція спрощує процес створення та забезпечує кращу сумісність між різними налаштуваннями аватарів без потреби у складній зовнішній конфігурації.

Значущою перевагою цього оновлення є мережева синхронізація відстеження обличчя, яка не витрачає бюджет синхронізованих параметрів аватара. Це зменшення навантаження на синхронізовані параметри призводить до кращої загальної продуктивності та більш візуально узгоджених виразів обличчя для інших користувачів у спільному просторі. Система підтримує різні методи введення, включаючи протоколи OSC, такі як VRCFT у його останній бета-версії в Steam. Вона також інтегрується з функцією Selfie Expression у VRChat, яка дозволяє користувачам дзеркально відображати вирази обличчя на своїх аватарах на настільних ПК та пристроях Android за допомогою веб-камери або фронтальної камери, підвищуючи доступність для тих, у кого немає спеціалізованих VR-гарнітур.

Сумісність із обладнанням варіюється, і мало гарнітур наразі пропонують як апаратну підтримку, так і сторонні API для відстеження очей та камерного відстеження обличчя. Популярні варіанти включають Pico 4 Pro та Enterprise, Meta Quest Pro та Samsung Galaxy XR. Для інших пристроїв, таких як Meta Quest 3 та 3S, існують рішення з відкритим вихідним кодом та створені спільнотою, тоді як VRCFT може передавати дані з пристроїв, що підтримують лише відстеження очей, таких як Bigscreen Beyond 2e. Creator Hash оновив кілька популярних пакетів аватарів Booth бета-варіантами, що використовують цю нову функціональність SDK, що дозволяє існуючим власникам одразу перемкнутися на вдосконалену систему відстеження.

Надходження функція Meta VR Glasses має апаратну підтримку як відстеження очей, так і камерного відстеження обличчя, використовуючи спеціалізовані датчики для очей та спрямовані вниз камери для сигналів обличчя. Однак Meta не надаватиме доступ до сторонніх API для джерела даних візуального відстеження обличчя при запуску, на відміну від Meta Quest Pro. Розробники матимуть доступ лише до відстеження очей і змушені покладатися на джерела даних, що керуються аудіо, відомі як Audio to Expressions. Камерне відстеження обличчя буде обмежене використанням першою стороною, наприклад, для реалістичних голографічних аватарів. Це обмеження спричинило розчарування серед розробників, і Meta Developer Advocate Dilmer Valecillos визнав зворотний зв'язок. Запит на камерний API на сайті Meta VR Developer наразі перебуває в черзі, що вказує на майбутній, але невизначений термін доступу для сторонніх розробників.