VRChat добавляет нативный трекинг лица на уровне SDK в открытой бете

VRChat представила поддержку нативного трекинга лица на уровне SDK для аватаров в клиенте Open Beta и бета-версии Avatars SDK. Хотя платформа технически поддерживала трекинг глаз и лица на протяжении многих лет через Open Sound Control и созданный сообществом VRCFaceTracking, аватары ранее не обладали нативными возможностями полного трекинга лица. Пользователям приходилось настраивать плагины для достижения детализированных выражений, так как нативная поддержка ограничивалась базовым взглядом и движением век с использованием данных Eye Tracking. Эта новая реализация устраняет эту зависимость, позволяя более напрямую и эффективно обрабатывать анимацию лица в рамках основной структуры программного обеспечения.

Последний клиент Open Beta в Steam и Avatars SDK версии 3.10.6-beta.1 позволяют создавать трекинг лица на уровне SDK, изначально называвшийся High Fidelity Face Tracking. Теперь создатели могут настраивать выражения лица через специальный раздел в компоненте Avatar Descriptor. Система привязывает выражения к blendshapes и параметрам аниматора, поддерживая стандарт Unified Expressions от VRCFT. Она бесшовно интегрируется с аудио-управляемыми виземами, взглядом и веками VRChat, хотя в настоящее время не поддерживает Blended Shapes или Simplified Parameters. Эта нативная интеграция упрощает процесс создания и обеспечивает лучшую совместимость между различными настройками аватаров без необходимости сложной внешней конфигурации.

Значительным преимуществом этого обновления является сетевой синхронизированный трекинг лица, который не расходует бюджет синхронизированных параметров аватара. Это снижение нагрузки на синхронизированные параметры приводит к лучшей общей производительности и более визуально согласованным выражениям лица для других пользователей в общем пространстве. Система поддерживает различные методы ввода, включая протоколы OSC, такие как VRCFT в его последней бета-версии в Steam. Она также интегрируется с функцией Selfie Expression в VRChat, которая позволяет пользователям зеркально отображать выражения лица на своих аватарах на настольных ПК и устройствах Android с помощью веб-камеры или фронтальной камеры, повышая доступность для тех, у кого нет специализированных VR-гарнитур.

Совместимость с оборудованием варьируется, и мало гарнитур на данный момент предлагают как аппаратную поддержку, так и сторонние API для трекинга глаз и камерного трекинга лица. Популярные варианты включают Pico 4 Pro и Enterprise, Meta Quest Pro и Samsung Galaxy XR. Для других устройств, таких как Meta Quest 3 и 3S, существуют решения с открытым исходным кодом и созданные сообществом, в то время как VRCFT может передавать данные с устройств, поддерживающих только трекинг глаз, таких как Bigscreen Beyond 2e. Creator Hash обновил несколько популярных пакетов аватаров Booth бета-вариантами, использующими эту новую функциональность SDK, что позволяет существующим владельцам сразу переключиться на улучшенную систему трекинга.

Предстоящая функция Meta VR Glasses имеет аппаратную поддержку как трекинга глаз, так и камерного трекинга лица, используя специализированные датчики для глаз и направленные вниз камеры для сигналов лица. Однако Meta не будет предоставлять доступ к сторонним API для источника данных визуального трекинга лица при запуске, в отличие от Meta Quest Pro. Разработчики будут иметь доступ только к трекингу глаз и должны полагаться на источники данных, управляемые аудио, известные как Audio to Expressions. Камерный трекинг лица будет ограничен использованием первой стороной, например, для реалистичных голографических аватаров. Это ограничение вызвало разочарование среди разработчиков, и Meta Developer Advocate Dilmer Valecillos признал обратную связь. Запрос на камерный API на сайте Meta VR Developer в настоящее время находится в очереди, что указывает на будущий, но неопределенный срок доступа для сторонних разработчиков.