visionOS 27 вышла для Apple Vision Pro: ИИ-ассистент Siri, отслеживание объектов в руках и новые API для трекерных аксессуаров

Apple выпустила visionOS 27 — четвёртое крупное обновление ОС для гарнитур Vision Pro. Оно доступно и на моделях с M2, и на моделях с M5. Вышло обновление почти без шума, но по объёму это одно из крупнейших на сегодня. Главная новинка — Siri AI, переработанный на базе больших языковых моделей ассистент Apple, который сейчас запускают в бета-версии. Чтобы получить доступ, нужно встать в лист ожидания в настройках visionOS; Apple говорит, что время ожидания разное, и как только доступ открывается, функция начинает скачиваться автоматически. Siri AI сейчас работает только на английском — и язык устройства, и язык Siri должны быть выставлены одним и тем же поддерживаемым вариантом английского.

За Siri AI стоят фондовые модели Apple нового поколения, которые компания разрабатывала вместе с Google на основе его моделей Gemini. Как и в случае с Apple Intelligence в целом, часть задач выполняется на небольшой встроенной модели в самом устройстве, а более сложная работа передаётся в Private Cloud Compute от Apple. На visionOS Siri AI выглядит как закреплённая в пространстве сфера, которую можно привязать к конкретной точке комнаты; чтобы начать говорить, достаточно просто посмотреть на неё — произносить «Siri» не нужно. Есть и поддержка Visual Intelligence, чтобы задавать вопросы о физическом и виртуальном окружении, а ещё Siri AI поставляется отдельным предустановленным приложением с историей разговоров.

Для разработчиков visionOS 27 добавляет режим отслеживания объектов с высокой частотой кадров, подходящий для движущихся предметов и предметов в руках. Apple не называет частоту обновления, но ранние сообщения говорят примерно о 30 Гц. Для удерживаемых объектов Apple настоятельно советует новый режим Extended Training — он заметно улучшает отслеживание, но «значительно» увеличивает время обучения: один разработчик рассказал, что тренировка игрушки-рыбки заняла около 18 часов. Оптическое отслеживание работает на 90 Гц и совмещается с данными акселерометра и гироскопа (IMU) самого объекта. Обновление также открывает путь трекерным аксессуарам: раньше Sony и Logitech имели жёстко прописанную поддержку контроллеров PS VR2 Sense и стилуса Muse, которые используют созвездия инфракрасных светодиодов.

visionOS 27 добавляет API, позволяющие любой компании создавать собственные трекерные аксессуары на ИК-светодиодах — примерно так, как на ПК работают аксессуары SteamVR «Lighthouse». DFRobot и MikroE уже анонсировали референсное железо и наборы для разработчиков, причём железо DFRobot можно купить уже сейчас. Кроме того, появилась опция записи в высоком качестве: она снимает до трёх минут 4K-видео без фовеального рендеринга целиком на самой гарнитуре, без Mac — эту возможность давно ждали, чтобы показывать контент visionOS. В visionOS 27 также появилось окружение «долина Тоурсмёрк» в Исландии — уже десятое виртуальное окружение, с ночным вариантом северного сияния.

Прочие улучшения касаются разработчиков приложений и рабочих процессов. При подключении через Mac Virtual Display в macOS 27 появляется API для создания 3D-объекта на visionOS для предпросмотра, со встроенной поддержкой Preview.app; правки, сделанные на гарнитуре, отражаются на стороне macOS, а для совместного редактирования с Personas поддерживается SharePlay. В Xcode 27 добавили приложение Device Hub, чтобы разработчики могли удалённо запускать демо, а не проводить гостей через взгляд-и-щипок. В visionOS 27 также появились изогнутые окна в Safari, Freeform и («Multiview» Apple TV) — правда, это остаётся закрытым проприетарным API — плюс виджеты для аксессуаров, веб-окружения Safari через API requestImmersive и более быстрое подключение к Wi-Fi после загрузки.