visionOS 27 вийшла для Apple Vision Pro: ШІ-помічник Siri, відстеження об'єктів у руках і нові API для трекерних аксесуарів

Apple випустила visionOS 27 — четверте велике оновлення ОС для гарнітур Vision Pro. Воно доступне і на моделях з M2, і на моделях з M5. Оновлення вийшло майже без галасу, але за обсягом це одне з найбільших на сьогодні. Головна новинка — Siri AI, перероблений на базі великих мовних моделей помічник Apple, який зараз запускають у бета-версії. Щоб отримати доступ, потрібно стати в чергу очікування в налаштуваннях visionOS; Apple каже, що час очікування різний, і щойно доступ відкривається, функція починає завантажуватися автоматично. Siri AI зараз працює лише англійською — і мова пристрою, і мова Siri мають бути виставлені одним і тим самим підтримуваним варіантом англійської.

За Siri AI стоять фондові моделі Apple нового покоління, які компанія розробляла разом із Google на основі його моделей Gemini. Як і у випадку з Apple Intelligence загалом, частина завдань виконується на невеликій вбудованій моделі в самому пристрої, а складніша робота передається в Private Cloud Compute від Apple. На visionOS Siri AI виглядає як закріплена в просторі сфера, яку можна прив'язати до конкретної точки кімнати; щоб почати говорити, достатньо просто подивитися на неї — вимовляти «Siri» не потрібно. Є й підтримка Visual Intelligence, щоб ставити запитання про фізичне й віртуальне оточення, а ще Siri AI постачається окремим попередньо встановленим застосунком з історією розмов.

Для розробників visionOS 27 додає режим відстеження об'єктів із високою частотою кадрів, придатний для рухомих предметів і предметів у руках. Apple не називає частоту оновлення, але ранні повідомлення говорять приблизно про 30 Гц. Для утримуваних об'єктів Apple наполегливо радить новий режим Extended Training — він помітно покращує відстеження, але «значно» збільшує час навчання: один розробник розповів, що тренування іграшки-рибки зайняло близько 18 годин. Оптичне відстеження працює на 90 Гц і суміщається з даними акселерометра та гіроскопа (IMU) самого об'єкта. Оновлення також відкриває шлях трекерним аксесуарам: раніше Sony і Logitech мали жорстко прописану підтримку контролерів PS VR2 Sense і стилуса Muse, які використовують сузір'я інфрачервоних світлодіодів.

visionOS 27 додає API, що дозволяють будь-якій компанії створювати власні трекерні аксесуари на ІЧ-світлодіодах — приблизно так, як на ПК працюють аксесуари SteamVR «Lighthouse». DFRobot і MikroE вже анонсували референсне залізо та набори для розробників, причому залізо DFRobot можна купити вже зараз. Крім того, з'явилася опція запису у високій якості: вона знімає до трьох хвилин 4K-відео без фовеального рендерингу цілком на самій гарнітурі, без Mac — цю можливість давно чекали, щоб показувати контент visionOS. У visionOS 27 також з'явилося оточення «долина Тоурсмёрк» в Ісландії — вже десяте віртуальне оточення, з нічним варіантом північного сяйва.

Інші покращення стосуються розробників застосунків і робочих процесів. Під час підключення через Mac Virtual Display у macOS 27 з'являється API для створення 3D-об'єкта на visionOS для попереднього перегляду, зі вбудованою підтримкою Preview.app; правки, зроблені на гарнітурі, відображаються на боці macOS, а для спільного редагування з Personas підтримується SharePlay. У Xcode 27 додали застосунок Device Hub, щоб розробники могли віддалено запускати демо, а не проводити гостей через погляд-і-щипок. У visionOS 27 також з'явилися вигнуті вікна в Safari, Freeform і («Multiview» Apple TV) — щоправда, це залишається закритим пропрієтарним API — плюс віджети для аксесуарів, веб-оточення Safari через API requestImmersive і швидше підключення до Wi-Fi після завантаження.