visionOS 27 je izašao za Apple Vision Pro: AI asistent Siri, praćenje objekata u rukama i novi API-ji za trackerske dodatke

Apple je izdao visionOS 27 — četvrto veliko ažuriranje OS-a za Vision Pro slušalice. Dostupno je i na modelima s M2 i na modelima s M5. Ažuriranje je izašlo gotovo bez buke, ali po obimu je jedno od najvećih dosad. Glavna novost je Siri AI, asistent Apple prerađen na temelju velikih jezičnih modela, koji se sada pokreće u beta verziji. Da biste dobili pristup, morate se upisati na listu čekanja u postavkama visionOS-a; Apple kaže da je vrijeme čekanja različito i čim se pristup otvori, funkcija se počinje automatski preuzimati. Siri AI trenutno radi samo na engleskom — i jezik uređaja i jezik Siri moraju biti postavljeni na istu podržanu varijantu engleskog.

Iza Siri AI-ja stoje fondovski modeli Apple nove generacije, koje je tvrtka razvijala zajedno s Googleom na temelju njegovih Gemini modela. Kao i u slučaju Apple Intelligence općenito, dio zadataka izvršava se na malom ugrađenom modelu u samom uređaju, dok se složeniji rad prosljeđuje u Appleov Private Cloud Compute. Na visionOS-u Siri AI izgleda kao kugla učvršćena u prostoru, koju možete pričvrstiti za određenu točku u sobi; da biste počeli govoriti, dovoljno je samo pogledati u nju — ne treba izgovoriti «Siri». Postoji i podrška za Visual Intelligence, za postavljanje pitanja o fizičkom i virtualnom okruženju, a Siri AI se isporučuje i kao zasebna unaprijed instalirana aplikacija s poviješću razgovora.

Za razvijače visionOS 27 dodaje način praćenja objekata s visokom brzinom kadrova, prikladan za pokretne predmete i predmete u rukama. Apple ne navodi brzinu osvježavanja, no rani izvještaji govore o otprilike 30 Hz. Za držane objekte Apple toplo preporučuje novi način Extended Training — on značajno poboljšava praćenje, ali „značajno" produžuje vrijeme treniranja: jedan je razvijač ispričao da je treniranje igračke ribice trajalo oko 18 sati. Optičko praćenje radi na 90 Hz i spaja se s podacima akcelerometra i žiroskopa (IMU) samog objekta. Ažuriranje također otvara put tracked-dodacima: ranije su Sony i Logitech imali tvrdo kodiranu podršku za kontrolere PS VR2 Sense i olovku Muse, koji koriste konstelacije infracrvenih LED dioda.

visionOS 27 dodaje API-je koji omogućuju bilo kojoj tvrtki da izradi vlastite tracked-dodatke na infracrvenim LED diodama — otprilike kao što na računalu rade dodaci SteamVR „Lighthouse". DFRobot i MikroE već su najavili referentni hardver i komplete za razvijače, pri čemu se DFRobotov hardver već sada može kupiti. Osim toga, pojavila se opcija snimanja u visokoj kvaliteti: ona snima do tri minute 4K videa bez fovealnog renderiranja u potpunosti na samim naočalama, bez Maca — tu mogućnost dugo se čekalo kako bi se prikazivao visionOS sadržaj. U visionOS-u 27 pojavilo se i okruženje „dolina Þórsmörk" na Islandu — već deseto virtualno okruženje, s noćnom inačicom polarne svjetlosti.

Ostala poboljšanja odnose se na razvijače aplikacija i radne procese. Kad se povežete putem Mac Virtual Displaya, u macOS 27 pojavljuje se API za stvaranje 3D objekta na visionOS-u radi pregleda, s ugrađenom podrškom za Preview.app; izmjene napravljene na slušalicama odražavaju se na strani macOS-a, a za zajedničko uređivanje s Personama podržan je SharePlay. U Xcode 27 dodali su aplikaciju Device Hub kako bi razvijači mogli daljinski pokretati demo umjesto da goste vode kroz pogled-i-stisak. U visionOS 27 također su se pojavili zakrivljeni prozori u Safariju, Freeformu i Apple TV-u („Multiview") — doduše, to ostaje zatvoreni vlasnički API — plus widgeti za dodatnu opremu, web-okruženja Safarija putem API-ja requestImmersive i brže povezivanje na Wi-Fi nakon pokretanja.