visionOS 27 für Apple Vision Pro ist erschienen: KI-Assistent Siri, Objektverfolgung in den Händen und neue APIs für Tracker-Zubehör

Apple hat visionOS 27 veröffentlicht — das vierte große OS-Update für die Vision-Pro-Headsets. Es ist sowohl auf Modellen mit M2 als auch auf Modellen mit M5 verfügbar. Das Update erschien fast ohne Aufsehen, ist aber vom Umfang her eines der bisher größten. Die wichtigste Neuerung ist Siri AI, der auf großen Sprachmodellen basierende, überarbeitete Assistent von Apple, der derzeit in einer Beta-Version eingeführt wird. Um Zugang zu erhalten, muss man sich in den visionOS-Einstellungen auf eine Warteliste setzen; Apple sagt, die Wartezeiten seien unterschiedlich, und sobald der Zugang freigeschaltet ist, beginnt die Funktion automatisch mit dem Download. Siri AI funktioniert derzeit nur auf Englisch — sowohl die Gerätesprache als auch die Siri-Sprache müssen auf dieselbe unterstützte englische Variante eingestellt sein.

Hinter Siri AI stehen Apples Foundation Models der nächsten Generation, die das Unternehmen gemeinsam mit Google auf Basis seiner Gemini-Modelle entwickelt hat. Wie bei Apple Intelligence insgesamt läuft ein Teil der Aufgaben auf einem kleinen On-Device-Modell auf dem Gerät selbst, während komplexere Arbeit an Apples Private Cloud Compute übergeben wird. Auf visionOS erscheint Siri AI als im Raum verankerte Sphäre, die sich an einem bestimmten Punkt im Zimmer fixieren lässt; zum Sprechen genügt es, sie einfach anzuschauen — „Siri“ muss man nicht sagen. Unterstützt wird auch Visual Intelligence, um Fragen zur physischen und virtuellen Umgebung zu stellen, und Siri AI wird als eigene vorinstallierte App mit Gesprächsverlauf ausgeliefert.

Für Entwickler fügt visionOS 27 einen Objekt-Tracking-Modus mit hoher Bildrate hinzu, der sich für bewegte und in der Hand gehaltene Objekte eignet. Apple nennt die Aktualisierungsrate nicht, frühe Berichte sprechen aber von etwa 30 Hz. Bei gehaltenen Objekten empfiehlt Apple dringend den neuen Extended-Training-Modus — er verbessert das Tracking deutlich, erhöht die Trainingszeit jedoch „erheblich“: Ein Entwickler berichtete, dass das Training eines Spielzeugfischs rund 18 Stunden gedauert hat. Das optische Tracking läuft mit 90 Hz und wird mit den Daten des Beschleunigungssensors und Gyroskops (IMU) des Objekts fusioniert. Das Update öffnet außerdem den Weg zu Tracked-Accessoires: Zuvor hatten Sony und Logitech fest einprogrammierte Unterstützung für die PS VR2-Sense-Controller und den Muse-Stift, die Konstellationen aus Infrarot-LEDs verwenden.

visionOS 27 fügt APIs hinzu, die es jedem Unternehmen ermöglichen, eigene Tracked-Accessoires auf Basis von IR-LEDs zu entwickeln — ähnlich, wie auf dem PC die „Lighthouse“-Accessoires von SteamVR funktionieren. DFRobot und MikroE haben bereits Referenz-Hardware und Entwickler-Kits angekündigt, wobei die DFRobot-Hardware bereits jetzt erhältlich ist. Außerdem gibt es eine neue Aufnahmeoption in hoher Qualität: Sie nimmt bis zu drei Minuten 4K-Video ohne foveales Rendering vollständig auf dem Headset selbst auf, ohne Mac — eine Funktion, die lange gewünscht wurde, um visionOS-Inhalte zu präsentieren. In visionOS 27 ist zudem die Umgebung „Thórsmörk-Tal“ in Island hinzugekommen — bereits die zehnte virtuelle Umgebung, mit einer nächtlichen Variante mit Nordlichtern.

Weitere Verbesserungen betreffen App-Entwickler und Arbeitsabläufe. Bei einer Verbindung über Mac Virtual Display bringt macOS 27 eine API, um ein 3D-Objekt auf visionOS zur Vorschau zu erzeugen, mit integrierter Unterstützung für Preview.app; auf dem Headset vorgenommene Änderungen werden auf der macOS-Seite übernommen, und für die gemeinsame Bearbeitung mit Personas wird SharePlay unterstützt. Xcode 27 bringt eine Device-Hub-App, damit Entwickler Demos aus der Ferne starten können, statt Gäste durch Blick-und-Zwicken zu führen. visionOS 27 führt außerdem gekrümmte Fenster in Safari, Freeform und Apple TV Multiview ein — allerdings bleibt das eine private Erstanbieter-API — sowie Widgets für Zubehör, Safari-Webumgebungen über eine requestImmersive()-API und eine schnellere WLAN-Verbindung nach dem Start.