visionOS 27 est disponible pour l'Apple Vision Pro : l'assistant IA Siri, le suivi d'objets tenus en main et de nouvelles API pour les accessoires de suivi

Apple a publié visionOS 27, la quatrième mise à jour majeure du système d'exploitation pour les casques Vision Pro. Elle est disponible aussi bien sur les modèles M2 que sur les modèles M5. La mise à jour est arrivée presque sans bruit, mais par son ampleur, c'est l'une des plus importantes à ce jour. La principale nouveauté est Siri AI, l'assistant d'Apple revu à partir de grands modèles de langage, actuellement déployé en version bêta. Pour y accéder, il faut s'inscrire sur une liste d'attente dans les réglages de visionOS ; Apple indique que les temps d'attente varient et que, dès que l'accès est ouvert, la fonction commence à se télécharger automatiquement. Siri AI ne fonctionne actuellement qu'en anglais — la langue de l'appareil comme la langue de Siri doivent être réglées sur la même variante d'anglais prise en charge.

Derrière Siri AI se trouvent les modèles de fondation de nouvelle génération d'Apple, que l'entreprise a développés avec Google sur la base de ses modèles Gemini. Comme pour Apple Intelligence en général, une partie des tâches s'exécute sur un petit modèle intégré directement dans l'appareil, tandis que le travail plus complexe est transféré vers Private Cloud Compute d'Apple. Sur visionOS, Siri AI apparaît comme une sphère ancrée dans l'espace, que l'on peut fixer à un point précis de la pièce ; pour commencer à parler, il suffit de la regarder — nul besoin de prononcer « Siri ». Il y a aussi la prise en charge de Visual Intelligence pour poser des questions sur l'environnement physique et virtuel, et Siri AI est fourni comme une application préinstallée distincte avec un historique des conversations.

Pour les développeurs, visionOS 27 ajoute un mode de suivi d'objets à fréquence d'images élevée, adapté aux objets en mouvement et aux objets tenus en main. Apple ne précise pas la fréquence de mise à jour, mais les premiers retours évoquent environ 30 Hz. Pour les objets tenus en main, Apple recommande vivement le nouveau mode Extended Training — il améliore nettement le suivi, mais augmente « considérablement » le temps d'apprentissage : un développeur raconte que l'apprentissage d'un jouet en forme de poisson a pris environ 18 heures. Le suivi optique fonctionne à 90 Hz et est fusionné avec les données de l'accéléromètre et du gyroscope (IMU) de l'objet lui-même. La mise à jour ouvre également la voie aux accessoires suivis : auparavant, Sony et Logitech disposaient d'un support codé en dur pour les manettes PS VR2 Sense et le stylet Muse, qui utilisent des constellations de LED infrarouges.

visionOS 27 ajoute des API permettant à toute entreprise de créer ses propres accessoires suivis à base de LED infrarouges — à peu près comme fonctionnent les accessoires SteamVR « Lighthouse » sur PC. DFRobot et MikroE ont déjà annoncé du matériel de référence et des kits de développement, et le matériel de DFRobot est d'ores et déjà disponible à l'achat. Par ailleurs, une option d'enregistrement en haute qualité est apparue : elle capture jusqu'à trois minutes de vidéo 4K sans rendu fovéal, entièrement sur le casque lui-même, sans Mac — une fonctionnalité attendue de longue date pour montrer le contenu de visionOS. visionOS 27 ajoute aussi l'environnement « vallée de Thórsmörk » en Islande — déjà le dixième environnement virtuel, avec une variante nocturne d'aurores boréales.

Les autres améliorations concernent les développeurs d'applications et les flux de travail. Lors d'une connexion via Mac Virtual Display, macOS 27 ajoute une API permettant de créer un objet 3D sur visionOS pour l'aperçu, avec prise en charge intégrée de Preview.app ; les modifications effectuées sur le casque sont répercutées côté macOS, et SharePlay est pris en charge pour l'édition collaborative avec Personas. Xcode 27 apporte une application Device Hub afin que les développeurs puissent lancer des démos à distance au lieu de guider les invités à travers le regard-et-pincement. visionOS 27 ajoute également des fenêtres incurvées dans Safari, Freeform et Apple TV Multiview — bien que cela reste une API propriétaire privée — ainsi que des widgets pour les accessoires, des environnements Web Safari via une API requestImmersive() et une connexion Wi-Fi plus rapide après le démarrage.