Блог

Очки Meta VR: 100-граммовый шлем с отдельным вычислительным модулем
  • PublicPublic
  • 24 Sep, 2026

Очки Meta VR: 100-граммовый шлем с отдельным вычислительным модулем

Meta представила очки Meta VR — устройство, которое компания называет началом новой эры виртуальной реальности. Шлем, который появится весной 2027 года, весит около 100 граммов и в корпусе размером с очки совмещает кинотеатр, рабочее пространство и консоль. Никаких ремней и тяжёлой начинки на лице: открытые боковые стороны и камера passthrough позволяют видеть, что происходит вокруг, — смотрите ли вы полный фильм или работаете на приватном экране во время долгого перелёта.Лёгкость конструкции достигается за счёт системы из двух частей. Сами очки отвечают за датчики и дисплей, а магниевый корпус обеспечивает жёсткость, прочность и отвод тепла. Отдельный модуль — подключаемый оптическим кабелем — берёт на себя вычисления, батарею и хранилище и крепится к карману или сумке. В итоге шлем получается в пять раз легче, чем Meta Quest 3.Дисплей — это 5K Infinite Display на micro-OLED панелях с плотностью 37 пикселей на градус, благодаря чему текст остаётся чётким и читаемым. Сверхкомпактные линзы-«блинчики», созданные специально для этого устройства, дают кинематографическую чёткость в корпусе размером с очки. Dolby Vision отвечает за насыщенный цвет и контраст, а пространственный звук Dolby Atmos встроен прямо в оправу.В операционную систему встроен Meta AI, так что фильм можно включить, приложения — открыть, рабочее пространство — настроить или выполнить поиск голосом, движением глаз и естественными жестами рук — контроллеры не нужны. Шлем работает на процессоре Qualcomm Snapdragon Reality Elite, обеспечивающем быструю загрузку и высокую энергоэффективность. Батареи модуля хватает до трёх часов непрерывного воспроизведения в высоком разрешении, поддерживается быстрая зарядка на 45 Вт.Для игр и работы очки Meta VR на старте поддерживают более 75 игр с управлением только жестами, полный доступ ко всему каталогу Quest и совместимость с контроллерами Touch Plus. Xbox Cloud Gaming транслирует сотни игр через Bluetooth-геймпад, а к Mac или Windows PC можно подключиться по Wi-Fi или через USB-C. Любой стол превращается в клавиатуру и тачпад, а полноцветный passthrough оставляет на виду настоящую клавиатуру и рабочий стол, пока вы работаете.Очки Meta VR поступят в продажу весной 2027 года по цене $1 299,99. Платформа также представляет Hologram — фотореалистичную цифровую копию пользователя в реальном времени для видеозвонков без рук. Пространственный звук размещает голос собеседника в трёхмерном пространстве, и функция работает в разных приложениях для звонков — от WhatsApp до Zoom.

Рендеринг и анимация сотен тысяч блоков с помощью RenderMeshPrimitives
  • PublicPublic
  • 24 Sep, 2026

Рендеринг и анимация сотен тысяч блоков с помощью RenderMeshPrimitives

Изображение можно разбить на огромный массив цветных блоков через Graphics.RenderMeshPrimitives, а затем анимировать его волнами, сборкой, отталкиванием и обвалом на играбельной частоте кадров. Подход начинается с того, что исходная текстура превращается в список данных о позиции и цвете каждого блока. Задаётся горизонтальное число блоков gridWidth, а вертикальное выводится из соотношения сторон изображения — так исходные пиксели прореживаются с равными интервалами, при этом полностью прозрачные и почти чёрные пиксели пропускаются как фон.Каждый блок хранится в структуре PixelBlock с полями float3 position и float4 color, в точности повторяющей раскладку HLSL. В Awake метод texture.GetPixels32 читает исходное изображение, а цикл for по координатам сетки сопоставляет каждой ячейке сетки исходный пиксель, смещая позиции так, чтобы центр сетки оказался в начале координат. Байты цвета делятся на 255, превращаясь в значения 0–1. Первый наивный проход создаёт по одному GameObject на блок с общим мешем, материалом и MaterialPropertyBlock, но на примерно 100 000 блоках всё сваливается до 6 FPS, потому что каждый объект добавляет команды отрисовки и накладные расходы компонентов.Решением становится Graphics.RenderMeshPrimitives — API, специально созданный для многократного отрисовки одного и того же меша. Данные экземпляров загружаются один раз в GraphicsBuffer (GraphicsBuffer.Target.Structured, sizeof(float) * 7 на элемент), затем SetData(blocks) переносит весь массив из CPU на GPU одним вызовом. Аргумент stride должен совпадать с размером структуры HLSL, и его нужно обновлять при изменении полей. Единственный вызов Graphics.RenderMeshPrimitives(renderParams, cubeMesh, 0, blocks.Length) рисует всё, пока шейдер достаёт позицию и цвет по SV_InstanceID. worldBounds должен быть достаточно большим, чтобы вместить все блоки: слишком маленький скрывает блоки, а слишком большой сводит на нет отсечение; буфер стоит освобождать в OnDisable, чтобы избежать утечек.На примерно 100 000 блоках версия с GameObject выросла до 54 525 вызовов отрисовки и примерно 6 FPS, тогда как версия на RenderMeshPrimitives держалась на 42 вызовах отрисовки на всю сцену и достигала 700–865 FPS. При увеличении примерно в десять раз — до 1,04 миллиона блоков — вызовы отрисовки остались на уровне 42, а частота кадров держалась около 435 FPS; цифры взяты из окна Statistics в Unity. Поскольку смещение читается из буфера на стороне GPU, а CPU выдаёт всего одну команду отрисовки, стоимость остаётся низкой даже при росте числа блоков.Анимация идёт по двум путям в зависимости от того, нужно ли состояние предыдущего кадра. Движение, заданное только временем, целиком выполняется в вершинном шейдере: волна добавляет sin вдоль Z, используя _WaveAmplitude, _WaveFrequency и _WaveSpeed, а эффект сборки интерполирует разбросанную позицию к исходной, управляемой значением _Progress. Направления разброса берутся из GenerateHashedRandomFloat с ключом по ID экземпляра, поэтому они детерминированы и не требуют сохранённого состояния, а стартовые пороги, сдвинутые по высоте, заставляют изображение подниматься снизу.Для движений, переносящих скорость или позицию между кадрами, используется вычислительный шейдер. Эффект магнита хранит текущие позиции в буфере чтения-записи и отталкивает блоки рядом с курсором, затем каждый кадр лерпит позиции к их целям перед отрисовкой обновления. Гравитационный обвал каждый кадр интегрирует скорость в буфер BlockState, отскакивая при приземлении с _Restitution и засыпая, когда скорость падает ниже _SleepThreshold; _DeltaTime при этом ограничен значением 1/30 секунды, чтобы избежать взрыва интегрирования, а позиции покоя заранее вычисляются из плотности по колонкам.

DLSS 5 приносит разработчикам игр 3D-направленный нейронный рендеринг
  • PublicPublic
  • 24 Sep, 2026

DLSS 5 приносит разработчикам игр 3D-направленный нейронный рендеринг

DLSS 5 представляет 3D-Guided Neural Rendering — новый финальный этап, который расширяет графический конвейер проходом нейронного рендеринга. За основу берётся отрендеренный движком кадр — вместе с созданными художниками геометрией, текстурами и буферами освещения — и эта основа остаётся незыблемой. Кадр от движка задаёт то, что должно сохраниться, а разработчики решают, что можно менять. По цвету кадра и векторам движения модель добавляет живое освещение и детализацию материалов, не трогая при этом структуру сцены, индивидуальность персонажей и художественный замысел.Созданный специально для рендеринга 3D в реальном времени, DLSS 5 даёт детерминированный, стабильный во времени результат. Он работает по строгой схеме «кадр на входе — кадр на выходе», используя векторы движения игрового движка, поэтому картинка остаётся согласованной при движении игрока. Компактная специализированная модель выполняется локально на одной видеокарте GeForce RTX 50 Series в разрешении вплоть до 4K.Рисунок 1. DLSS 5 обучается сохранять художественный замысел, поддерживая идентичность персонажа, семантику сцены и освещения, а также композицию кадраDLSS 5 уже доступен в NBA 2K27 — игре студии Visual Concepts, изданной 2K, — на всех настольных и ноутбучных видеокартах GeForce RTX 50 Series. Подписчики GeForce NOW Ultimate тоже могут оценить технологию, играя в облаке на серверах NVIDIA с видеокартами GeForce RTX 5080. Visual Concepts применяет общие регулировки тона и стиля, а также маску попиксельного усиления, чтобы точно настраивать детализацию персонажей, сохраняя при этом их узнаваемость. В NBA 2K27 DLSS 5 сохраняет отсканированную геометрию лиц, одновременно улучшая подповерхностное рассеивание кожи, прохождение света сквозь волосы и уши, а также контактные тени.Помимо DLSS 5, анонс затрагивает обновления NVIDIA ACE и RTX Kit. NVIDIA ACE расширяет речевой конвейер и фреймворк инференса для создания разговорных персонажей в играх, а SDK NVIDIA In-Game Inferencing (NVIGI) обеспечивает внутрипроцессное выполнение на C++ для развёртывания локальных ИИ-моделей рядом с игровой графикой. RTX Mega Geometry SDK обновили до версии 2.0, добавив поддержку потоковой передачи непрерывных кластеров уровней детализации для высокоплотных мешей — это показано в только что выпущенной текстурированной glTF-версии Zorah. RTX Mega Geometry скоро появится в Gears of War: E-Day.

Unity Simulation Pro выходит в Early Access для задач робототехники
  • PublicPublic
  • 22 Sep, 2026

Unity Simulation Pro выходит в Early Access для задач робототехники

Unity запустила Unity Simulation Pro в Early Access — пакет симуляции для робототехники, рассчитанный на команды, которые создают и проверяют робототехнические системы. Пакет совместим с Unity 6.3 и новее, и для него нужна лицензия Unity Industry. Замысел в том, чтобы собрать в одном месте то, что командам прежде приходилось делать самим: вручную восстанавливать физическое описание робота, писать сенсоры с нуля, поддерживать интеграции с открытыми стандартами вроде ROS. Собрав всё это в один поддерживаемый набор инструментов, Unity Simulation Pro должен сократить время на инфраструктуру симуляции, чтобы команды могли сосредоточиться на проверке самих робототехнических систем.Пакет охватывает широкий круг задач: симуляцию сенсоров, обучение роботов и виртуальную наладку. Unity подаёт его как основу для перевода роботов из лаборатории в реальный мир, построенную на рендеринге в реальном времени, точной физике и симуляции сенсоров. Ранние пользователи отмечают разные применения. TIER IV с помощью своего симулятора AWSIM на базе Unity тестировала, проверяла и оптимизировала софт автономного вождения Autoware. Сценарии AWSIM могут требовать одновременной работы восьми и более камер, с чем стандартные приёмы оптимизации не справлялись. Вместо этого команда сделала собственную оптимизацию: разнесённый по камерам рендеринг для сглаживания пиков кадров, управление масштабом времени, чтобы выделять больше ресурсов на кадр, оптимизацию ассетов и возможность использовать разные пайплайны рендеринга внутри одного проекта, балансируя точность и частоту кадров.Ещё TIER IV опиралась на систему задач Unity и встроенную физику, чтобы держать производительность в реальном времени в симуляции транспорта, трафика и пешеходов. Для тестирования hardware-in-the-loop команда разбирала сырые пакеты сенсоров и воспроизводила эквивалентный вывод из Unity. Так установки камер можно было проверить в контуре ещё до установки на реальный тестовый автомобиль, сократив часы работы тестовой машины и расходы на дорожные испытания. Корейский институт промышленных технологий (KITECH) тем временем построил цифрового двойника литейного цеха по облакам точек, чтобы генерировать обучающие данные для ИИ, который понимает близость человека и робота на производственной площадке. Команда наложила поверх системы физики, сенсоров и симуляции, использовала сенсорную установку с кастомными компонентами, повторяющими реальную, чтобы все наблюдения шли по одним симуляционным часам, и задействовала компоненты Articulation Body для воспроизведения записанных траекторий суставов с совместным расчётом инерции и контактов.Такая физическая точность позволила KITECH автоматически сгенерировать более 100 000 заранее размеченных обучающих кадров за 14 недель. Это избавило от необходимости вручную разыгрывать опасные сценарии близости на действующем заводском цеху и при этом обеспечило надёжный перенос из симуляции в реальность. Medtronic построила в Unity конвейер записи и воспроизведения данных вокруг цифрового двойника своей роботизированной хирургической системы Hugo, зафиксировав 195 операций на пяти площадках по всему миру. Записи превратились в переиспользуемый набор данных: инженер мог загрузить записанную операцию, пролистать её, вычленить момент и рассмотреть его с любого ракурса. Те же данные шли в детерминированные повторы, которые использовались для обучения новых ИИ-моделей и проектирования устройств следующего поколения.Unity отмечает, что ей особенно интересны команды, которые массово запускают валидацию роботов, тестирование сенсоров или генерацию синтетических данных в производстве, логистике, складском деле и продвинутой робототехнике. Команда разработки ждёт отзывов на Unity Discussions.

NVIDIA Isaac ROS 5.0 приносит агентные рабочие процессы и поддержку ROS Lyrical в разработку робототехники
  • PublicPublic
  • 22 Sep, 2026

NVIDIA Isaac ROS 5.0 приносит агентные рабочие процессы и поддержку ROS Lyrical в разработку робототехники

NVIDIA выпустила Isaac ROS 5.0 — набор пакетов с GPU-ускорением, построенных на фреймворке ROS с открытым исходным кодом. Анонс состоялся на конференции ROSCon в Торонто. Релиз рассчитан на широкую аудиторию разработчиков: он даёт почти 1,3 миллиона пользователей ROS доступ к ускоренным вычислениям NVIDIA, моделям физического ИИ и готовым к продакшену библиотекам, позволяя строить высокопроизводительные приложения для робототехники на бесплатных инструментах с открытым исходным кодом.Центральная тема обновления — агентная разработка: ИИ-агенты теперь тоже участвуют в создании роботов. Isaac ROS 5.0 вводит переиспользуемые «навыки» для настройки и манипуляций, которыми могут пользоваться и разработчики, и ИИ-агенты, а также документацию, подготовленную для агентов, — так инструменты и рабочие процессы становятся проще для понимания ИИ. Идея в том, чтобы быстрее превращать замысел разработчика в работающие приложения: автоматизировать повторяющиеся задачи и помогать ориентироваться в сложных кодовых базах.Некоторые из этих навыков выходят за рамки простой помощи в написании кода. Новый навык тонкой настройки FoundationStereo позволяет ИИ-агенту адаптировать модель стереовосприятия под конкретные камеры, окружение и задачу разработчика. FoundationPose — базовая модель для оценки и отслеживания позы объектов — теперь поставляется с готовой к работе агентов библиотекой инференции, благодаря которой роботы воспринимают и отслеживают положение и ориентацию объектов до 5,5 раза быстрее. Навык pick-and-place, связывающий детекцию, оценку глубины и вывод позы, тоже доступен как самостоятельный навык для агентов.С точки зрения платформы Isaac ROS 5.0 добавляет поддержку ROS Lyrical и Ubuntu 24.04, открывая разработчикам путь к новейшей платформе ROS с сохранением GPU-ускорения. NVIDIA вместе с Open Source Robotics Alliance внесла в ROS Lyrical стандартный интерфейс обработки данных, чтобы робототехническое ПО эффективно работало на разном оборудовании, включая GPU, — с CUDA в качестве рабочего примера. Вычислительная поддержка масштабируется от базового Jetson Orin Nano до высокопроизводительных устройств Jetson Thor.Intrinsic использует FoundationPose для бесшовного распознавания объектов в своём решении Open Machine Tending.Экосистема уже подхватывает этот агентный подход. Intrinsic Open Machine Tending Solution — часть недавно выпущенного Intrinsic Core — включает встроенную совместимость с FoundationPose для регистрации, отслеживания и оценки позы объектов «из коробки», уменьшая нужду в жёстких физических креплениях. Среди других партнёров — reBot Arm от Seed Studio, Magna, пакетный менеджер Pixi от Prefix.dev, Foxglove, Flexiv Rizon 4, Ekumen, камеры Stereolabs ZED от Ouster, MenteeBot от Mentee Robotics, SDK AI Accelerator от Universal Robots, ROBOTIS, FieldAI и Noble Machines. Ekumen, например, использует isaac_ros_cumotion на GPU, чтобы проложить путь без столкновений для складской руки примерно за 2–5 миллисекунд.Isaac ROS 5.0 уже доступен, бесплатен и открыт, а подробности и инструкции по началу работы лежат на GitHub.

Meta запустит умные очки без камеры на фоне растущего недовольства по поводу приватности
  • PublicPublic
  • 21 Sep, 2026

Meta запустит умные очки без камеры на фоне растущего недовольства по поводу приватности

Как сообщает The Information, Meta готовит новую линейку умных очков, в которых камеры не будет вообще. Микрофоны и динамики в очках останутся, но физическая кнопка, которая на текущих моделях запускает запись видео, теперь будет вызывать разговор с чат-ботом Meta AI или с Muse — недавно представленным ИИ-агентом компании. Такое решение убирает ту самую съёмочную начинку, из-за которой нынешний формат устройства вызывает столько споров.Все нынешние модели умных очков Meta оснащены белым светодиодом на конце одной из дужек: он мигает при съёмке фото и пульсирует во время записи видео. За исключением снятых с производства Ray-Ban Stories 2021 года, все модели отказываются записывать, если светодиод закрыт, — за это отвечает встроенный в него датчик освещённости. Проблема в том, что многие люди вообще не знают о существовании очков с камерой, поэтому индикатор легко не заметить на улице при дневном свете. Это слепое пятно и позволяет злоумышленникам снимать прохожих без их согласия и ведома.Появился даже вторичный рынок, где очки физически разбирают, чтобы извлечь светодиод. Meta отвечает на это обновлениями прошивки, которые отключают камеру при обнаружении взлома, но это по-прежнему игра в кошки-мышки с аппаратными хакерами. Компания утверждает, что вскрытию подверглись менее 0,1% проданных устройств, но даже это — около десяти тысяч очков, учитывая, что Meta и её партнёр EssilorLuxottica продали уже более десяти миллионов штук. Скрытая съёмка — ради контента для соцсетей, личных извращений или иногда ради записи действий полиции — породила призывы полностью запретить устройство, а критики окрестили эти очки «жуткими».Без камер, как утверждает Meta, новые модели получат более изящный дизайн с тонкими дужками и будут больше походить на обычные очки. Они также должны выйти в более низкой ценовой категории и привлечь покупателей, которым важен комфорт или кто просто не хочет сталкиваться с социальной стигмой «человека с камерой». Оборотная сторона очевидна: без зрения встроенный ИИ больше не видит того, что видит владелец, — и это ограничивает его полезность. В том же отчёте добавляется, что на Connect Meta может также показать гарнитуру следующего поколения с полнотелесными Codec Avatars.

Acute Immersive: white-label‑приложения visionOS для иммерсивного видео
  • PublicPublic
  • 21 Sep, 2026

Acute Immersive: white-label‑приложения visionOS для иммерсивного видео

Acute Immersive — это издательская платформа, которая позволяет компаниям запускать собственный ресурс с иммерсивным видео на Apple Vision Pro вместо того, чтобы полагаться на общие приложения вроде Apple TV, Amplium, Fovii или Theatre. С момента запуска в прошлом году она помогла вывести на рынок Primary: News in Depth — победителя Apple Design Award 2026 в категории Social Impact — и Blue Frog Immersive. Для закрытого просмотра контента было создано сопутствующее приложение Acute Pro. Команда планирует расширять охват за счёт будущей поддержки Android XR, включая очки XREAL Aura.Платформа выпускает полу-кастомные white-label‑приложения для иммерсивного видео, а бэкенд закрывает публикацию, монетизацию и аналитику. Основной упор сделан на материал, снятый камерой Blackmagic URSA Cine Immersive, при этом поддерживаются обычное видео 16:9, 3D-фильмы, моно- и стерео-видео 180 и 360 градусов, а также Spatial Video, записанное на iPhone. Студии, которым важнее снимать истории, чем возиться с приложением, могут либо воспользоваться другими дистрибуционными платформами, либо публиковаться напрямую, сохраняя полный контроль над пользовательским опытом, ценообразованием и доступом к аналитике.Скриншот превью приложения предоставлен Acute ImmersiveПубликация устроена просто: пользователи загружают и раскладывают файлы по плейлистам, просматривают иммерсивное видео прямо в гарнитуре, добавляют названия и обложки и выпускают новый контент без отправки новой версии приложения. Для управления аудиторией платформа поддерживает push-уведомления о новых загрузках и предоставляет данные о поведении зрителей, которые помогают принимать решения по контенту и вовлечению. Среди маркетинговых метрик — атрибуция трафика через глубокие ссылки, конверсия обложек и отслеживание конверсии от клика по глубокой ссылке до воспроизведения видео, что полезно для оттачивания креативов, таргетинга и стратегий привлечения.Монетизацию каждый клиент решает сам: возможны отдельные видео, пакеты или подписки, а кураторы могут договариваться о лицензиях напрямую с владельцами контента. Ценообразование многоуровневое: лицензионный сбор покрывает работу приложения для клиентов, трафик оплачивается отдельно, а кастомизация выполняется за сервисный сбор. По мере того как производство иммерсивного видео дешевеет, это даёт способ наполнить всё ещё ограниченную библиотеку доступного иммерсивного видео брендовым и лайфстайл-контентом.

«Посреди ничего» Кейси Масгрейвс показывает, каким хорошим может быть иммерсивная музыка на Quest
  • PublicPublic
  • 20 Sep, 2026

«Посреди ничего» Кейси Масгрейвс показывает, каким хорошим может быть иммерсивная музыка на Quest

«Kacey Musgraves Middle of Nowhere: An Immersive Experience» — это снятый специально для VR концерт, записанный в Billy Bob's Texas в Форт-Уэрте. В Meta говорят, что проект с нуля делался под стереоскопическое 3D в формате VR180: постановка, хореография, свет и расстановка камер — всё строилось вокруг человека, который смотрит в шлеме. 49-минутное переживание перемещается по нескольким зонам заведения, а не просто снимает обычный концерт с нескольких разных мест. Продюсировала проект и занималась его креативным руководством студия Untold Studios, совместное производство вели MediaMonks и 7 Cinematics, а съёмка велась на камеры Blackmagic URSA.Всё начинается с того, что Масгрейвс приезжает верхом на лошади, а потом действие переносится внутрь хонки-тонка. Уже с первой песни, «Dry Spell», камеры ставят зрителя очень близко к Масгрейвс и её группе. Иногда вы стоите на полу и смотрите слегка снизу вверх на сцену, а вокруг — публика; другая камера располагается подальше, позади толпы, а ещё одна стоит прямо на сцене между клавишником и барабанщиком. Позиций камеры не так много, но устройство заведения таково, что большего и не нужно.Масгрейвс заметную часть времени выступает, обращаясь к камере, иногда находясь всего в паре метров и будто поёт почти напрямую зрителю. Затем кадр снова уводит в толпу — ощущение «я ещё один человек в этом зале» сменяется ощущением частного концерта. Позже, когда люди заполняют танцпол, Масгрейвс и аккордеонист выходят к ним, а камера движется назад, помещая зрителя в самую гущу толпы.Стереоскопическая подача на Quest 3 отличная: естественная глубина, люди правильного размера и никакого заметного напряжения глаз. Качество 4K через гостиничный Wi-Fi всё равно смотрелось впечатляюще чётко, а звук шёл громкий, ясный и хорошо сведённый. Примерно на середине переживание переносится в родео с земляным полом внутри Billy Bob's — постройки, ведущей свою историю с 1910 года. Масгрейвс сидит на трибунах между двумя гитаристами, а зрителя ставят прямо перед трио, достаточно близко, чтобы чувствовать, будто сидишь вместе с ними, пока они разговаривают и играют.Завершается сет так же, как и начался: Масгрейвс покидает Billy Bob's в кузове пикапа, и зритель едет вместе с ней — съёмка ведётся камерой из кузова. Формат доказывает свою состоятельность как способ открыть для себя нового артиста, а очевидный сценарий применения VR лишь усиливается благодаря появляющимся сейчас более лёгким шлемам и дисплеям с большим разрешением. Переживание уже доступно на Meta Quest через приложение Meta Quest TV.

Meta может показать шлем Phoenix на Connect 2026 с полнотелыми аватарами Codec Avatars
  • PublicPublic
  • 20 Sep, 2026

Meta может показать шлем Phoenix на Connect 2026 с полнотелыми аватарами Codec Avatars

Несколько авторитетных изданий сообщили, что Meta делает премиальный сверхлёгкий шлем с открытой периферией и подключаемым вычислительным модулем — он целится в тот же верхний сегмент, что и Meta Quest Pro, но в куда более тонком корпусе. Проект и его лежащие в основе слои всплывали под кодовыми названиями Phoenix, Stanley и Loma. Официальные изображения устройства нашли в прошивке Horizon OS ранее в этом месяце, уже после того как UploadVR опубликовал подробный разбор в августе.Теперь The Information пишет, что Meta может показать Phoenix во время keynote на Connect 2026 рядом с «полнотелым фотореалистичным голографическим звонком», построенным на Codec Avatars. Издание описывает Phoenix как «инструмент для работы и развлечений» из очков и модуля, который Meta хочет продавать под виртуальные экраны и просмотр фильмов. Устройство там же называют «очками дополненной реальности», хотя по другим данным Phoenix технически — похожий на очки шлем Passthrough VR (смешанная реальность), работающий по тому же принципу, что Quest 3 и 3S. В некоторых строках прошивки устройство даже зовут «VR Glasses», но это название неокончательное.Строки, найденные в пакете прошивки Prescription Lens для HorizonOS.В материале утверждается, что ранее в этом месяце гендиректор Марк Цукерберг и технический директор Эндрю Босворт просмотрели наработки компании по голографическим видеозвонкам. С тех пор Meta решила показать «полнотелый фотореалистичный голографический звонок во время живой демонстрации Phoenix в keynote на Connect на следующей неделе, где голограммой станет Босворт», если планы не поменяются. За этим опытом стоят Codec Avatars — давнее исследование Meta в области фотореалистичной пространственной телеприсутствия через датчики Face Tracking на VR/MR-шлемах, а со временем и на очках. В целом это похоже на Personas в visionOS и Likeness в Android XR.Smali-файлы, ссылающиеся на Holograms, найденные в пакете Horizon OS Social Platform.Meta оттачивает эту технологию годами; самый известный пример — VR-интервью Марка Цукерберга с Лексом Фридманом, где оба использовали прототипные фотореалистичные Codec Avatars. Те версии снимали на специализированной установке и рендерили на мощных компьютерах, но с тех пор Meta показала способы генерировать Codec Avatars по нескольким фотографиям и запускать их на железе мобильного класса вроде Quest 3. Ранее в этом году компания опубликовала статью «Large-scale Codec Avatars: The Unreasonable Effectiveness of Large-scale Avatar Pretraining», где описана модель, которая создаёт полнотелые Codec Avatars по ограниченным входным данным и анимирует их с помощью обращённых внутрь датчиков и SLAM на шлеме.К августу 2026 года планы Meta по Codec Avatars всё сильнее тяготеют к видеозвонкам и телеприсутствию для социальных сценариев в семействе её приложений, и название Hologram прочно связано с этим направлением. Несколько пакетов Horizon OS содержат то, что выглядит как подфреймворки для более широкой системы «Hologram Calling», включая обширные отсылки к Codec Avatars. Строки в мобильном приложении Meta AI для Smart Glasses и других носимых устройств тоже описывают настройку аватара «Hologram», намекая на возможное потребительское название. Meta Connect 2026 пройдёт 23–24 сентября и покажет «последние прорывы компании в ИИ-технологиях, ИИ-очках и VR».Строки, ссылающиеся на Holograms, найденные в сборках мобильного приложения Meta AI за август 2026 года.

visionOS 27 вышла для Apple Vision Pro: ИИ-ассистент Siri, отслеживание объектов в руках и новые API для трекерных аксессуаров
  • PublicPublic
  • 20 Sep, 2026

visionOS 27 вышла для Apple Vision Pro: ИИ-ассистент Siri, отслеживание объектов в руках и новые API для трекерных аксессуаров

Apple выпустила visionOS 27 — четвёртое крупное обновление ОС для гарнитур Vision Pro. Оно доступно и на моделях с M2, и на моделях с M5. Вышло обновление почти без шума, но по объёму это одно из крупнейших на сегодня. Главная новинка — Siri AI, переработанный на базе больших языковых моделей ассистент Apple, который сейчас запускают в бета-версии. Чтобы получить доступ, нужно встать в лист ожидания в настройках visionOS; Apple говорит, что время ожидания разное, и как только доступ открывается, функция начинает скачиваться автоматически. Siri AI сейчас работает только на английском — и язык устройства, и язык Siri должны быть выставлены одним и тем же поддерживаемым вариантом английского.За Siri AI стоят фондовые модели Apple нового поколения, которые компания разрабатывала вместе с Google на основе его моделей Gemini. Как и в случае с Apple Intelligence в целом, часть задач выполняется на небольшой встроенной модели в самом устройстве, а более сложная работа передаётся в Private Cloud Compute от Apple. На visionOS Siri AI выглядит как закреплённая в пространстве сфера, которую можно привязать к конкретной точке комнаты; чтобы начать говорить, достаточно просто посмотреть на неё — произносить «Siri» не нужно. Есть и поддержка Visual Intelligence, чтобы задавать вопросы о физическом и виртуальном окружении, а ещё Siri AI поставляется отдельным предустановленным приложением с историей разговоров.Справочные отслеживаемые аксессуары visionOS 27 от DFRobot и MikroE.Для разработчиков visionOS 27 добавляет режим отслеживания объектов с высокой частотой кадров, подходящий для движущихся предметов и предметов в руках. Apple не называет частоту обновления, но ранние сообщения говорят примерно о 30 Гц. Для удерживаемых объектов Apple настоятельно советует новый режим Extended Training — он заметно улучшает отслеживание, но «значительно» увеличивает время обучения: один разработчик рассказал, что тренировка игрушки-рыбки заняла около 18 часов. Оптическое отслеживание работает на 90 Гц и совмещается с данными акселерометра и гироскопа (IMU) самого объекта. Обновление также открывает путь трекерным аксессуарам: раньше Sony и Logitech имели жёстко прописанную поддержку контроллеров PS VR2 Sense и стилуса Muse, которые используют созвездия инфракрасных светодиодов.Окружение Thórsmörk в visionOS 27.visionOS 27 добавляет API, позволяющие любой компании создавать собственные трекерные аксессуары на ИК-светодиодах — примерно так, как на ПК работают аксессуары SteamVR «Lighthouse». DFRobot и MikroE уже анонсировали референсное железо и наборы для разработчиков, причём железо DFRobot можно купить уже сейчас. Кроме того, появилась опция записи в высоком качестве: она снимает до трёх минут 4K-видео без фовеального рендеринга целиком на самой гарнитуре, без Mac — эту возможность давно ждали, чтобы показывать контент visionOS. В visionOS 27 также появилось окружение «долина Тоурсмёрк» в Исландии — уже десятое виртуальное окружение, с ночным вариантом северного сияния.Новый центр управления visionOS 27.Прочие улучшения касаются разработчиков приложений и рабочих процессов. При подключении через Mac Virtual Display в macOS 27 появляется API для создания 3D-объекта на visionOS для предпросмотра, со встроенной поддержкой Preview.app; правки, сделанные на гарнитуре, отражаются на стороне macOS, а для совместного редактирования с Personas поддерживается SharePlay. В Xcode 27 добавили приложение Device Hub, чтобы разработчики могли удалённо запускать демо, а не проводить гостей через взгляд-и-щипок. В visionOS 27 также появились изогнутые окна в Safari, Freeform и («Multiview» Apple TV) — правда, это остаётся закрытым проприетарным API — плюс виджеты для аксессуаров, веб-окружения Safari через API requestImmersive и более быстрое подключение к Wi-Fi после загрузки.