Розробники NVIDIA використовують передові ШІ-агенти для автоматизації робочих процесів симуляції Omniverse

Розробники дедалі частіше поєднують передові ШІ-моделі з бібліотеками NVIDIA Omniverse, перетворюючи концепції симуляцій на робочі додатки. Така інтеграція дозволяє командам збирати цифрові активи, підключати фізичні рушії та налаштовувати пайплайни рендерингу, значно скорочуючи ручну працю. Керуючи ШІ-агентами за допомогою інструкцій на природній мові, інженери можуть зосередитися на цілях проєктування високого рівня, поки агенти беруть на себе складну технічну реалізацію. Отримані додатки підтримують дослідження сценаріїв, аналіз збоїв та ітеративне вдосконалення дизайну в різних галузях. Ця зміна робочого процесу забезпечує швидше прототипування та створення більш стійких середовищ тестування для складних систем.

Френк ДеЛізе, менеджер продукту Omniverse в NVIDIA, використав агента Astra для створення інтерактивного симулятора автоматизації складу. Він направив Astra підключати конкретні бібліотеки Omniverse, зокрема ovphysx для фізики, ovstage для оновлення сцен, ovrtx для рендерингу та ovui для інтерфейсу користувача. Використовуючи активи SimReady, агент згенерував необхідний код анімації та додатку, щоб вивести гуманоїдного робота у вигляд від першої та третьої особи. Цей проєкт демонструє, як ШІ може автоматизувати збірку систем керування на основі фізики, дозволяючи розробникам оцінювати поведінку завдань у реалістичному середовищі до розгортання фізичних роботів. Процес підкреслює ефективність використання ШІ для подолання розриву між статичними активами та динамічними інтерактивними симуляціями.

Дойуб Ким, менеджер команди технологій симуляції, використав Astra для створення Zero to Alpamayo, тобто переиспользовуваного середовища симуляції, заснованого на вулиці Маркет-стріт у Сан-Франциско. Ким керував агентом, щоб той сформував робочий процес і поетапно підключив створення активів, симуляцію руху та моделі водіння. Отриманий прототип слугує полігоном для порівнення різних моделей водіння та відстеження того, як зміни сцени або датчиків впливають на поведінку у нижестоящих процесах. Крім того, окремий експеримент із використанням Cosmos3-Nano варіював погодні та світлові умови у записаних відео симуляцій. Це дозволило Киму аналізувати реакції моделі водіння на ідентичні сценарії за різних факторів середовища, надаючи критично важливі дані для вдосконалення алгоритмів автономних транспортних засобів.

Ешлі Рід, яка працює над валідацією датчиків RTX, керувала агентами Astra та Claude Fable 5 для порівнення виходів симульованих датчиків із записаними даними реального світу. Агенти створили два цифрових двійники з нуля та вдосконалили два наявні в ході триденного ітеративного робочого процесу. Вони вимірювали відмінності між виходами камери ovrtx та сирими даними LiDAR, створюючи або модифікуючи сцени OpenUSD для усунення відсутніх об'єктів, геометрії та матеріалів. Критерії приймання базувалися на конкретних метриках камери та LiDAR, що гарантувало точне збіг симульованих датчиків із їхніми фізичними аналогами. Ця методологія надає розробникам систематичний спосіб використовувати виміряні розбіжності для керування створенням сцен, забезпечуючи валідацію високої точності для автономних систем та застосувань робототехніки.

Тей Кім, який очолює інженерний відділ NVIDIA Omniverse, використовував спортивні відео та інструкції природною мовою, щоб керувати Astra у створенні Robo Olympics. Цей експериментальний проєкт тестує симульованих гуманоїдів Unitree G1, які виконують різні спортивні рухи. За вказівкою Кіма, Astra побудувала контролери та вдосконалювала їх через фізичні випробування, використовуючи Newton Physics Engine та відкритий фреймворк NVIDIA Warp. Бібліотека ovrtx рендерила сцени та зображення віртуальної камери, надаючи візуальний зворотний зв'язок щодо продуктивності робота. У одному конкретному експерименті робот успішно подолав одну перешкоду у 64 із 100 симуляційних випробувань. Ці випробування дали цінний зворотний зв'язок для покращення таймінгу та механізмів керування роботом, демонструючи корисність ШІ в оптимізації фізичних обмежень та планування рухів.

Йенс Єбенс, старший менеджер продукту OpenUSD, направив Astra моделювати автомобільну підвіску в PTC Onshape та налаштовувати її в NVIDIA Isaac Sim. Агент виміряв доступний простір і спроєктував ключ, яким робот міг би дістатися до болтів підвіски. Єбенс повідомив про успішне зняття компонента підвіски в симуляції, безпосередньо пов'язуючи рішення щодо дизайну та інструментів із результатами розбирання. Цей робочий процес пропонує стартову точку для навчання політик роботів, гарантуючи, що інструменти є життєздатними до фізичного виробництва. Нік Джонс, директор з інженерних питань, також використовував Astra для збирання активів NASA в модель Міжнародної космічної станції в OpenUSD з телеметрією. Він побудував застосування за допомогою одного запиту, використовуючи Blender для підготовки активів та бібліотеки Omniverse для рендерингу та стрімінгу, виводячи 3D-моделі та операційні дані в браузер.