Разработчики NVIDIA используют передовые ИИ-агенты для автоматизации рабочих процессов симуляции Omniverse

Разработчики всё чаще объединяют передовые ИИ-модели с библиотеками NVIDIA Omniverse, превращая концепции симуляций в рабочие приложения. Такая интеграция позволяет командам собирать цифровые активы, подключать физические движки и настраивать пайплайны рендеринга, значительно сокращая ручной труд. Направляя ИИ-агентов через инструкции на естественном языке, инженеры могут сосредоточиться на высокоуровневых целях проектирования, пока агенты берут на себя сложную техническую реализацию. Полученные приложения поддерживают исследование сценариев, анализ сбоев и итеративное улучшение дизайна в различных отраслях. Это изменение рабочего процесса обеспечивает более быстрое прототипирование и создание более устойчивых сред тестирования для сложных систем.

Фрэнк ДеЛизе, менеджер продукта Omniverse в NVIDIA, использовал агента Astra для создания интерактивного симулятора автоматизации склада. Он направил Astra подключать конкретные библиотеки Omniverse, включая ovphysx для физики, ovstage для обновления сцен, ovrtx для рендеринга и ovui для пользовательского интерфейса. Используя активы SimReady, агент сгенерировал необходимый код анимации и приложения, чтобы вывести гуманоидного робота в вид от первого и третьего лица. Этот проект демонстрирует, как ИИ может автоматизировать сборку систем управления на основе физики, позволяя разработчикам оценивать поведение задач в реалистичной среде до развертывания физических роботов. Процесс подчеркивает эффективность использования ИИ для преодоления разрыва между статическими активами и динамическими интерактивными симуляциями.

Дойуб Ким, менеджер команды технологий симуляции, применил Astra для создания Zero to Alpamayo — переиспользуемой среды симуляции, основанной на улице Маркет-стрит в Сан-Франциско. Ким направлял агента, чтобы тот выстроил рабочий процесс и поэтапно подключил создание активов, симуляцию трафика и модели вождения. Полученный прототип служит полигоном для сравнения различных моделей вождения и отслеживания того, как изменения сцены или датчиков влияют на поведение в нижестоящих процессах. Кроме того, отдельный эксперимент с использованием Cosmos3-Nano варьировал погодные и световые условия в записанных видео симуляций. Это позволило Киму анализировать реакции модели вождения на идентичные сценарии при разных факторах окружающей среды, предоставляя критически важные данные для уточнения алгоритмов автономных транспортных средств.

Эшли Рид, работающая над валидацией датчиков RTX, направляла агентов Astra и Claude Fable 5 для сравнения выходов симулированных датчиков с записанными данными реального мира. Агенты создали два цифровых двойника с нуля и улучшили два существующих в ходе трехдневного итеративного рабочего процесса. Они измеряли различия между выходами камеры ovrtx и сырыми данными LiDAR, создавая или модифицируя сцены OpenUSD для устранения отсутствующих объектов, геометрии и материалов. Критерии приемки основывались на конкретных метриках камеры и LiDAR, гарантируя, что симулированные датчики тесно соответствовали своим физическим аналогам. Эта методология предоставляет разработчикам систематический способ использовать измеренные расхождения для руководства созданием сцен, обеспечивая валидацию высокой точности для автономных систем и приложений робототехники.

Тэ Ким, возглавляющий инженерный отдел NVIDIA Omniverse, использовал спортивные видео и инструкции на естественном языке, чтобы направлять Astra в создании Robo Olympics. Этот экспериментальный проект тестирует симулированных гуманоидов Unitree G1, выполняющих различные спортивные движения. По указанию Кима, Astra построила контроллеры и дорабатывала их через физические испытания, используя Newton Physics Engine и открытый фреймворк NVIDIA Warp. Библиотека ovrtx рендерила сцены и изображения виртуальной камеры, предоставляя визуальную обратную связь о производительности робота. В одном конкретном эксперименте робот успешно преодолел одно препятствие в 64 из 100 симуляционных испытаний. Эти испытания дали ценную обратную связь для улучшения тайминга и механизмов управления робота, демонстрируя полезность ИИ в оптимизации физических ограничений и планирования движений.

Йенс Йеббенс, старший менеджер продукта OpenUSD, направил Astra моделировать автомобильную подвеску в PTC Onshape и настраивать ее в NVIDIA Isaac Sim. Агент измерил доступное пространство и спроектировал гаечный ключ, которым робот мог бы достать до болтов подвески. Йеббенс сообщил об успешном снятии компонента подвески в симуляции, напрямую связывая решения по дизайну и инструментам с результатами разборки. Этот рабочий процесс предлагает отправную точку для обучения политик роботов, гарантируя, что инструменты жизнеспособны до физического производства. Ник Джонс, директор по инженерным вопросам, также использовал Astra для сборки активов NASA в модель Международной космической станции в OpenUSD с телеметрией. Он построил приложение с помощью одного запроса, используя Blender для подготовки активов и библиотеки Omniverse для рендеринга и стриминга, выводя 3D-модели и операционные данные в браузер.