NVIDIA-Entwickler nutzen fortschrittliche KI-Agenten zur Automatisierung von Omniverse-Simulations-Workflows

Entwickler kombinieren zunehmend fortschrittliche KI-Modelle mit NVIDIA Omniverse-Bibliotheken, um Simulationskonzepte in funktionierende Anwendungen zu verwandeln. Diese Integration ermöglicht es Teams, digitale Assets zusammenzustellen, Physik-Engines zu verbinden und Rendering-Pipelines zu konfigurieren, wobei der manuelle Aufwand deutlich reduziert wird. Indem sie KI-Agenten durch Anweisungen in natürlicher Sprache steuern, können sich Ingenieure auf hochrangige Designziele konzentrieren, während die Agenten die komplexe technische Umsetzung übernehmen. Die resultierenden Anwendungen unterstützen die Erkundung von Szenarien, die Untersuchung von Fehlern und iterative Designverbesserungen in verschiedenen Branchen. Diese Änderung im Workflow ermöglicht ein schnelleres Prototyping und robustere Testumgebungen für komplexe Systeme.

Frank DeLise, Produktmanager für Omniverse bei NVIDIA, nutzte den Astra-Agenten, um einen interaktiven Simulator für die Lagerautomatisierung zu erstellen. Er wies Astra an, bestimmte Omniverse-Bibliotheken zu verbinden, darunter ovphysx für Physik, ovstage für Szenen-Updates, ovrtx für Rendering und ovui für die Benutzeroberfläche. Mit SimReady-Assets generierte der Agent den erforderlichen Animations- und Anwendungskode, um einen humanoiden Robotten in einer Ansicht aus erster und dritter Person darzustellen. Dieses Projekt zeigt, wie KI die Zusammenstellung physikbasierter Steuerungssysteme automatisieren kann und Entwicklern ermöglicht, das Aufgabenverhalten in einer realistischen Umgebung zu bewerten, bevor physische Roboter deployed werden. Der Prozess unterstreicht die Effizienz der KI-Nutzung, um die Lücke zwischen statischen Assets und dynamischen, interaktiven Simulationen zu schließen.

Doyub Kim, Manager des Teams für Simulationstechnologien, nutzte Astra, um Zero to Alpamayo zu erstellen, eine wiederverwendbare Simulationsumgebung, die auf der Market Street in San Francisco basiert. Kim wies den Agenten an, den Arbeitsablauf zu strukturieren und die Erstellung von Assets, die Verkehrssimulation und die Fahrmodelle schrittweise zu verbinden. Der resultierende Prototyp dient als Testumgebung zum Vergleich verschiedener Fahrmodelle und zur Verfolgung dessen, wie Änderungen an der Szene oder den Sensoren das Verhalten in nachgelagerten Prozessen beeinflussen. Darüber hinaus variierte ein separates Experiment mit Cosmos3-Nano die Wetter- und Lichtbedingungen in aufgezeichneten Simulationsvideos. Dies ermöglichte es Kim, die Reaktionen des Fahrmodells auf identische Szenarien unter unterschiedlichen Umweltfaktoren zu analysieren und damit kritische Daten zur Verfeinerung der Algorithmen für autonome Fahrzeuge bereitzustellen.

Ashley Reid, die an der Validierung von RTX-Sensoren arbeitet, wies die Agenten Astra und Claude Fable 5 an, die Ausgaben simulierter Sensoren mit aufgezeichneten Daten der realen Welt zu vergleichen. Die Agenten erstellten zwei digitale Zwillinge von Grund auf und verbesserten zwei bestehende in einem dreitägigen iterativen Arbeitsablauf. Sie maßen die Unterschiede zwischen den Ausgaben der ovrtx-Kamera und den Rohdaten des LiDARs, indem sie OpenUSD-Szenen erstellten oder modifizierten, um fehlende Objekte, Geometrien und Materialien zu beheben. Die Akzeptanzkriterien basierten auf spezifischen Kamera- und LiDAR-Metriken, um sicherzustellen, dass die simulierten Sensoren ihren physischen Gegenstücken nahe kamen. Diese Methodik bietet Entwicklern eine systematische Möglichkeit, gemessene Abweichungen zur Steuerung der Szenenerstellung zu nutzen und so eine Validierung mit hoher Treue für autonome Systeme und Robotikanwendungen zu gewährleisten.

Tae Kim, der die Ingenieursabteilung von NVIDIA Omniverse leitet, nutzte Sportvideos und Anweisungen in natürlicher Sprache, um Astra beim Aufbau von Robo Olympics zu leiten. Dieses experimentelle Projekt testet simulierte Unitree-G1-Humanoiden, die verschiedene Sportbewegungen ausführen. Auf Kims Anweisung baute Astra Controller und verfeinerte sie durch physikalische Versuche unter Verwendung der Newton Physics Engine und des Open-Source-Frameworks NVIDIA Warp. Die ovrtx-Bibliothek rendernte die Szenen und die Bilder der virtuellen Kamera und lieferte visuelles Feedback zur Leistung des Roboters. In einem bestimmten Experiment überwand der Roboter erfolgreich ein einzelnes Hindernis in 64 von 100 Simulationsversuchen. Diese Versuche lieferten wertvolles Feedback zur Verbesserung des Timings und der Steuerungsmechanismen des Roboters und demonstrierten die Nützlichkeit von KI bei der Optimierung physischer Einschränkungen und der Bewegungsplanung.

Jens Jebens, Senior Product Manager für OpenUSD, wies Astra an, eine Autosuspension in PTC Onshape zu modellieren und sie in NVIDIA Isaac Sim zu konfigurieren. Der Agent maß den verfügbaren Raum und entwarf einen Schraubenschlüssel, mit dem der Roboter an die Bolzen der Suspension gelangen konnte. Jebens berichtete über das erfolgreiche Entfernen eines Suspensionskomponenten in der Simulation und verknüpfte Design- und Werkzeugentscheidungen direkt mit den Demontageergebnissen. Dieser Arbeitsablauf bietet einen Ausgangspunkt für das Training von Roboterpolitiken und stellt sicher, dass die Werkzeuge vor der physischen Fertigung tragfähig sind. Auch Nic Johns, Engineering Director, nutzte Astra, um NASA-Assets in ein OpenUSD-Modell der Internationalen Raumstation mit Telemetrie zusammenzustellen. Er baute die Anwendung mit einem einzigen Prompt, wobei er Blender zur Vorbereitung der Assets und Omniverse-Bibliotheken für Rendering und Streaming nutzte, um 3D-Modelle und Betriebsdaten in den Browser zu bringen.