Razvojari u NVIDIA koriste napredne AI agense za automatizaciju radnih tokova simulacije u Omniverse

Razvojari sve češće kombiniraju napredne AI modele s bibliotekama NVIDIA Omniverse, pretvarajući koncepte simulacija u funkcionalne aplikacije. Ova integracija omogućuje timovima da sastave digitalne imovine, povežu fizikalne motore i konfiguriraju rendererske pipeline, značajno smanjujući ručni rad. Upravljanjem AI agentima putem uputa na prirodnom jeziku, inženjeri se mogu usredotočiti na ciljeve dizajna visoke razine, dok agenti preuzimaju složenu tehničku implementaciju. Nastale aplikacije podržavaju istraživanje scenarija, analizu kvarova i iterativno poboljšanje dizajna u različitim industrijama. Ova promjena radnog procesa omogućuje brže prototipiranje i stvaranje robusnijih testnih okruženja za složene sustave.

Frank DeLise, menadžer proizvoda Omniverse u NVIDIA, koristio je agenta Astra za izradu interaktivnog simulatora automatizacije skladišta. Usmjerio je Astra da poveže specifične biblioteke Omniverse, uključujući ovphysx za fiziku, ovstage za ažuriranja scena, ovrtx za renderiranje i ovui za korisničko sučelje. Koristeći SimReady imovine, agent je generirao potreban kod animacije i aplikacije kako bi humanoidnog robota prikazao iz perspektive prvog i trećeg lica. Ovaj projekt pokazuje kako AI može automatizirati sastavljanje sustava upravljanja temeljenih na fizici, omogućujući razvojnicima da ocijene ponašanje zadataka u realističnom okruženju prije implementacije fizičkih robota. Proces ističe učinkovitost korištenja AI za mostovanje jaza između statičkih imovina i dinamičkih interaktivnih simulacija.

Doyub Kim, menadžer tima za tehnologiju simulacije, koristio je Astra za izradu Zero to Alpamayo, ponovno upotrebljivog okruženja za simulaciju temeljenog na ulici Market Street u San Franciscu. Kim je usmjeravao agenta da izgradi tijek rada i u fazama poveže kreiranje imovine, simulaciju prometa i modele vožnje. Nastali prototip služi kao poligon za testiranje za usporedbu različitih modela vožnje i praćenje načina na koji promjene scene ili senzora utječu na ponašanje u nizvodnim procesima. Osim toga, zasebni eksperiment s korištenjem Cosmos3-Nano varirao je vremenske i svjetlosne uvjete u snimljenim videima simulacija. To je Kimu omogućilo da analizira reakcije modela vožnje na identične scenarije pod različitim čimbenicima okoline, pružajući ključne podatke za usavršavanje algoritama autonomnih vozila.

Ashley Reid, koja radi na validaciji RTX senzora, usmjeravala je agente Astra i Claude Fable 5 da usporede izlaze simuliranih senzora s snimljenim podacima iz stvarnog svijeta. Agenti su izradili dva digitalna blizanca od nule i poboljšala dva postojeća u okviru trodnevnog iterativnog tijeka rada. Mjerili su razlike između izlaza kamere ovrtx i sirovih podataka LiDAR-a, stvarajući ili modificirajući OpenUSD scene kako bi riješili nedostajuće objekte, geometriju i materijale. Kriteriji prihvaćanja temeljili su se na specifičnim metrikama kamere i LiDAR-a, osiguravajući da simulirani senzori uvelike odgovaraju svojim fizičkim ekvivalentima. Ova metodologija pruža razvojnicima sustavan način korištenja izmjerenih odstupanja za usmjeravanje kreiranja scena, osiguravajući validaciju visoke vjernosti za autonomne sustave i robotske aplikacije.

Tae Kim, koji vodi inženjerski odjel NVIDIA Omniverse, koristio je sportske videe i upute na prirodnom jeziku da usmjeri Astra u izgradnji Robo Olympics. Ovaj eksperimentalni projekt testira simulirane humanoidne robote Unitree G1 koji izvajaju različite sportske pokrete. Pod Kimovim uputama, Astra je izgradila kontrolere i usavršavala ih kroz fizička ispitivanja koristeći Newton Physics Engine i open-source okvir NVIDIA Warp. Knjižnica ovrtx renderirala je scene i slike virtualne kamere, pružajući vizualnu povratnu informaciju o performansama robota. U jednom specifičnom eksperimentu, robot je uspješno preskočio jednu prepreku u 64 od 100 simulacijskih ispitivanja. Ova ispitivanja pružila su cijenjenu povratnu informaciju za poboljšanje tajminga i mehanizama upravljanja robota, demonstrirajući korisnost umjetne inteligencije u optimizaciji fizičkih ograničenja i planiranja pokreta.

Jens Jebens, viši menadžer proizvoda OpenUSD, usmjerio je Astra da modelira automobilsku ovjes u PTC Onshape i konfigurira ga u NVIDIA Isaac Sim. Agent je izmjerio dostupni prostor i osmislio ključ koji robot može koristiti da dosegne do vijaka ovjesa. Jebens je prijavio uspješno uklanjanje komponente ovjesa u simulaciji, izravno povezujući odluke o dizajnu i alatima s rezultatima rastavljanja. Ovaj tijek rada nudi polaznu točku za obuku politika robota, osiguravajući da su alati izvedivi prije fizičke proizvodnje. Nic Johns, direktor inženjeringa, također je koristio Astra za sastavljanje imovine NASA u model Međunarodne svemirske stanice u OpenUSD s telemetrijom. Izgradio je aplikaciju s jednim upitom, koristeći Blender za pripremu imovine i knjižnice Omniverse za renderiranje i strimiranje, dovodeći 3D modele i operativne podatke u preglednik.