Korištenje AI agenata za pripremu 3D scena za simulaciju

Inženjeri simulacije robotike stalno nailaze na isto usko grlo, i ono gotovo da nema veze s politikama, modelima ili ciklusima učenja. Najteži dio često počinje prije nego što išta počne učiti: robot još uvijek nema svijet spreman za simulaciju u kojem može trenirati. Dovesti 3D scenu iz Blender datoteke do stanja upotrebljivog za simulator posao je dosadan, jednoličan i sklon pogreškama te često izlazi izvan opsega posla inženjera simulacije. Upravo u tom pripremnom poslu mogu pomoći agentni sustavi, pod uvjetom da imaju prave alate.

Ovdje opisani radni tijek povezuje zaključivanje, izvršavanje alata i validaciju u jedinstven ponovljiv proces. Codex pokretan OpenAI GPT-6 Astra djeluje kao orkestrator koji postavlja cilj, interpretira rezultate i usmjerava iteracije. Specijalizirani subagenti izgrađeni na Hermes agent okviru i pokrenuti kroz NVIDIA NemoClaw pozivaju NVIDIA Omniverse Libraries kako bi pregledali scenu, oblikovali metapodatke simulacije, konfigurirali fiziku i iscrtali vizualne predpreglede. Stack polazi od konkretnog cilja: na ulazu je Blender scena, cilj je svijet spreman za robotiku, na izlazu je scena temeljena na USD-u spremna za simulaciju, odredište je Isaac Sim ili Isaac Lab, a validacija kombinira vizualni predpregled s SimReady provjerama.

Prvi podagent povezuje se s Blenderom putem poslužitelja Model Context Protocol (MCP) i opisuje scenu umjesto da nagađa na temelju snimki zaslona. Može pozivati alate za pregled objekata, kolekcija, transformacija, materijala, kamera, izvora svjetlosti i metapodataka scene, vraćajući strukturirani popis koji postaje zajednički kontekst za ostale agente. U primjeru rezultata nalazi se 142 objekta i 37 materijala, a pritom se označava nedostatak semantičkih oznaka, kolizijskih mreža, senzora kamere i fizičkih materijala. Astra koristi taj popis zajedno sa zadatkom robotike kako bi utvrdila informacije koje nedostaju, isplanirala sljedeće zadatke i proslijedila ih s jasnim kriterijima prihvaćanja.

Zatim se popis prosljeđuje specijaliziranim agentima koji već djeluju na scenu. Agent za USD autorstvo čuva hijerarhiju, transformacije, materijale, oznake, fizičke metapodatke i definicije senzora, oslanjajući se na slojevitu, nerazornu USD kompoziciju kako bi agenti mogli obogaćivati svijet bez izravnavanja izvornog art-a. Agent za semantičko označavanje pretvara anonimne mreže u objekte smislene za zadatak — police, spremnike, podove, prepreke, predmete za hvatanje i ciljeve robota — izvodeći oznake iz imena, hijerarhije, oblika i konteksta te označavajući nesigurno. U demu je označeno 118 primova, a 9 oznaka ostavljeno je na provjeru čovjeku. Agent za materijale pretvara vizualni izgled u metapodatke korisne za simulaciju, prepoznajući metalne police, kartonske kutije, plastične spremnike, betonske podove, gumene kotače ili staklene ploče, umjesto da juri za ljepšim look-devom.

Subagent za senzore izrađuje uređaje kamere i lidara unaprijed kako bi se smještaj, vidno polje, domet, učestalost očitavanja, preklapanja i vidljivost cilja mogli provjeriti prije nego što scena stigne u simulator. Zatim subagent ovphysx čini svijet fizički smislenim dodajući kolizione oblike, masu, trenje i ponašanje krutog tijela te pretvara nalaze u plan popravaka. Generira jednostavne kolizione mreže za statične rekvizite, označava podove i police kao nepomične kolidere, dodjeljuje svojstva krutog tijela predmetima za hvatanje i označava sve što ovisi o namjeri zadatka. Sigurni, mehanički popravci izvode se automatski, dok se nejasni slučajevi — primjerice nesigurna semantička oznaka ili fizičko ponašanje — prosljeđuju čovjeku s kontekstom i predloženim sljedećim korakom. Na izlazu se dobiva izvještaj o spremnosti fizike koji mogu koristiti naknadni alati.