Einsatz von KI-Agenten zur Vorbereitung von 3D-Szenen für die Simulation

Public
17 Sep, 2026

Ingenieure für Robotik-Simulation stoßen ständig auf denselben Engpass, und er hat wenig mit Richtlinien, Modellen oder Trainingsschleifen zu tun. Der schwierigste Teil beginnt oft, bevor überhaupt etwas lernt: Dem Roboter fehlt noch immer eine simulationsbereite Welt, in der er trainieren kann. Eine 3D-Szene aus einer Blender-Datei in einen für den Simulator nutzbaren Zustand zu bringen, ist mühsame, monotone und fehleranfällige Arbeit und fällt häufig außerhalb des Aufgabenbereichs des Simulationsingenieurs. Genau bei dieser Vorbereitungsarbeit können agentenbasierte Systeme helfen, sofern sie über die richtigen Werkzeuge verfügen.

Der hier beschriebene Workflow verbindet logisches Schlussfolgern, Tool-Ausführung und Validierung in einem einzigen wiederholbaren Prozess. Codex auf Basis von OpenAI GPT-6 Astra fungiert als Orchestrator, der das Ziel vorgibt, Ergebnisse interpretiert und die Iteration steuert. Spezialisierte Subagenten, die mit dem Hermes-Agent-Harness erstellt und über NVIDIA NemoClaw bereitgestellt werden, rufen die NVIDIA Omniverse Libraries auf, um die Szene zu inspizieren, Simulationsmetadaten zu erstellen, die Physik zu konfigurieren und visuelle Preflight-Ansichten zu rendern. Der Stack geht von einem konkreten Ziel aus: Die Eingabe ist eine Blender-Szene, das Ziel eine robotikbereite Welt, die Ausgabe eine simulationsbereite USD-basierte Szene, das Ziel Isaac Sim oder Isaac Lab, und die Validierung kombiniert visuelles Preflight mit SimReady-Prüfungen.

Der erste Subagent verbindet sich über einen Model Context Protocol (MCP)-Server mit Blender und erfasst die Szene, statt anhand von Screenshots zu raten. Er kann Werkzeuge aufrufen, um Objekte, Collections, Transformationen, Materialien, Kameras, Lichtquellen und Szenen-Metadaten zu untersuchen, und liefert ein strukturiertes Inventar, das zum gemeinsamen Kontext für die übrigen Agenten wird. Ein Beispielergebnis zählt 142 Objekte und 37 Materialien und markiert zugleich fehlende semantische Labels, Kollisionsmeshes, Kamerasensoren und Physikmaterialien. Astra nutzt dieses Inventar zusammen mit der Robotik-Aufgabe, um fehlende Informationen zu erkennen, die nächsten Aufgaben zu planen und sie mit klaren Abnahmekriterien zu delegieren.

Abbildung 1. Referenzarbeitsablauf, der die Nutzung der Omniverse-Bibliotheken zur Aktivierung einer Blender-Szene mit Agenten zeigt

Abbildung 2. Das Blender-Add-on überträgt Szenendaten über gRPC an die Omniverse-Bibliotheken, sodass Rendering- und Physikfunktionen direkt in den Blender-Viewport zurückfließen können.

Das Inventar fließt anschließend in spezialisierte Agenten, die auf die Szene einwirken. Ein USD-Authoring-Agent erhält Hierarchie, Transformationen, Materialien, Labels, Physik-Metadaten und Sensordefinitionen, indem er die geschichtete, nicht-destruktive USD-Komposition nutzt, damit Agenten die Welt anreichern können, ohne das ursprüngliche Artwork zu verflachen. Ein Agent für semantische Beschriftung verwandelt anonyme Meshes in aufgabenrelevante Objekte wie Regale, Behälter, Böden, Hindernisse, greifbare Gegenstände und Roboterziele, leitet Labels aus Namen, Hierarchie, Form und Kontext ab und markiert Unsicheres. In der Demo wurden 118 Prims beschriftet und 9 Labels zur Überprüfung durch einen Menschen zurückgestellt. Ein Material-Agent übersetzt das visuelle Erscheinungsbild in simulationsrelevante Metadaten und erkennt Metallregale, Pappkartons, Kunststoffbehälter, Betonböden, Gummirollen oder Glaspaneele, statt einem schöneren Look-dev nachzujagen.

Abbildung 3. USD setzt die finale Szene aus einzelnen Unterschichten zusammen (Assets, Beleuchtung und Materialien), von denen jede vor der Zusammenführung isoliert bearbeitet werden kann

Ein Sensor-Subagent erstellt Kamera- und Lidar-Geräte frühzeitig, damit Platzierung, Sichtfeld, Reichweite, Abfragerate, Verdeckungen und Sichtbarkeit des Ziels überprüft werden können, noch bevor die Szene den Simulator erreicht. Anschließend macht der ovphysx-Subagent die Welt physikalisch sinnvoll, indem er Kollisionsformen, Masse, Reibung und Starrkörperverhalten hinzufügt, und überführt die Befunde in einen Reparaturplan. Er generiert einfache Kollisionsmeshes für statische Requisiten, markiert Böden und Regale als unbewegliche Collider, weist greifbaren Objekten Starrkörpereigenschaften zu und kennzeichnet alles, was von der Aufgabenabsicht abhängt. Sichere, mechanische Korrekturen werden automatisch ausgeführt, während mehrdeutige Fälle — etwa eine unsichere semantische Kennzeichnung oder ein physikalisches Verhalten — mit Kontext und einem vorgeschlagenen nächsten Schritt an einen Menschen eskaliert werden. Das Ergebnis ist ein Bericht über die Physik-Bereitschaft, den nachgelagerte Werkzeuge nutzen können.