Utilisation d'agents IA pour préparer des scènes 3D à la simulation

Public
17 Sep, 2026

Les ingénieurs en simulation robotique se heurtent sans cesse au même goulot d'étranglement, et celui-ci a peu à voir avec les politiques, les modèles ou les boucles d'entraînement. Le plus difficile commence souvent avant même qu'un quelconque apprentissage n'ait lieu : le robot ne dispose toujours pas d'un monde prêt à la simulation dans lequel s'entraîner. Faire passer une scène 3D d'un fichier Blender à un état utilisable par un simulateur est un travail fastidieux, répétitif et sujet aux erreurs, et il sort souvent du périmètre du poste de l'ingénieur en simulation. C'est précisément dans ce travail de préparation que les systèmes agentiques peuvent aider, à condition qu'ils disposent des bons outils.

Le flux de travail décrit ici relie le raisonnement, l'exécution d'outils et la validation en un processus unique et reproductible. Codex, propulsé par OpenAI GPT-6 Astra, agit comme orchestrateur : il fixe l'objectif, interprète les résultats et guide les itérations. Des sous-agents spécialisés, construits avec le framework Hermes agent et déployés via NVIDIA NemoClaw, appellent les NVIDIA Omniverse Libraries pour inspecter la scène, créer les métadonnées de simulation, configurer la physique et produire des aperçus visuels de pré-vol. La pile part d'un objectif concret : en entrée une scène Blender, en objectif un monde prêt pour la robotique, en sortie une scène basée sur USD prête à la simulation, en destination Isaac Sim ou Isaac Lab, et la validation combine un aperçu visuel de pré-vol avec les vérifications SimReady.

Le premier sous-agent se connecte à Blender via un serveur Model Context Protocol (MCP) et décrit la scène au lieu de deviner à partir de captures d'écran. Il peut appeler des outils pour inspecter les objets, les collections, les transformations, les matériaux, les caméras, les sources de lumière et les métadonnées de la scène, renvoyant un inventaire structuré qui devient le contexte partagé pour le reste des agents. Dans l'exemple de résultat, on compte 142 objets et 37 matériaux, tout en signalant l'absence d'étiquettes sémantiques, de maillages de collision, de capteurs de caméra et de matériaux physiques. Astra utilise cet inventaire ainsi que l'objectif de robotique pour identifier les informations manquantes, planifier les tâches suivantes et les déléguer avec des critères d'acceptation clairs.

Figure 1. Flux de travail de référence illustrant l'utilisation des bibliothèques Omniverse pour activer une scène Blender avec des agents

Figure 2. L'addon Blender transmet les données de scène aux bibliothèques Omniverse via gRPC, permettant aux capacités de rendu et de physique de revenir directement dans le viewport Blender

L'inventaire passe ensuite à des agents spécialisés qui agissent sur la scène. Un agent d'auth oring USD préserve la hiérarchie, les transformations, les matériaux, les étiquettes, les métadonnées physiques et les définitions de capteurs, en s'appuyant sur la composition en couches non destructive d'USD afin que les agents puissent enrichir le monde sans aplatir l'œuvre d'origine. Un agent d'étiquetage sémantique transforme les maillages anonymes en objets pertinents pour la tâche — étagères, bacs, sols, obstacles, objets saisissables et cibles du robot — en déduisant les étiquettes des noms, de la hiérarchie, de la forme et du contexte, tout en signalant l'incertitude. Dans la démo, 118 prims ont été étiquetés et 9 étiquettes laissées à la vérification humaine. Un agent de matériaux convertit l'apparence visuelle en métadonnées utiles à la simulation, en identifiant des étagères métalliques, des boîtes en carton, des bacs en plastique, des sols en béton, des roues en caoutchouc ou des panneaux de verre, plutôt qu'en recherchant un look-dev plus soigné.

Figure 3. USD assemble la scène finale à partir de sous-couches distinctes (ressources, éclairage et matériaux), chacune pouvant être modifiée isolément avant la fusion

Un sous-agent de capteurs crée les dispositifs de caméra et de lidar dès le départ afin que le placement, le champ de vision, la portée, la fréquence d'interrogation, les occlusions et la visibilité de la cible puissent être validés avant même que la scène n'atteigne le simulateur. Le sous-agent ovphysx rend ensuite le monde physiquement cohérent, en ajoutant des formes de collision, la masse, le frottement et le comportement de corps rigide, et transforme ses découvertes en plan de réparation. Il génère des maillages de collision simples pour les accessoires statiques, marque les sols et les étagères comme des collisionneurs fixes, attribue des propriétés de corps rigide aux objets saisissables et signale tout ce qui dépend de l'intention de la tâche. Les corrections mécaniques sûres sont exécutées automatiquement, tandis que les cas ambigus — par exemple une étiquette sémantique incertaine ou un comportement physique — sont transmis à un humain avec le contexte et une prochaine étape proposée. Le résultat est un rapport de préparation physique que les outils en aval peuvent exploiter.