Uso de agentes de IA para preparar escenas 3D para la simulación

  • PublicPublic
  • 17 Sep, 2026
Uso de agentes de IA para preparar escenas 3D para la simulación

Los ingenieros de simulación de robótica se topan una y otra vez con el mismo cuello de botella, que apenas tiene que ver con las políticas, los modelos o los bucles de entrenamiento. Lo más difícil suele empezar antes de que se aprenda nada: el robot todavía no dispone de un mundo listo para la simulación en el que entrenarse. Llevar una escena 3D desde un archivo de Blender hasta un estado utilizable por un simulador es un trabajo tedioso, repetitivo y propenso a errores, y con frecuencia queda fuera de las responsabilidades del ingeniero de simulación. Precisamente en esa labor de preparación pueden ayudar los sistemas agénticos, siempre que cuenten con las herramientas adecuadas.

El flujo de trabajo descrito aquí conecta el razonamiento, la ejecución de herramientas y la validación en un único proceso repetible. Codex, con tecnología de OpenAI GPT-6 Astra, actúa como orquestador: fija el objetivo, interpreta los resultados y guía las iteraciones. Unos subagentes especializados, creados con el marco Hermes agent y desplegados mediante NVIDIA NemoClaw, llaman a NVIDIA Omniverse Libraries para inspeccionar la escena, generar los metadatos de simulación, configurar la física y renderizar vistas previas visuales. La pila parte de un objetivo concreto: la entrada es una escena de Blender, la meta es un mundo listo para la robótica, la salida es una escena basada en USD y lista para la simulación, el destino es Isaac Sim o Isaac Lab, y la validación combina la vista previa visual con las comprobaciones de SimReady.

El primer subagente se conecta a Blender mediante un servidor de Model Context Protocol (MCP) y hace un inventario de la escena en lugar de adivinar a partir de capturas de pantalla. Puede llamar a herramientas para inspeccionar objetos, colecciones, transformaciones, materiales, cámaras, luces y metadatos de la escena, y devuelve un inventario estructurado que se convierte en contexto compartido para el resto de los agentes. Un resultado de ejemplo contabiliza 142 objetos y 37 materiales, y además señala la ausencia de etiquetas semánticas, mallas de colisión, sensores de cámara y materiales físicos. Astra usa ese inventario junto con el objetivo de robótica para identificar la información que falta, planificar las siguientes tareas y delegarlas con criterios de aceptación claros.

Figura 1. Flujo de trabajo de referencia que muestra el uso de las bibliotecas de Omniverse para activar una escena de Blender con agentes
Figura 1. Flujo de trabajo de referencia que muestra el uso de las bibliotecas de Omniverse para activar una escena de Blender con agentes
Figura 2. El complemento de Blender envía los datos de la escena a las bibliotecas de Omniverse mediante gRPC, lo que permite que las capacidades de renderizado y física vuelvan directamente a la vista del puerto de visualización de Blender
Figura 2. El complemento de Blender envía los datos de la escena a las bibliotecas de Omniverse mediante gRPC, lo que permite que las capacidades de renderizado y física vuelvan directamente a la vista del puerto de visualización de Blender

A continuación, el inventario pasa a agentes especializados que actúan sobre la escena. Un agente de creación de USD conserva la jerarquía, las transformaciones, los materiales, las etiquetas, los metadatos de física y las definiciones de sensores, y se apoya en la composición por capas y no destructiva de USD para que los agentes puedan enriquecer el mundo sin aplanar el arte original. Un agente de etiquetado semántico convierte mallas anónimas en objetos con sentido para la tarea, como estanterías, contenedores, suelos, obstáculos, objetos que se pueden agarrar y objetivos del robot, e infiere las etiquetas a partir de los nombres, la jerarquía, la forma y el contexto, señalando las dudas. En la demostración se etiquetaron 118 prims y se dejaron 9 etiquetas para revisión humana. Un agente de materiales convierte el aspecto visual en metadatos útiles para la simulación: identifica estanterías metálicas, cajas de cartón, contenedores de plástico, suelos de hormigón, ruedas de goma o paneles de vidrio, en lugar de perseguir un look-dev más atractivo.

Figura 3. USD ensambla la escena final a partir de subcapas independientes (recursos, iluminación y materiales), cada una de las cuales se puede editar de forma aislada antes de combinarlas
Figura 3. USD ensambla la escena final a partir de subcapas independientes (recursos, iluminación y materiales), cada una de las cuales se puede editar de forma aislada antes de combinarlas

Un subagente de sensores crea los dispositivos de cámara y lidar desde el principio, de modo que la ubicación, el campo de visión, el alcance, la frecuencia de sondeo, las oclusiones y la visibilidad del objetivo se puedan validar antes de que la escena llegue al simulador. A continuación, el subagente ovphysx hace que el mundo sea físicamente consistente: añade formas de colisión, masa, fricción y comportamiento de cuerpo rígido, y convierte los hallazgos en un plan de reparación. Genera mallas de colisión sencillas para el utillaje estático, marca los suelos y las estanterías como colisionadores fijos, asigna propiedades de cuerpo rígido a los objetos que se pueden agarrar y señala todo lo que depende de la intención de la tarea. Las correcciones seguras y mecánicas se ejecutan de forma automática, mientras que los casos ambiguos, como una etiqueta semántica o un comportamiento físico inciertos, se derivan a una persona con contexto y una propuesta del siguiente paso. El resultado es un informe de preparación física que las herramientas posteriores pueden utilizar.