NVIDIA AICR incorpora k8s-aibom para inventariar las cargas de trabajo de IA en clústeres de GPU con Kubernetes

  • PublicPublic
  • 12 Nov, 2026
NVIDIA AICR incorpora k8s-aibom para inventariar las cargas de trabajo de IA en clústeres de GPU con Kubernetes

Las recetas de plataforma con versiones fijas describen cómo construir un clúster de GPU, pero no muestran qué cargas de trabajo de IA se ejecutan realmente en él. Los equipos que las despliegan mediante NVIDIA Dynamo, Kubeflow o Slurm actualizan las cargas de trabajo por separado de la receta. Las etiquetas mutables como :latest agravan el problema: dos nodos pueden ejecutar código distinto bajo la misma etiqueta, y la siguiente descarga puede traer una imagen que nadie ha revisado. Ahora NVIDIA AI Cluster Runtime (AICR), un componente de código abierto de la plataforma NVIDIA DSX AI Factory Platform, incluye un componente cualificado de lista de materiales de IA. Se basa en k8s-aibom, un proyecto de código abierto de Google para inventariar las cargas de trabajo de IA en Kubernetes.

Figura 1. NVIDIA DSX reúne las tecnologías necesarias para diseñar, construir y operar fábricas de IA
Figura 1. NVIDIA DSX reúne las tecnologías necesarias para diseñar, construir y operar fábricas de IA

Las herramientas operan en capas distintas. AICR convierte configuraciones de GPU verificadas en recetas con versiones fijas y en bundles reproducibles. Una receta se escribe para una combinación concreta de hardware, nube, SO y propósito, y fija componentes, versiones, valores, restricciones, orden de despliegue y comprobaciones esperadas. Los bundles incluyen sumas de verificación, y aicr bundle --attest añade opcionalmente una firma. k8s-aibom vigila las API de cargas de trabajo y de pods y, para cada carga de IA reconocida, genera un AIBOM en formato CycloneDX 1.6. Admite grafos nativos de Dynamo, NIMService, LeaderWorkerSet, DisaggregatedSet y CronJob, y las cargas hijas se incluyen en el AIBOM de su propietario. La cualificación significa que AICR fija el código fuente, el chart, los CRD y la imagen del controlador por digest como un único conjunto probado. Además, AICR contrasta el origen con la identidad de compilación de Google, revisa RBAC y la configuración de seguridad por defecto, y prueba la instalación, la actualización, el estado de salud y la desinstalación.

En las recetas h100-gke-cos-inference y h100-gke-cos-inference-dynamo tienen k8s-aibom habilitado por defecto. En otras recetas de GKE se puede habilitar con --runtime-inventory enabled, y lo desactiva --runtime-inventory disabled. Los ejemplos usan AICR v1.2.0, cuyo catálogo fija k8s-aibom 1.6.2, y se ejecutan en GKE con Kubernetes 1.32 o posterior y nodos H100 en Container-Optimized OS con controladores gestionados por GKE. La receta se genera con aicr recipe --service gke --accelerator h100 --os cos --intent inference, los valores resueltos los muestra aicr query con --selector components.k8s-aibom.version. aicr bundle construye el bundle con selectores de nodos del sistema y acelerados. Por defecto se usa Helm, y también se admiten helmfile, flux y argocd. Después de aicr verify y deploy.sh el controlador se ejecuta en el espacio de nombres k8s-aibom-system. Los bundles de Helm aplican los CRD del chart principal, y Flux y Argo CD los actualizan a través de sus controladores. En Helmfile, Terraform y Fleet hay que actualizar los CRD manualmente cuando una transición lo requiere; la versión de almacenamiento esperada es v1beta1.

El equipo aicr snapshot, y tras ella aicr validate --phase deployment --phase conformance, ejecuta la comprobación de estado de k8s-aibom. Requiere un controlador disponible, un AIBOMControllerConfig con Ready=True y la versión de almacenamiento esperada de los CRD. Que la versión de almacenamiento coincida no garantiza que el esquema esté actualizado por completo, así que durante las actualizaciones comprueben también Degraded=True con el motivo SchemaPredatesController. El inventario se activa por espacio de nombres mediante la etiqueta aibom.k8saibom.dev/enabled=true. La etiqueta limita en qué espacios de nombres se generan registros AIBOM, pero los informers siguen almacenando en caché las especificaciones de cargas de trabajo y pods en todo el clúster, incluidos los argumentos y los valores de entorno en línea. Por defecto no se configura ningún destino de salida ni acceso a secretos. En la demo, un Deployment de vLLM sirve Qwen/Qwen2.5-0.5B-Instruct desde la imagen vllm/vllm-openai:latest. Su AIBOM se clasifica en la categoría de inferencia, con el entorno de ejecución vllm. Como los registros se construyen a partir de la especificación, un AIBOM puede mostrar Ready=True antes de que el pod termine de descargar su imagen: no confirma ni la planificación ni la ejecución.

El BOM se almacena directamente en el recurso, junto con un hash SHA-256 de los bytes canónicos: se puede extraer con jq y base64, y comprobar el hash con shasum. En los componentes figuran la aplicación (vllm), la imagen del contenedor (vllm/vllm-openai) y el modelo de aprendizaje automático (Qwen/Qwen2.5-0.5B-Instruct). Un SBOM convencional identifica la imagen, mientras que un AIBOM identifica además el modelo y el entorno que lo sirve. Cada atributo tiene un nivel de confianza (declared, inferred, unresolved o verified) y un localizador de evidencia que indica de dónde se tomó el valor. Los desarrolladores de k8s-aibom midieron la sobrecarga del controlador de la versión 1.6.1 en GKE con Dynamo y la configuración de AICR. La prueba se hizo en nodos solo con CPU, con los pods de las cargas de trabajo en estado pendiente.

Algunas lagunas son intencionadas. Las observaciones en tiempo de ejecución todavía no están firmadas, aunque los bytes canónicos y el hash hacen que firmarlas sea sencillo. k8s-aibom puede verificar las firmas de Sigstore en las declaraciones sobre modelos, exigir una identidad de firmante concreta y comprobar la inclusión en Rekor, pero en AICR esto está desactivado por defecto. Vincular las atestaciones de los bundles de AICR con el inventario de cargas de trabajo en ejecución queda pendiente. Lo mismo ocurre con comparar la intención de la receta con las cargas de trabajo realmente en ejecución: para ello hacen falta identidades de artefactos compartidas, reglas de vigencia y un mapa de cobertura. AICR está disponible en NVIDIA/aicr y k8s-aibom en GoogleCloudPlatform/k8s-aibom; ambos proyectos son de código abierto.