NVIDIA AICR dodaje k8s-aibom za praćenje AI radnih opterećenja u Kubernetes GPU klasterima

Recepti platforme s fiksiranim verzijama opisuju kako izgraditi GPU klaster, ali ne pokazuju koja se AI radna opterećenja na njemu stvarno izvršavaju. Timovi koji implementiraju putem NVIDIA Dynamo, Kubeflow ili Slurm ažuriraju radna opterećenja odvojeno od recepta platforme. Promjenjive oznake poput :latest dodatno pogoršavaju stvar: dva čvora mogu pokretati različit kod pod istom oznakom, a sljedeće preuzimanje može dohvatiti sliku koju nijedna sigurnosna provjera nikada nije obuhvatila. NVIDIA AI Cluster Runtime (AICR), komponenta otvorenog koda platforme NVIDIA DSX AI Factory Platform, sada uključuje kvalificiranu komponentu AI popisa materijala. Temelji se na k8s-aibom, Googleovom projektu otvorenog koda za praćenje AI radnih opterećenja u Kubernetesu.

Alati rade na različitim razinama. AICR pretvara provjerene GPU konfiguracije u recepte s fiksiranim verzijama i ponovljive pakete (bundle). Recept se piše za jednu kombinaciju hardvera, oblaka, OS-a i namjene te bilježi komponente, fiksirane verzije, vrijednosti, ograničenja, redoslijed implementacije i očekivane provjere. Paketi sadrže kontrolne zbrojeve, a aicr bundle --attest po želji dodaje potpis. k8s-aibom prati API-je radnih opterećenja i podova te za svako prepoznato AI radno opterećenje generira AIBOM u formatu CycloneDX 1.6. Podržava nativne Dynamo grafove, NIMService, LeaderWorkerSet, DisaggregatedSet i CronJob, a podređena radna opterećenja uključuju se u AIBOM svog vlasnika. Kvalifikacija znači da AICR fiksira izvorni kod, chart, CRD-ove i sliku kontrolera prikvačenu po digestu kao jedinstven testirani skup. AICR također provjerava podrijetlo prema Googleovom identitetu izgradnje, pregledava RBAC i zadane sigurnosne postavke te testira instalaciju, nadogradnju, ispravnost rada i deinstalaciju.

U receptima h100-gke-cos-inference i h100-gke-cos-inference-dynamo k8s-aibom je uključen prema zadanim postavkama. U drugim GKE receptima uključuje ga --runtime-inventory enabled, a isključuje ga --runtime-inventory disabled. Primjeri su izrađeni na AICR v1.2.0, čiji katalog fiksira k8s-aibom 1.6.2, i rade na GKE-u s Kubernetesom 1.32 ili novijim te čvorovima H100 na Container-Optimized OS-u s upravljačkim programima kojima upravlja GKE. Recept generira aicr recipe --service gke --accelerator h100 --os cos --intent inference, a razriješene vrijednosti prikazuje aicr query s --selector components.k8s-aibom.version. aicr bundle izrađuje paket sa selektorima sistemskih i ubrzanih čvorova. Zadano se koristi Helm, a podržani su i helmfile, flux i argocd. Nakon aicr verify i deploy.sh kontroler radi u imenskom prostoru k8s-aibom-system. Helm paketi primjenjuju CRD-ove glavnog charta, a Flux i Argo CD ažuriraju ih putem svojih kontrolera. U Helmfileu, Terraformu i Fleetu CRD-ove treba ručno ažurirati ako to prijelaz zahtijeva; očekivana verzija pohrane je v1beta1.

Tim aicr snapshot, a nakon nje aicr validate --phase deployment --phase conformance, pokreće provjeru ispravnosti k8s-aibom. Potrebni su dostupan kontroler, AIBOMControllerConfig sa stanjem Ready=True i očekivana verzija pohrane CRD-a. Podudaranje verzije ne jamči da je cijela shema ažurna, pa pri nadogradnjama provjerite i Degraded=True s razlogom SchemaPredatesController. Evidencija se uključuje za svaki imenski prostor zasebno oznakom aibom.k8saibom.dev/enabled=true. Oznaka ograničava u kojim se imenskim prostorima stvaraju zapisi AIBOM, ali informeri i dalje spremaju u predmemoriju specifikacije radnih opterećenja i podova u cijelom klasteru, uključujući argumente i ugrađene vrijednosti varijabli okruženja. Prijemnik podataka i pristup tajnama prema zadanim postavkama nisu konfigurirani. U demonstraciji Deployment s vLLM-om poslužuje Qwen/Qwen2.5-0.5B-Instruct iz slike vllm/vllm-openai:latest. Njegov AIBOM svrstan je u kategoriju zaključivanja (inference) s okruženjem izvođenja vllm. Zapisi se grade prema specifikaciji, pa AIBOM može pokazati Ready=True i prije nego što pod preuzme sliku: raspoređivanje i izvođenje ne potvrđuje.

BOM se pohranjuje izravno u resursu zajedno s hashom SHA-256 kanonskih bajtova: može se izdvojiti pomoću jq i base64, a hash provjeriti pomoću shasum. Među komponentama su navedeni aplikacija (vllm), slika spremnika (vllm/vllm-openai) i model strojnog učenja (Qwen/Qwen2.5-0.5B-Instruct). Uobičajeni SBOM identificira sliku, a AIBOM i model te okruženje u kojem se poslužuje. Svaki atribut ima razinu pouzdanosti (declared, inferred, unresolved ili verified) i pokazivač na izvor koji pokazuje kako je vrijednost utvrđena. Razvojni tim projekta k8s-aibom izmjerio je opterećenje kontrolera verzije 1.6.1 na GKE-u s Dynamom i konfiguracijom AICR-a. Test je proveden na čvorovima samo s CPU-om, a podovi radnih opterećenja ostali su na čekanju.

Neki su nedostaci ostavljeni namjerno. Opažanja tijekom izvođenja još nisu potpisana, iako kanonski bajtovi i hash čine potpisivanje praktičnim. k8s-aibom može provjeravati Sigstore potpise na podacima o modelima, zahtijevati određeni identitet potpisnika i provjeravati uključenost u Rekor, ali AICR to prema zadanim postavkama isključuje. Povezivanje atestacija AICR paketa s inventarom radnih opterećenja tek predstoji. Isto vrijedi i za usporedbu namjere recepta sa stvarno pokrenutim radnim opterećenjima: za to su potrebni zajednički identifikatori artefakata, pravila o ažurnosti i mapiranje pokrivenosti. AICR je dostupan na NVIDIA/aicr, a k8s-aibom na GoogleCloudPlatform/k8s-aibom; oba su projekta otvorenog koda.