NVIDIA AICR potvrđuje podršku za Kubernetes za Vera Rubin NVL72

Konfiguriranje Kubernetesa za novi GPU hardver, poput NVIDIA Vera Rubina, složen je i podložan greškama zadatak koji zahtijeva preciznu usklađenost drajvera, jezgri, runtime okruženja i planera. NVIDIA AI Cluster Runtime (AICR), dio DSX AI Factory platforme, pojednostavljuje taj proces pohranjujući optimizirane konfiguracije u obliku ponovno upotrebljivih recepata. Generira pakete za alate za razvrstavanje i validira aktivne klasterove, osiguravajući da su okruženja spremna za izračunske module Vera Rubin NVL72 od prvog dana. Ovaj pristup pomaže timovima platforme u projektiranju, izgradnji i upravljanju učinkovitim AI tvornicama pomoću modularnih softverskih komponenti s otvorenim izvorom.

Za timove koji trenutačno koriste GB200 NVL72, Vera Rubin NVL72 predstavlja treću generaciju MGX arhitekture razmjere stola s nekoliko promjena vidljivih korisnicima. Kako bi se validirala podrška od početka do kraja, AICR runtime paket razvijen je na Vera Rubin klasterima koristeći GPU Operator v26.7.0, DRA drajver v0.5.0 i drajver R615 instaliran na hostu. Oba varijante recepta, za trening i inferencu, uspješno su prošla end-to-end validaciju. Varijanta za trening uključuje prag performansi: međuchvorni NCCL all-reduce preko NVLink tkanja putem IMEX ComputeDomaina, ograničen donjom granicom propusnosti magistrale. Rana validacija naišla je na privremeni hardverski ili problem s tkanjem u jednom klasteru, ali ponovno postavljanje hardvera riješilo ga je, omogućujući svim GPU-ovima da se spoje u jedini fabric clique.

AICR bilježi platformski specifične odluke kao verzionirani recept, čineći konfiguracije eksplicitnima i reproducibilnima. Nova obitelj recepta za Vera Rubin (servis: rke2, akcelerator: vr200, OS: Ubuntu) isporučuje se kao Preview, bez pune produkcijske podrške dok je platforma u fazi prije izdanja. Prvo razvijanje usmjereno je na novu kombinaciju: arm64, Ubuntu 26.04, kernel s veličinom stranice od 64 KB, RKE2 i Vera Rubin, što je omogućilo zdrav runtime u roku od nekoliko sati. Drugi klaster reproducirao je taj rezultat sljedećeg dana, demonstrirajući reproducibilnost recepta. Ovaj verzionirani pristup osigurava da se specifične odluke donesene tijekom procesa pokretanja sačuvaju i mogu provjeriti na različitim klasterima.

AICR radni tijek, izvršen s alatnim lancem v1.0.0, počinje s offline generiranjem recepta. Komanda aicr recipe rješava kriterije prema katalogu, stvarajući YAML datoteku koja slojeva pet overlaya na 14 komponenti. Ključne komponente uključuju GPU Operator, DRA upravljač, DraNet za dodjelu uređaja ConnectX-9 i NodeWright za ekskluzivni RDMA netns način. Naredba za generiranje paketa aicr bundle stvara skup uređenih Helm grafika i skriptu za razvijanje. Ovaj paket uključuje NodeWright, KAI Scheduler, NVSentinel, NFD i Prometheus stack, pri čemu su verzije svih komponenti fiksirane u skladu s konfiguracijom koja je validirana na hardveru Vera Rubin.

Validacija uključuje snimanje stanja klastera i provjere uvjeta spremnosti. Naredba aicr snapshot sprema stanje, a aicr validate pokreće faze razvoja, usklađenosti i performansi. Faza razvoja provjerava verziju operativnog sustava i detalje jezgre, dok faza usklađenosti provjerava zdravlje komponenti. Faza performansi pokreće NCCL all-reduce kao zadatak unutar klastera, provjeravajući propusnost magistrale u odnosu na donju granicu iz recepta. Validator sam dodjeljuje ComputeDomain i IMEX ResourceClaimTemplate, bez potrebe za prethodnim radnjama operatora. Varijanta za inferenciju, koja koristi platformu Dynamo, prolazi iste provjere razvoja i usklađenosti na identičnom klasteru.

Kritični end-to-end test uključuje ComputeDomain s dva čvora, gdje se IMEX kanali dodjeljuju podovima na svakom izračunavačkom modulu. Za slike s IMEX-om pod upravljanjem domaćina, statička usluga nvidia-imex na domaćinu mora biti onemogućena i maskirana, jer je međusobno isključiva s ComputeDomainima pod upravljanjem DRA. GPU Operator verzije 26.7.0 i novije dolazi s strožim CRD-om koji zahtijeva eksplicitno postavljanje numNodes, što utječe na nove instalacije klastera, ali ne i na nadogradnje. Primjena testnog manifesta rezultira pokretanjem dva poda, u svaki od kojih se ubacuje IMEX kanal, što traje oko 12 sekundi. Cijeli ciklus od generiranja recepta do validacije traje otprilike pet minuta, pri čemu faza performansi dodaje vrijeme izvršavanja NCCL posla.