NVIDIA AICR підтверджує підтримку Kubernetes для Vera Rubin NVL72

Налаштування Kubernetes для нового GPU-обладнання, такого як NVIDIA Vera Rubin, - це складне та схильне до помилок завдання, яке вимагає точної узгодженості драйверів, ядер, рантаймів та планувальників. NVIDIA AI Cluster Runtime (AICR), що входить до складу платформи DSX AI Factory, спрощує цей процес, зберігаючи налаштовані конфігурації у вигляді повторно використовуваних рецептів. Він генерує пакети для інструментів розгортання та перевіряє працюючі кластери, гарантуючи, що середовища готові до обчислювальних модулів Vera Rubin NVL72 з першого дня. Такий підхід допомагає командам платформи проєктувати, створювати та експлуатувати ефективні ШІ-фабрики з використанням модульних програмних компонентів з відкритим вихідним кодом.

Для команд, які зараз використовують GB200 NVL72, Vera Rubin NVL72 є третім поколінням стійкової архітектури MGX із кількома помітними змінами для користувачів. Щоб перевірити підтримку від початку до кінця, пакет рантайму AICR було розгорнуто на кластерах Vera Rubin із використанням GPU Operator v26.7.0, драйвера DRA v0.5.0 та драйвера R615, встановленого на хості. Обидва варіанти рецептів, для навчання та інференсу, успішно пройшли сквозну валідацію. Варіант для навчання включає контрольний поріг продуктивності: міжвузловий NCCL all-reduce через шину NVLink за допомогою IMEX ComputeDomain, обмежений мінімальним порогом пропускної здатності шини. На ранніх етапах валідації виникла тимчасова проблема з обладнанням або шиною в одному з кластерів, але повторне встановлення обладнання вирішило її, дозволивши всім GPU об'єднатися в єдину групу шини.

AICR фіксує специфічні для платформи рішення у вигляді версіонованого рецепта, роблячи конфігурації явними та відтворюваними. Нова родина рецептів для Vera Rubin (сервіс: rke2, прискорювач: vr200, ОС: Ubuntu) постачається зі статусом Preview, не маючи повної підтримки для продакшену, доки платформа перебуває в предрелізі. Перше розгортання було спрямоване на нову комбінацію: arm64, Ubuntu 26.04, ядро з розміром сторінки 64 КБ, RKE2 та Vera Rubin, що дозволило отримати робочий рантайм за кілька годин. Другий кластер відтворив цей результат наступного дня, продемонструвавши відтворюваність рецепта. Такий підхід із версіонуванням гарантує, що конкретні рішення, прийняті в процесі запуску, зберігаються та можуть бути перевірені на різних кластерах.

Робочий процес AICR, що виконується за допомогою інструментарію v1.0.0, починається з офлайн-генерації рецепта. Команда aicr recipe відповідає критеріям каталогу, створюючи файл YAML, який накладає п'ять оверлеїв на 14 компонентів. Ключові компоненти включають GPU Operator, драйвер DRA, DraNet для виділення пристроїв ConnectX-9 та NodeWright для ексклюзивного режиму RDMA netns. Команда генерації пакета aicr bundle створює набір впорядкованих Helm-чартів та скрипт розгортання. Цей пакет містить NodeWright, KAI Scheduler, NVSentinel, NFD та стек Prometheus, при цьому версії всіх компонентів закріплені відповідно до конфігурації, перевіреної на обладнанні Vera Rubin.

Валідація включає збереження стану кластера та перевірку умов готовності. Команда aicr snapshot зберігає стан, а aicr validate виконує фази розгортання, відповідності та продуктивності. Фаза розгортання перевіряє версію ОС та деталі ядра, а фаза відповідності - стан компонентів. Фаза продуктивності запускає NCCL all-reduce як завдання всередині кластера, перевіряючи пропускну здатність шини відносно мінімального порогу з рецепта. Валідатор сам виділяє ComputeDomain та IMEX ResourceClaimTemplate, не вимагаючи попередніх дій з боку оператора. Варіант для інференсу, що використовує платформу Dynamo, проходить ті самі перевірки розгортання та відповідності на ідентичному кластері.

Критичний сквозний тест включає двовузловий ComputeDomain, де канали IMEX виділяються подами на кожному обчислювальному модулі. Для образів із хост-керованим IMEX статичний сервіс nvidia-imex на хості має бути вимкнений і заблокований, оскільки він несумісний із ComputeDomains, керованими DRA. GPU Operator v26.7.0 і вище постачається з більш суворим CRD, що вимагає явного встановлення numNodes, що впливає на нові встановлення кластерів, але не на оновлення. Застосування тестового маніфесту призводить до запуску двох подів, в кожен з яких ін'єктується канал IMEX, що займає близько 12 секунд. Увесь цикл від генерації рецепта до валідації займає приблизно п'ять хвилин, при цьому фаза продуктивності додає час виконання завдання NCCL.