NVIDIA AICR подтверждает поддержку Kubernetes для Vera Rubin NVL72

Настройка Kubernetes для нового GPU-оборудования, такого как NVIDIA Vera Rubin, - это сложная и подверженная ошибкам задача, требующая точной согласованности драйверов, ядер, рантаймов и планировщиков. NVIDIA AI Cluster Runtime (AICR), входящий в состав платформы DSX AI Factory, упрощает этот процесс, сохраняя отлаженные конфигурации в виде переиспользуемых рецептов. Он генерирует пакеты для инструментов развертывания и проверяет работающие кластеры, гарантируя, что окружения готовы к вычислительным модулям Vera Rubin NVL72 с первого дня. Такой подход помогает командам платформы проектировать, создавать и эксплуатировать эффективные ИИ-фабрики с использованием модульных программных компонентов с открытым исходным кодом.

Для команд, которые сейчас используют GB200 NVL72, Vera Rubin NVL72 представляет собой третье поколение стоечной архитектуры MGX с несколькими заметными изменениями для пользователей. Чтобы проверить поддержку от начала до конца, пакет рантайма AICR был развернут на кластерах Vera Rubin с использованием GPU Operator v26.7.0, драйвера DRA v0.5.0 и драйвера R615, установленного на хосте. Оба варианта рецептов - для обучения и инференса - успешно прошли сквозную валидацию. Вариант для обучения включает контрольный порог производительности: межпроцессорный NCCL all-reduce через шину NVLink с использованием IMEX ComputeDomain, ограниченный минимальным порогом пропускной способности шины. На ранних этапах валидации возникла временная проблема с оборудованием или шиной в одном из кластеров, но переустановка оборудования решила её, позволив всем GPU объединиться в единую группу шины.

AICR фиксирует специфические для платформы решения в виде версионируемого рецепта, делая конфигурации явными и воспроизводимыми. Новая семейство рецептов для Vera Rubin (сервис: rke2, ускоритель: vr200, ОС: Ubuntu) поставляется в статусе Preview, не имея полной поддержки для продакшена, пока платформа находится в предрелизе. Первое развертывание было направлено на новую комбинацию: arm64, Ubuntu 26.04, ядро с размером страницы 64 КБ, RKE2 и Vera Rubin, что позволило получить работоспособный рантайм за несколько часов. Второй кластер воспроизвел этот результат на следующий день, продемонстрировав воспроизводимость рецепта. Такой подход с версионированием гарантирует, что конкретные решения, принятые в процессе запуска, сохраняются и могут быть проверены на разных кластерах.

Рабочий процесс AICR, выполняемый с помощью инструментария v1.0.0, начинается с офлайн-генерации рецепта. Команда aicr recipe сопоставляет критерии с каталогом, создавая файл YAML, который накладывает пять оверлеев на 14 компонентов. Ключевые компоненты включают GPU Operator, драйвер DRA, DraNet для выделения устройств ConnectX-9 и NodeWright для эксклюзивного режима RDMA netns. Команда генерации пакета aicr bundle создает набор упорядоченных Helm-чартов и скрипт развертывания. Этот пакет включает NodeWright, KAI Scheduler, NVSentinel, NFD и стек Prometheus, при этом версии всех компонентов закреплены в соответствии с конфигурацией, проверенной на оборудовании Vera Rubin.

Валидация включает захват состояния кластера и проверку условий готовности. Команда aicr snapshot сохраняет состояние, а aicr validate выполняет фазы развертывания, соответствия и производительности. Фаза развертывания проверяет версию ОС и детали ядра, а фаза соответствия - здоровье компонентов. Фаза производительности запускает NCCL all-reduce как задачу внутри кластера, проверяя пропускную способность шины относительно минимального порога из рецепта. Валидатор сам выделяет ComputeDomain и IMEX ResourceClaimTemplate, не требуя предварительных действий со стороны оператора. Вариант для инференса, использующий платформу Dynamo, проходит те же проверки развертывания и соответствия на идентичном кластере.

Критический сквозной тест включает двухузловой ComputeDomain, где каналы IMEX выделяются подами на каждом вычислительном модуле. Для образов с хост-управляемым IMEX статический сервис nvidia-imex на хосте должен быть отключен и заблокирован, так как он несовместим с управляемыми DRA ComputeDomains. GPU Operator v26.7.0 и выше поставляется с более строгим CRD, требующим явной установки numNodes, что влияет на новые установки кластеров, но не на обновления. Применение тестового манифеста приводит к запуску двух подов, в каждый из которых внедряется канал IMEX, что занимает около 12 секунд. Весь цикл от генерации рецепта до валидации занимает примерно пять минут, при этом фаза производительности добавляет время выполнения задачи NCCL.