NVIDIA Snapshot скорочує запуск GPU-навантажень до секунд

NVIDIA представила Snapshot - відкритий компонент платформи NVIDIA DSX AI Factory Platform, який дозволяє повторно використовувати ініціалізовані GPU-навантаження в різних репліках інференсу. Проблема знайома всім, хто обслуговує LLM: коли попит різко зростає або репліка виходить з ладу, вільні GPU не стають потужністю для обслуговування одразу, бо ініціалізація навантаження LLM - холодний старт - може займати хвилини. Snapshot - це система контрольних точок і відновлення для GPU-навантажень у Kubernetes. Вона зберігає повністю ініціалізоване навантаження, включно з пам'яттю CPU і GPU, і відновлює цей стан на сумісній інфраструктурі, виводячи потужність інференсу в мережу за секунди, а не за хвилини. Підготовка інфраструктури та завантаження образу контейнера до вимірюваного шляху відновлення не входять.

Інструмент надає дві операції для GPU-подів, обидві керуються через користувацькі ресурси Kubernetes. Щоб зберегти контрольну точку працюючого пода, ви створюєте PodSnapshot з його іменем; щоб запустити под із шаблону і одразу зберегти його контрольну точку, коли він буде готовий, ви створюєте SnapshotJob. Відновлення означає додавання анотації nvidia.com/restore-from до нового пода і зазначення PodSnapshot, з якого потрібно відновитися. Саме навантаження потребує лише невеликого рукостискання, щоб призупинитися перед створенням контрольної точки і продовжити роботу після відновлення, а в репозиторії є готові приклади для vLLM, SGLang і NVIDIA TensorRT LLM. Snapshot вміє зберігати і відновлювати сумісні навантаження, що охоплюють кілька GPU на одному вузлі, як єдиний артефакт за всіма рангами - це забезпечує швидкий запуск великих моделей mixture-of-experts з тензорним паралелізмом, паралелізмом даних і експертів, а також паралелізмом контексту декодування, за умови що навантаження відповідає вимогам сумісності контрольних точок, відновлення та середовища виконання.

Бенчмарки охоплюють моделі від 600 мільйонів параметрів до MoE-моделей з контрольними точками на 1 ТБ на 8 GPU; тести проводилися на однаковому обладнанні та програмному стеку за двома стратегіями: холодний старт проти відновлення зі Snapshot. У всіх протестованих конфігураціях Snapshot повертає репліку в стрій менш ніж за 45 секунд - у 8-36 разів швидше за холодний старт. За рушіями діапазони відновлення такі: vLLM - від 4,7 до 39,6 секунди, SGLang - від 3,6 до 42,7 секунди, TensorRT LLM - від 7,79 до 33,55 секунди. Обидва заміри не враховують завантаження образу контейнера та налаштування середовища виконання контейнера, а звільнення KV-кешу запускається перед кожною контрольною точкою, тому в артефакт воно не входить. Час створення контрольної точки та розмір артефакту вказані як разова вартість на модель і конфігурацію.

Сам шлях відновлення складається з налаштування агента, відновлення CRIU, відновлення CUDA та пробудження з переприв'язкою, а розбивка холодного старту показує, які фази ініціалізації відновлення пропускає. Спочатку Snapshot розроблявся для воркерів інференсу NVIDIA Dynamo, але задуманий для інтеграції іншими рушіями інференсу, планувальниками, контролерами та платформами. Інструменти бенчмаркінгу та інструкції з відтворення лежать у репозиторії разом із посібником зі встановлення та використання, а посібник користувача Dynamo описує відновлення воркерів. Партнери з розробки також оцінили Snapshot на своїх навантаженнях.