NVIDIA uvodi AI agente za automatizaciju rada AI fabrika i smanjenje opterećenja SRE inženjera

S porastom veličine GPU klastera, inženjeri pouzdanosti web mjesta (SRE) suočavaju se s izazovima u koreliranju pada performansi na razinama izračuna, mreže i hardvera. NVIDIA je razvila AI Factory Operations Agent kako bi optimizirala unutarnju eksploataciju DGX SuperPOD-a i smanjila ručni rad. Sustav koristi specijalizirane agente koji otkrivaju kvarove, utvrđuju njihove uzroke i daju preporuke putem chat sučelja. Inženjeri mogu komunicirati s tim agentima na prirodnom jeziku, prebacivati se između istraživanja i pratiti radnje radi auditabilnosti, čime se eliminira potreba za ručnim pregledom brojnih dashboarda.

Primjer za developere izgrađen je na temelju NVIDIA NemoClaw predloška i uključuje korisnički agentski runtime koji usmjerava upite na domenske agente. Povezanost se uspostavlja putem OpenClaw pluginova i Model Context Protocol servera, koji izlažu usko specijalizirane operativne alate. Okvir koristi NVIDIA OpenShell i podržava potpuno lokalno razvrstavanje kako bi se osigurala suverenost podataka. Inferencija se oslanja na lokalno poslužene otvorene modele NVIDIA Nemotron, koji rade na produkcijskim klasterima DGX H100, B200 i GB300. Ovaj modularni dizajn omogućuje dodavanje novih agenata i integracija s infrastrukturom bez mijenjanja postojećih komponenti.

Razvrstavanje se obavlja kao aplikacija Kubernetes control-plane, pri čemu Helm upravlja sučeljem, OpenClaw gatewayem, MCP serverima i inferencijskim endpointovima. Za izvršavanje shell naredbi, OpenShell stvara Kubernetes sandboxe po sesiji kako bi izolirao naredbe od glavnog gateway poda, čime se osigurava da runtime ne mijenja produkcijska opterećenja. Sigurnost se provodi putem višeslojnog nadzora pristupa. Server-side alat run_kubectl koristi fiksne binarne datoteke i vjerodajnice samo za čitanje, dok Kubernetes RBAC definira resurse dostupne za inspekciju. Ova postavka omogućuje agentima da provjere svoje ovlasti, na primjer potvrđujući da mogu dohvatiti podove, ali ne i tajne ili stvarati nove podove.

Interno razvrstavanje koristi skup domenskih agenata. Job Recovery Agent analizira kvarove treninga na razini schedulera i hardvera. Hardware Agent triaži kvarove na razini uređaja, poput PCIe grešaka i termalnih anomalija. Observability Agent upituje Prometheus i Grafana Loki kako bi generirao dinamičke dashboardove. Research Agent pretražuje unaprijed učitane dokumente, dok Kubernetes Agent pruža uvid u stanje klastera samo za čitanje. Cluster Management Agent komunicira s Base Command Manager API-jima. Transverzalne alate čine web pretraga i izvršavanje koda, a okvir podržava prilagođene MCP servere za specifične operativne potrebe.

NVIDIA preporučuje posvećeni GPU ubrzan control-plane, izoliran od produkcijskog klastera, za obradu orkestracije agenata bez trošenja resursa potrebnih za trening. U multi-tenant okruženjima, OpenShell provodi granice pokretanjem agenata u izoliranim sandboxovima s ograničenjima na razini kernela, čime se osigurava da SRE korisnici imaju pristup samo svojim specifičnim namespaceovima i čvorovima. Okvir je dostupan kao eksperimentalni open source softver na GitHubu, iako se API-ji i konfiguracije mogu mijenjati između izdanja. NVIDIA klijenti mogu kontaktirati svoje account managere kako bi zatražili pristup proprietarnim agentima za upravljanje klasterom, razvijenim za internu upotrebu.