Platforma NVIDIA Minerva AIOps povezuje telemetriju AI fabrika radi maksimizacije učinkovitosti GPU

AI fabrike predstavljaju neke od najkompleksnijih operativnih okruženja ikada izgrađenih, gdje stotine tisuća GPU, mreže NVIDIA Spectrum-X Ethernet, mreže NVLink za skaliranje i distribuirani planeri rade u neprekidnom sinkronom režimu. U sinkronom distribuiranom treniranju, cijeli zadatak napreduje u ritmu najsporijeg ranga, što znači da jedan degradirani GPU, sučelje ili put prekidača može uzrokovati gubitak korisnog vremena na mnogim zdravim resursima. Kvarovi koji smanjuju prinos često su suptilni, kao što su GPU koji radi malo toplije od susjeda, NVMe uređaj koji gubi performanse pod stalnim opterećenjem ili prekidač koji generira oluje okvira pauze. Ovi signali rijetko pojedinačno prelaze statičke pragove, ali zajedno stvaraju zaostatke, produžavaju vrijeme koraka i odgađaju kontrolne točke, što dovodi do značajnih produkcijskih gubitaka.

Dijagnostika je dodatno komplicirana jer su dokazi raspršeni po različitim timovima: operateri mreže vide brojače sučelja, operateri izračunavanja vide zdravlje čvorova, a ML timovi vide promjene u vremenu koraka. Ova fragmentacija pretvara triage u lanac pretraga na nadzornim pločama i prijenosa zadataka između timova, što može pretvoriti lokaliziranu kvar u dane izgubljenog produkcijskog vremena. NVIDIA Minerva rješava te praznine prikupljanjem telemetrije kroz cijeli stek i mapiranjem infrastrukture na aktivne poslove u dinamičnom grafu znanja. Primjenjuje namjenski razvijano strojno učenje za korelaciju ovisnih simptoma u incidente visoke vjernosti. Asistent pokretan AI agentom i MCP poslužitelj povezan s vanjskim agentskim alatima pružaju konverzacijom vođen put kroz ove žive dokaze, s glavnim ciljem očuvanja učinkovitih GPU sati i osiguranja glatkog tijeka obuke modela.

Praćenje na temelju pravila loše se nosi s "sivim kvarovima", kada komponente ostaju dostupne, ali pokazuju probleme samo pod opterećenjem ili u usporedbi s susjedima. Apsolutni pragovi često propuštaju te promjene, dok agresivni pragovi stvaraju šum tijekom uobičajenih promjena opterećenja. Ljestvica pojačava taj problem, jer jedan fizički kvar može izazvati pogreške sučelja, indikatore gužve i promjene iskorištenosti GPU-a, koji se na različitim nadzornim pločama pojavljuju kao nesvežani događaji. Minerva prima metrike, dnevnik i topologiju s GPU-ova, Spectrum-X i NVLink prekidača, SuperNIC-ova, DPU-ova, pohrane, NCCL-a i planera. Automatsko otkrivanje opskrbljuje odnosima koje sirova telemetrija nema, stvarajući graf znanja koji mapira elemente infrastrukture, planera i radnih opterećenja. Ovaj graf dinamički se ažurira kako se poslovi pokreću, zaustavljaju ili kako se čvorovi zamjenjuju, podržavajući navigaciju od pregleda cijele tvornice do pojedinog sučelja.

Graf topologije transformira put istraživanja, omogućujući operatorima da prate anomalije od sučelja do njegovog čvora, puta u mreži i trenutnog smještaja posla. S druge strane, ML inženjeri mogu pratiti ID posla kroz dokaze na GPU-u, hostu, NIC-u i prekidaču. Minerva obrađuje milijarde točaka podataka metrika i dnevnika na sat, koristeći nadzirane i nenadzirane modele. Nadzirano otkrivanje identificira poznate kritične obrasce grešaka i povezuje ih s uputama za otklanjanje, dok nenadzirani modeli uče normalne obrasce za hardverske ili logičke komponente i uspoređuju ih s relevantnim susjedima. Usporedba s susjedima ključna je jer mjerenje može izgledati prihvatljivo u izolaciji, ali anomalno u kontekstu, na primjer temperatura GPU-a unutar specifikacije, ali znatno viša od susjednih GPU-ova pod istim opterećenjem. Multivarijatni modeli kombiniraju temperaturu, snagu, sate i iskorištenost kako bi otkrili degradaciju prije potpunog kvara.

Dnevnici dobivaju sličan tretman: otkrivanje anomalija na temelju NLP-a ističe prethodno neviđene obrasce, a nadzirano usklađivanje identificira poznate kritične greške. Otkrivanja se mogu proslijediti u radne tokove planera kako bi se pogođeni čvorovi ispraznili prije nego što na njih stignu novi poslovi ili u sigurnim intervalima kontrolnih točaka. Korelacija s obzirom na topologiju povezuje otkrivanje s radnjama operatora, koristeći graf znanja za određivanje koji događaji dijele put ovisnosti. Sporedni simptomi grupiraju se u jedan incident, umjesto da se natječu za pažnju, spajajući suvišne događaje i povezane serije metrika u jedan signal s priloženom pogođenom topologijom i radnim opterećenjima. NVIDIA testovi pokazuju značajno smanjenje broja obaviještenih događaja i zapisa za podržane scenarije, omogućujući operatorima da započnu s mnogo manjim prostorom pretrage za analizu uzroka.

NVIDIA Minerva uključuje nativnog AI agenta po imenu Sherlock, temeljenog na uživoj telemetriji i grafu znanja, koji omogućuje operatorima da upitaju sustav za analizu uzroka na prirodnom jeziku. Sherlock može prikazati potporna dokazna sredstva i preporučiti mjere za otklanjanje bez zahtijevanja od operatora znanja specifičnih metrika ili jezika upita, pružajući put do stručnog znanja koje je tradicionalno zahtijevalo eskalaciju specijalistima. Osim toga, MCP poslužitelj Minerve omogućuje vanjskim agenticima alatima da upitaju isti operativni kontekst, omogućujući timovima da u svoje radne tokove ugrade dokaze iz AI fabrike uživo. Mjere ublažavanja mogu ostati odobrene od strane ljudi ili se automatizirati u skladu s lokalnom politikom i procjenom rizika. U velikom AI podaci centru, Minerva je identificirala jedno NVLink spajanje od 400.000 sučelja koje gubi propusnost, omogućujući SRE-u da isprazni pogođene čvorove i obnovi punu brzinu u minutama, a ne satima.