NVIDIA Minerva: pokretanje platforme za nadzor AI-fabrika

NVIDIA je službeno predstavila Minerva, specijaliziranu AIOps platformu razvijenu za održavanje produktivnosti u velikim AI-fabrikama. Sustav prikuplja telemetrijske podatke iz osnovne infrastrukture i aktivnih AI opterećenja, primjenjujući namjenske modele umjetne inteligencije kako bi sirove podatke pretvorio u korisne uvide. AI-fabrike su neke od najkompleksnijih operativnih sredina na svijetu, gdje veliki nizovi GPU rade kroz brze mreže za obuku modela i pružanje aplikacija. U takvim uvjetima, degradacija čak i jednog komponente može značajno usporiti cijele poslove, što čini rano otkrivanje problema ključnim za održavanje učinkovitosti i izlaza.

Tradicionalni alati za nadzor često razbijaju vidljivost u podaci centrima, nudeći odvojene prikaze za timove za mreže, izračune, pouzdanost lokacija i strojno učenje. Minerva rješava tu fragmentaciju povezivanjem signala između NVIDIA GPU, mrežne opreme, sustava za pohranu, planera i radnih opterećenja. Platforma gradi dinamični graf znanja koji logički preslikava fizičku infrastrukturu, uključujući GPU, SuperNIC, prekidače i kablove, uz poslove koji se na njoj izvršavaju. Ovo kontekstualno preslikavanje omogućuje operaterima da prate uska grla u performansama do specifičnih komponenti, čak i u postrojenjima s stotinama tisuća GPU, osiguravajući točno i brzo identificiranje uzroka spore obuke.

Platforma obrađuje milijarde točaka podataka na sat koristeći algoritme strojnog učenja s nadzorom i bez nadzora. Uči normalno operativno ponašanje, otkriva prethodno neviđene anomalije, predviđa nastajuće kvarove i korelira povezane događaje na temelju specifične topologije tvornice. Umjesto da preplavi operatore svakim pojedinačnim simptomom, Minerva grupira oluje događaja u fokusirane incidente s vjerojatnim uzrocima. Sustav uključuje nativnog AI asistenta i povezuje se s vanjskim agencijskim AI alatima, pružajući sučelje na prirodnom jeziku temeljeno na uživoj telemetriji. Operateri mogu istraživati zdravlje klastera i primati preporučene korake za rješavanje problema putem razgovora, zadržavajući pritom mogućnost ručnog primjene popravaka ili povezivanja s automatizacijom putem API-ja infrastrukture.

Minerva je dizajnirana za pojednostavljenje operacija agregiranjem povezanih problema u jedinstvene izvedive stavke, što omogućuje AIOps timovima da prijeđu s reaktivnog rješavanja problema na proaktivno održavanje. Ovaj pristup pomaže maksimizirati radno vrijeme GPU-ova i poboljšava ključne metrike, poput prinos, korisni protok, dostupnost klastera i proizvodnju tokena. Nekoliko velikih partnera, uključujući IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI i Tesla, planira implementaciju platforme. Osim toga, proizvođači hardvera Dell Technologies, Lenovo i Supermicro ponudit će Minerva kao dio svojih portfelja za operacije AI tvornica, integrirajući je u šira rješenja infrastrukture.