NVIDIA Minerva: Start der Plattform zur Überwachung von KI-Fabriken

NVIDIA hat offiziell Minerva vorgestellt, eine spezialisierte AIOps-Plattform, die entwickelt wurde, um die Produktivität in großen KI-Fabriken aufrechtzuerhalten. Das System aggregiert Telemetrie-Daten sowohl aus der zugrunde liegenden Infrastruktur als auch aus aktiven KI-Workloads und wendet dafür entwickelte KI-Modelle an, um Rohdaten in handlungsrelevante Erkenntnisse zu verwandeln. KI-Fabriken gehören zu den komplexesten Betriebsumgebungen weltweit, in denen große GPU-Arrays über Hochgeschwindigkeitsnetze Modelle trainieren und Anwendungen bereitstellen. In solchen Umgebungen kann ein einzelner, in seiner Leistung eingeschränkter Komponente ganze Jobs erheblich verlangsamen, weshalb die frühzeitige Erkennung von Problemen für die Aufrechterhaltung von Effizienz und Ausstoß entscheidend ist.

Traditionelle Überwachungstools fragmentieren oft die Sichtbarkeit in Rechenzentren, indem sie getrennte Ansichten für Netzwerk-, Compute-, Site-Reliability- und Machine-Learning-Teams bereitstellen. Minerva löst diese Fragmentierung, indem es Signale zwischen NVIDIA-GPUs, Netzwerkhardware, Speichersystemen, SCHEDULERN und Workloads verknüpft. Die Plattform erstellt einen dynamischen Wissensgraphen, der die physische Infrastruktur, einschließlich GPUs, SuperNICs, Switches und Kabel, sowie die darauf ausgeführten Jobs logisch abbildet. Diese kontextuelle Zuordnung ermöglicht es Betreibern, Leistungshemmnisse auf bestimmte Komponenten zurückzuführen, selbst in Anlagen mit Hunderttausenden von GPUs, und stellt sicher, dass die Ursachen langsamer Trainingsjobs genau und schnell identifiziert werden.

Die Plattform verarbeitet Milliarden von Datenpunkten pro Stunde unter Verwendung von überwachtem und unüberwachtem maschinellen Lernen. Sie lernt das normale Betriebsverhalten, erkennt bisher unbekannte Anomalien, sagt aufkommende Ausfälle vorher und korreliert zusammenhängende Ereignisse basierend auf der spezifischen Topologie der Fabrik. Anstatt die Operatoren mit jedem einzelnen Symptom zu überfluten, gruppiert Minerva Ereignisstürme in fokussierte Vorfälle mit wahrscheinlichen Ursachen. Das System umfasst einen nativen KI-Assistenten und verbindet sich mit externen agentischen KI-Tools, um eine natürliche Sprachoberfläche bereitzustellen, die auf Live-Telemetrie basiert. Operatoren können den Zustand des Clusters untersuchen und empfohlene Maßnahmen zur Fehlerbehebung im Dialog erhalten, während sie die Möglichkeit behalten, Korrekturen manuell umzusetzen oder sich über Infrastruktur-APIs mit Automatisierung zu verbinden.

Minerva ist so konzipiert, dass sie den Betrieb vereinfacht, indem sie zusammenhängende Probleme in einzelne, umsetzbare Elemente bündelt. Dies ermöglicht AIOps-Teams, von reaktiver Fehlerbehebung auf proaktive Wartung umzusteigen. Dieser Ansatz hilft, die Betriebszeit der GPUs zu maximieren und verbessert wichtige Kennzahlen wie Ausbeute, Goodput, Cluster-Betriebszeit und Token-Produktion. Mehrere große Partner, darunter IREN, Aolani, Bitdeer AI, IBM, Jio, Lambda, Quake AI und Tesla, planen den Einsatz der Plattform. Darüber hinaus werden die Hardware-Hersteller Dell Technologies, Lenovo und Supermicro Minerva als Teil ihrer Portfolios für KI-Fabrik-Betrieb anbieten und sie in umfassendere Infrastrukturlösungen integrieren.