Die Methode split-and-scale von Apple erhöht die Detailtreue von 3D-Latents bei der Inferenz ohne erneutes Training

  • PublicPublic
  • 18 Nov, 2026
Die Methode split-and-scale von Apple erhöht die Detailtreue von 3D-Latents bei der Inferenz ohne erneutes Training

Forscher von Apple im Bereich maschinelles Lernen haben split-and-scale vorgestellt, ein Verfahren, um die Kapazität latenter 3D-Repräsentationen bei der Inferenz zu erhöhen, ohne dass das Training unbezahlbar teuer wird. Latente Repräsentationen kodieren 3D-Szenen bereits kompakt und bilden die Grundlage leistungsstarker generativer 3D-Modelle. Feine Details komplexer Objekte geben sie jedoch nur schlecht wieder, da Latents nur eine begrenzte Menge an Information aufnehmen können.

Die naheliegende Lösung hat gravierende Nachteile. Erhöht man die Kapazität der Latents beim Training, wird die Berechnung teuer, und oft lässt sich das innerhalb der Speichergrenzen gar nicht umsetzen. Zusätzliche Latents bei der Inferenz bringen ebenfalls nichts: Das Modell kann die zusätzliche Kapazität nicht sinnvoll nutzen.

Die Methode beruht auf einer wichtigen Eigenschaft. Wird eine 3D-Szene als stetige Funktion von 3D-Koordinaten dargestellt, lässt sich ein und derselbe vortrainierte Tokenizer bei der Inferenz auf beliebig kleine Teilbereiche der Szene anwenden. Jeder Teilbereich erhält dieselbe latente Kapazität, die sonst einer ganzen Szene zur Verfügung stünde, das heißt, dasselbe Budget entfällt auf einen kleineren räumlichen Bereich. Dadurch erfasst das Modell deutlich mehr Details, ohne dass es neu trainiert werden muss.

Das Team führte umfangreiche Ablationsstudien durch, um die Zusammenhänge zwischen Rechenaufwand, Speicher, latenter Kapazität und Rekonstruktionsqualität zu untersuchen. Es zeigte sich, dass diese Skalierung bei der Inferenz eine Qualität erreicht, die mit deutlich größeren Modellen mithalten kann, deren Speicherbedarf den einer einzelnen GPU übersteigt. Der Ansatz funktioniert auch für die Generierung: Ein autoregressiver 3D-Generator, der auf split-and-scale-Repräsentationen trainiert wurde, steht modernsten Baseline-Modellen in nichts nach. Dies deutet auf einen praktikablen Weg hin, detailreichere 3D-Assets auf bescheidener Hardware zu generieren.