La méthode split-and-scale d'Apple augmente le niveau de détail des latents 3D à l'inférence, sans réentraînement

  • PublicPublic
  • 18 Nov, 2026
La méthode split-and-scale d'Apple augmente le niveau de détail des latents 3D à l'inférence, sans réentraînement

Des chercheurs en apprentissage automatique d'Apple ont présenté split-and-scale, une technique qui permet d'augmenter la capacité des représentations latentes 3D à l'inférence tout en maintenant des coûts d'entraînement raisonnables. Les représentations latentes encodent déjà les scènes 3D de manière compacte et servent de fondement à de puissants modèles génératifs 3D. Elles peinent toutefois à restituer les détails fins des objets complexes, car les latents ne peuvent contenir qu'une quantité limitée d'information.

La solution évidente présente de sérieux inconvénients. Augmenter la capacité des latents pendant l'entraînement est coûteux en calcul et souvent impossible dans les limites de mémoire disponibles. Ajouter des latents à l'inférence n'aide pas davantage : le modèle ne parvient pas à exploiter efficacement cette capacité supplémentaire.

La méthode repose sur une propriété essentielle. Lorsqu'une scène 3D est représentée comme une fonction continue des coordonnées 3D, un même tokenizer pré-entraîné peut, à l'inférence, être appliqué à des sous-régions arbitrairement petites de la scène. Chaque sous-région reçoit autant de capacité latente qu'en recevrait une scène entière : le même budget sert donc à décrire une zone de l'espace plus restreinte. Grâce à cela, le modèle restitue bien plus de détails, sans qu'il soit nécessaire de le réentraîner.

L'équipe a mené de nombreuses études d'ablation afin d'évaluer les compromis entre calcul, mémoire, capacité latente et qualité de reconstruction. Il en ressort que ce passage à l'échelle à l'inférence atteint une qualité comparable à celle de modèles bien plus volumineux, dont les besoins dépassent la mémoire d'un seul GPU. L'approche fonctionne aussi pour la génération : un générateur 3D autorégressif entraîné sur des représentations split-and-scale rivalise avec les modèles de référence les plus avancés. Cela ouvre une voie concrète vers la génération d'assets 3D plus détaillés sur du matériel modeste.