Neuralangelo : La reconstruction de surface neuronale haute fidélité par Nvidia

Nvidia, le géant de la technologie, a récemment présenté un projet de recherche innovant appelé "Neuralangelo". Ce projet vise à améliorer la reconstruction de surface neuronale, une technique puissante pour récupérer des surfaces 3D denses via le rendu neuronal basé sur l'image. Cependant, les méthodes actuelles ont du mal à récupérer les structures détaillées des scènes du monde réel. C'est là que Neuralangelo entre en jeu.

Qu'est-ce que Neuralangelo ?

Neuralangelo est une méthode qui combine la puissance de représentation des grilles de hachage 3D multi-résolution avec le rendu de surface neuronale. Cette approche est rendue possible grâce à deux ingrédients clés :

1. Les gradients numériques pour le calcul de dérivées d'ordre supérieur en tant qu'opération de lissage.
2. L'optimisation du grossier au fin sur les grilles de hachage contrôlant différents niveaux de détails.

Même sans profondeur auxiliaire, Neuralangelo peut efficacement récupérer des structures de surface 3D denses à partir d'images multi-vues avec une fidélité qui dépasse de loin les méthodes précédentes. Cela permet une reconstruction détaillée de scènes à grande échelle à partir de captures vidéo RGB.

Comment fonctionne Neuralangelo ?

Neuralangelo utilise trois objectifs d'optimisation :

• La perte de synthèse RGB : une perte de reconstruction RGB entre l'image d'entrée et les images synthétisées.
• La perte eikonale : régularise le SDF sous-jacent de sorte que les normales de surface soient unitaires.
• La perte de courbure : régularise le SDF sous-jacent de sorte que la courbure moyenne ne soit pas arbitrairement grande.

En utilisant des gradients numériques avec une taille de pas correspondant aux résolutions spatiales de la grille de hachage, l'optimisation va au-delà des cellules locales. Les gradients numériques agissent comme une opération de lissage sur le SDF par rapport aux gradients analytiques.

En diminuant progressivement la taille du pas pour le gradient numérique et en activant des grilles de hachage de résolution supérieure, le paysage d'optimisation est mieux façonné pour récupérer à la fois de grandes surfaces lisses et de fins détails géométriques. Un tel programme d'apprentissage permet un niveau progressif de détails.

Conclusion

Neuralangelo est un projet de recherche prometteur qui pourrait révolutionner la façon dont nous reconstruisons et interagissons avec les environnements 3D. En combinant des techniques de rendu neuronal avec des grilles de hachage 3D multi-résolution, Neuralangelo est capable de récupérer des structures de surface 3D denses avec une fidélité impressionnante. Cela ouvre la voie à des applications potentielles dans de nombreux domaines, de la réalité virtuelle à la robotique en passant par la conception assistée par ordinateur.

Pour plus d'informations sur Neuralangelo, vous pouvez consulter l'étude.