Les offres de “CEA”

Expire bientôt CEA

Entrainement de Neural Radiance Fields pour des scènes étendues et multi-échelles H/F

  • Stage
  • Palaiseau (Essonne)

Description de l'offre

Détail de l'offre

Informations générales

Entité de rattachement

Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.

Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).

Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.

Référence

2022-23282

Description de l'unité

Au sein du CEA LIST, le Laboratoire de Simulation Interactive (LSI) développe une plateforme de simulation multi-physique interactive mettant en jeu un ou plusieurs utilisateurs en exploitant les technologies de Réalité Virtuelle (RV) et de Réalité Mixte (RM).
Cette plateforme, dénommée XDE Physics, permet de simuler la manipulation et les interactions de l'ensemble des systèmes, pièces rigides, articulées ou déformables (câbles) directement sur les maquettes numériques.
Elle permet également de valider des scénarios incluant l'opérateur pour étudier l'ergonomie du poste de travail par l'introduction de son avatar dans la simulation dynamique.
Centrées sur les noyaux de simulation interactive, les activités de l'équipe vont jusqu'à la mise au point d'applicatifs, répondant aux contextes d'usage de ses partenaires industriels (manufacturing pour l'automobile et l'aéronautique, énergie, santé).

Description du poste

Domaine

Mathématiques, information scientifique, logiciel

Contrat

Stage

Intitulé de l'offre

Entrainement de Neural Radiance Fields pour des scènes étendues et multi-échelles H/F

Sujet de stage

Récemment, le papier séminal [1] à travers la notion de Neural Radiance Field (NeRF) a suscité un fort engouement dans la communauté graphique en donnant la possibilité de générer de nouvelles vues, d'une qualité jusque-là inégalée, en dehors des positions d'images captées. Le principe en est le suivant. Les données d'entrée sont une série d'images capturées par une caméra perspective dont les positions et orientations sont connues autour d'un objet fixe. Une fonction retournant une couleur et une densité en tous points d'un volume est approchée par un réseau de neurones de type Multi-Layer Perceptron (MLP), entrainé pour retrouver les images données via un rendu volumique. Lors de la phase d'inférence, on peut générer des vues pour de nouvelles positions en interrogeant le réseau et tourner ainsi librement autour de l'objet.
[1] B. Mildenhall, P. P. Srinivasan, M. Tancik, J. T. Barron, R. Ramamoorthi, and R. Ng. Nerf: Representing scenes as neural radiance fields for view synthesis.

Durée du contrat (en mois)

6

Description de l'offre

Une des limitations de cette méthode est qu'elle ne permet de traiter que des scènes de petites tailles. Pour travailler sur de plus larges échelles, sans perdre de niveau de détails, ç.à.d sans générer d'images trop floues, il faut augmenter la taille du réseau de neurones. Cela implique des temps d'entraînement et d'inférences très importants. Afin de tendre vers des rendus interactifs temps réels, plusieurs papiers ont proposé, partant d'un gros réseau MLP entrainé, de construire des structures qui rendent les évaluations couleur/densité bien plus rapides. Dans Block-NeRF [2] et KiloNeRF[3], la scène est découpée en une grille où chaque cellule contient un petit MLP. Dans [4], on utilise une structure de grille sparse. Et dans [5] après évaluation de la géométrie de la scène, les cellules ne sont placées que dans des endroits où il y a réellement des objets. Enfin, récemment, [6] a proposé de procéder conjointement à la construction d'une structure hiérarchique de type octree ainsi qu'à l'entrainement de petits réseaux dans les feuilles de celui-ci, réduisant ainsi à la fois les temps d'entrainement et de rendu. Le stage consistera après une revue bibliographique à tester et implémenter ces différentes approches et à en proposer des améliorations. La structure construite sera exploitée dans le cadre d'un autre stage pour de la visualisation interactive. Enfin en appuis à une thèse se déroulant dans notre laboratoire, une partie de l’étude consistera à entrainer et à construire une telle structure à partir du parcours simulé d'une caméra panoramique 360 à l'intérieur de sites étendus et complexes.

Bibliographie

[2] Tancik, M., and Casser, V., and Yan, X., and Pradhan, S. , and Mildenhall, B., and Srinivasan, P., and Barron, J. T. , and Kretzschmar, H., {Block-NeRF}: Scalable Large Scene Neural View Synthesis, arXiv 2022, https://doi.org/10.48550/arxiv.2202.05263

[3] Reiser, Christian and Peng, Songyou and Liao, Yiyi and Geiger, Andreas, KiloNeRF: Speeding up Neural Radiance Fields with Thousands of Tiny MLPs, arXiv 2021, https://arxiv.org/abs/2103.13744

[4] Hedman, Peter and Srinivasan, Pratul P. and Mildenhall, Ben and Barron, Jonathan T. and Debevec, Paul, Baking Neural Radiance Fields for Real-Time View Synthesis, arXiv, 2021, https://arxiv.org/abs/2103.14645

[5] Huang, Huajian and Chen, Yingshu and Zhang, Tianjian and Yeung, Sai-Kit, 360Roam: Real-Time Indoor Roaming Using Geometry-Aware ${360^circ}$ Radiance Fields, arXiv, 2022, https://arxiv.org/abs/2208.02705

[6] Li, Rui and Rückert, Darius and Wang, Yuanhao and Idoughi, Ramzi and Heidrich, Wolfgang, Neural Adaptive SCEne Tracing, arXiv, 2022, https://arxiv.org/abs/2202.13664

NeRF https://www.youtube.com/watch?v=PNh0LvMpovU

kiloNeRF https://www.youtube.com/watch?v=PNh0LvMpovU

BlockNeRF https://www.youtube.com/watch?v=sJbCaWMaDx8

Moyens / Méthodes / Logiciels

Langages Python, outis pour le deep learning learning (Pytorch, TensorFlow, JaX), Git

Profil recherché

Profil du candidat

Ingénieur, Master 2 Recherche

Bonne qualité rédactionnelle et de communication en français et anglais, rigueur dans l’analyse et la démarche.

Faire de chaque avenir une réussite.
  • Annuaire emplois
  • Annuaire entreprises
  • Événements