Postdoc Evaluation d'algorithmes de reconstruction de cartes de profondeur obtenue avec un système de captation multicaméra associé à un scanner

Description de l'offre

about the role

Votre rôle est de réaliser l'optimisation d'algorithmes de reconstruction de cartes de profondeur obtenues avec un système de captation vidéo multi-vues assisté d'un capteur de profondeur.

La disponibilité de casques de réalité virtuelle permet aujourd'hui la visualisation avec un champ de vision élargi de contenus vidéo capturés avec des caméras 360°. Mais de nouveaux formats promettent d'offrir encore plus de sensation d'immersion, de qualité et de confort dans les scènes, avec plus d'interaction sur le contenu, plus de possibilités de navigation (free navigation, free viewpoint TV …).

Ces évolutions permettront l'émergence de nouveaux services, comme la télé-présence immersive 3D, ou encore la diffusion d'évènements sportifs ou culturels qui donneront la liberté à l'usager de choisir sa position, son point de vue, pour se rapprocher de l'action et ressentir des émotions aujourd'hui difficiles à communiquer.

Orange participe au développement de ces nouveaux formats avec une priorité sur la qualité d'expérience proposée. Dans ce cadre, l'objectif de la prestation est d'évaluer les performances des systèmes de captation vidéo immersifs les plus prometteurs.

Différentes approches issues de la photogrammétrie ont été suivies, afin de capturer des informations de couleur et de structure dans les scènes filmées, pour ensuite les utiliser afin de reconstruire la parallaxe à des points de vue différents de ceux utilisés lors de la captation.

Les techniques light field capturent les pixels d'une scène sous différents angles puis calculent des informations de profondeur afin d'interpoler des vues intermédiaires. Les étapes de la production de contenu light field sont détaillées dans [1] avec un système composé d'une matrice de caméras. Le nombre et la densité des capteurs mais aussi la qualité de la phase de calibration apportent des gains significatifs sur la qualité finale. Un système de caméra beaucoup plus large a été mis au point par la société Lytro [2] mais avec une taille qui rend son exploitation délicate.

Une alternative plus compacte, présentée dans [3], exploite une caméra vidéo conventionnelle couplée à une caméra light field «plénoptique», cad une caméra utilisant une matrice de microlentille devant son capteur pour séparer la scène en différentes vues sous différents angles. Un algorithme à base d'apprentissage permet d'interpoler des images temporellement et spatialement dans l'espace. Peu encombrante, ce type de solution limite toutefois fortement l'amplitude du déplacement lors de la visualisation.

Une autre approche tente de modéliser en 3D des scènes réelles à partir de caméras quelconques filmant une même scène, avec l'aide d'algorithmes d'intelligence artificielle qui vont tenter de retrouver la structure de certains éléments (bâtiments, êtres humains, ..). Une illustration en est donnée dans [4], avec des résultats qui semblent encore médiocres.

Une dernière tendance modélise la structure de la scène avec des scanners de type Lidar, de façon conjointe avec un ou plusieurs capteurs vidéo. Ce couplage permet d'obtenir un ensemble de point de l'espace avec des coordonnées 3D et des informations de textures qui sont plaquées sur ce modèle, exploitables dans un format point cloud, et qui peut ensuite être converti en modèle 3D [5].

Le travail attendu comportera une phase d'identification et d'analyse de l'ensemble des acteurs académiques et industriels qui adressent ces questions. Merci de vous référer à la section 3 «Le plus de l'offre» pour obtenir des informations complémentaires sur les missions scientifiques et les principales activités associées à ce post-doc.

about you

Vous êtes titulaire d'un Doctorat académique ou industriel en traitement du signal, traitement d'image, vision par ordinateur.

Vous maitrisez des outils de développement algorithmique : C/C++, python.

Vous avez de l'expérience dans les domaines de recherche ci-après :

Vidéo immersive, multi-vues, cartes de profondeur, point cloud, scanner et modélisation 3D, avec une méthodologie solide pour l'évaluation théorique d'algorithmes.

Vous avez le Goût pour les techniques de prise de vue photo/vidéo.

additional information

Objectif scientifique - verrous à lever

Vos actions permettront de poursuivre le développement de la solution de captation expérimentale mise en oeuvre par l'équipe (capteurs vidéo et scanner). Elles seront également jalonnées par des captations expérimentales, avec des scènes mises en place sur le plateau de tournage du laboratoire.

Une première étude théorique permettra d'abord d'analyser les différentes solutions de calcul de cartes de profondeur à partir de données multi-vues, pour déterminer une solution de référence, la plus robuste au sens des conditions de captation, incluant les occlusions, la nature des surfaces des objets et les variations de conditions d'éclairage.

En complément, les techniques de modélisation de l'espace à partir de scanners de type Lidar seront ensuite analysées afin de retenir les algorithmes les plus intéressants pour reconstruire la profondeur d'objets à partir d'un échantillonnage plus limité de l'espace. L'influence de la nature des matériaux (à réflexion diffuse, spéculaire, ..) sera également prise en compte.

Une seconde phase sera dédiée au développement de la solution qui permettra d'optimiser de façon conjointe le calcul de cartes de profondeurs à partir des données issues du système de caméras multi-vue ainsi que du modèle calculé à partir du scanner de profondeur. Une attention particulière sera aussi portée sur l'étape de calibration du système de caméras et du scanner, à l'aide de mires 3D, afin d'optimiser la qualité des résultats.

La réalisation de captations expérimentales en studio permettra l'analyse des performances du système. Ce travail donnera également lieu à des démonstrations qui illustreront la pertinence de l'approche, tout en soulignant les pistes de recherches à poursuivre pour optimiser les résultats.

Approche méthodologique-planning

Les taches seront structurées autour des éléments suivants :

·  L'analyse théorique d'algorithmes de calcul de cartes de profondeur à partir de systèmes vidéo multi-vues, leur robustesse en particulier vis-à-vis des problèmes d'occlusion de détails ou de nature de l'éclairage
·  L'analyse théorique d'algorithmes de reconstruction de cartes de profondeur à partir de données issues de capteurs de profondeur de type Lidar
·  Le développement d'un algorithme de calcul de cartes de profondeur permettant l'exploitation simultanée d'un système de caméras vidéo multi-vues et d'un capteur de profondeur
·  La génération de séquences de test, et la mise en place d'un démonstrateur permettant la lecture des contenus capturés
·  La rédaction d'un article communiquant sur les dernières avancées du domaine et sur les résultats obtenus.

department

Votre travail s'inscrira dans le cadre des activités de recherche conduites au sein de la direction Home d'Orange Labs Services, dans l'équipe Compression Vidéo Avancée et sur un axe visant à développer des solutions techniques innovantes pour la captation et la distribution de contenus vidéo immersifs. Ces travaux portent plus précisément sur les moyens de captation et de production à mettre en oeuvre, sur les nouveaux outils de compression à développer mais aussi sur l'écriture de nouvelles méthodes permettant d'évaluer l'intérêt de ces nouveaux formats immersifs pour l'utilisateur final.

Qu'est ce qui fait la valeur ajoutée de cette offre ?

Le développement matériel et logiciel d'un système de cameras multi-vues avec capteur de profondeur est un travail appliqué très complémentaire des études théoriques à mener au préalable sur le domaine. Ce développement permettra la génération de contenus de test et de démonstration qui pourront alimenter les autres travaux de recherche complémentaires à Orange autour des formats immersifs, mais également les échanges d'informations et d'idées avec les chercheurs et les techniciens de l'équipe ainsi qu'avec les partenaires externes du laboratoire.

Références :

[1] Dataset and Pipeline for Multi-View Light-Field Video. N. Sabater, G. Boisson, B. Vandame, P. Kerbiriou, F. Babon, M. Hog, T. Langlois, R. Gendrot, O. Bureller, A. Schubert, V. Allie. CVPR Workshops, 2017.

[2] Light Field Video Capture Using a Learning-Based Hybrid Imaging System. Ting-Chun Wang and Al -2017

[3] http://blog.lytro.com/6dof-in-live-action-vr/

[4] Dense Rigid Reconstruction from Unstructured Discontinuous Video. Karel Lebeda and Al - University of Surrey - 2016

[5] http://www.lidarmag.com/PDF/LiDARNewsMagazine_Juchmann-LiDARandHollywood_Vol5No4.pdf

contract

Post Doc