Post Doc Codage vidéo multivue pour les futurs formats immersif basés sur la norme FVC F/H

Description de l'offre

about the role

Votre rôle est d'effectuer un travail de post doc sur : « codage video multivue pour les futurs formats immersifs basés sur la norme FVC ».

A l'issu d'un processus de construction de plusieurs années, la norme de codage vidéo HEVC a été finalisée en janvier 2013. Cette norme permet de gagner un facteur 2 en compression par rapport à la génération précédent et est organisée de la façon suivante :

HEVC « baseline » : ensemble d'outils de base permettant de compresser les pixels, ainsi qu'une structure de syntaxe haut niveau, afin de coder les contenus dit « 2D », c'est-à-dire la vidéo rectangulaire classique.

HEVC « extensions multicouches» : il s'agit de coder des formats différents de la vidéo 2D sans modifier l'algorithme bas niveau de codage des pixels. Elles n'incorporent pas de nouveaux outils bas niveau, mais se contentent d'ajouter une syntaxe haut niveau qui décrit comment « insérer » le format dans une structure utilisant plusieurs codecs HEVC baseline. Ces extensions concernent notamment le codage multivue, et la principale différence par rapport à une approche multicast consiste en l'ajout d'une ou plusieurs vues à la liste de référence d'une vue.

HEVC « extensions bas niveau » : Il s'agit d'extensions qui ajoutent des outils bas niveau à HEVC V1 afin de coder du contenu spécifique, comme des captures d'écran (extension Screen Cotent Coding), ou des images multivues multi-cartes de profondeur (3D-HEVC).

Si les extensions d'HEVC peuvent décoder un contenu HEVC baseline, l'inverse n'est pas vrai.

On s'intéresse particulièrement au codage multivue. A l'époque de la conception d'HEVC, le marché des contenus multivue était faible, et, en pratique, il n'y a pas de codecs multivue massivement déployés dans les services et produits, principalement par manque de contenus pertinents et de support de visionnage.

Depuis, le format multivue fait une retour en force, lié à la montée du concept de vidéo immersive. En effet, qu'il s'agisse de vidéo 3DoF (vidéo 360 stéréoscopique) ou 6DoF (3DoF+, 6DoF limité, 6DoF massif), il est nécessaire de coder plusieurs vues.

La prochaine génération de norme de codage vidéo FVC, qui vise à gagner un facteur 2 en compression par rapport à HEVC fin 2020, a vocation à coder de la vidéo classique et de la vidéo multivue dès la première version du standard. En effet, la popularité attendue des formats multivue nécessite que les décodeurs FVC déployés dans le futur soient en mesure de décoder à la fois de la vidéo classique et des contenus immersifs. Un exemple typique de cette duplicité est le smartphone, qui peut servir à la fois de visionneur 2D et de casque de réalité virtuelle.

Etat de l'art :

Jusqu'à présent, le multivue de type « multicouche » est traité dans AVC et HEVC par leur extensions MVC [1] et MV-HEVC [2]. Le multivue basé sur des outils bas niveau est traité dans l'extension 3D-HEVC. Une revue de ces technologies est donnée dans [3]. Le sujet porte sur des technologies qui, s'inspirant de ce a été fait dans ces différentes approches qui ont été exploitées dans des normes juxtaposée, permettra de construire une norme unique, fonctionnant sous une seule contrainte de point de fonctionnement de complexité. Pour ce faire, le travail partira des techniques de compression vidéo les plus récentes [4], développées dans le groupe de travail JVET (Joint Video Expert Group, conjoint à ISO et ITU-T), ainsi que du travail d'exploration des techniques candidate au codage de la vidéo 360 stéréoscopique dans la future norme FVC [5].

Se référer à la section 3 « Le plus de l'offre » pour des informations détaillées sur la mission scientifique et les principales activités associées au post doc.

about you

Vous êtes titulaire d'un doctorat et avez effectué votre thèse en laboratoire public ou milieu industriel.

·  compétences en traitement du signal et des images
·  bonne connaissance d'un schéma de compression vidéo
·  bonne connaissance des normes AVC ou HEVC
·  maîtrise du C/C++

additional information

·  Objectif scientifique - verrous à lever

L'objectif du post doc est de proposer de nouveaux algorithmes de codage vidéo visant à la fois les contenus 2D et les contenus multivue. Plus précisément, nous souhaitons :

1.trouver les outils permettant de coder à la fois la 2D et le multivue avec un surcout de complexité faible par rapport aux approches existantes, de façon à avoir un seul profil (essentiellement pour le 3DoF)

2.proposer des outils qui pourront servir de base aux futurs normes de codage massivement multivue (6DoF)

Les défis techniques à relever sont les suivants :

·  Est-il possible de reprendre ou de modifier des outils existants (prédiction et codage du mouvement, des modes intra, du résidu) afin de s'en servir pour coder de la vidéo mutlivue, sans augmenter la complexité d'implémentation?
·  Y a-t-il des outils de codage inter-vues susceptible de s'appliquer au contenu projetté et frame-packé (vidéo 360)
·  Comment concevoir des outils susceptibles de servir au multivue massif (6DoF) ?
·  Est-il possible concevoir un profil de codage adapté à la 2D et à la 360 stéréo, de façon à éviter la fragmentation des codecs sur ces deux formats très populaires ?
·  Y a-t-il une différence dans les outils de codage destinés à la stéréo (un seul point de vue avec disparité) et ceux destinés aux contenus à multiples points de vue ?

Les résultats attendus sont :

·  Une ou plusieurs contributions en normalisation FVC (en priorité) ou MPEG-I
·  Des brevets
·  Des Implémentations logicielles sur la base des logiciels de référence de FVC et MPEG-I

·  Approche méthodologique-planning

Dans un premier temps, le post doc devra étudier de manière détaillée les normes MV-HEVC et 3D-HEVC, en particulier dans leur façon de réaliser des prédictions inter-vue. En parallèle, une étude bibliographique des méthodes de prédiction inter-vues sera réalisée.

Lorsque ceci est possible, les outils proposés auront vocation à être le plus universels possibles, en termes de format multi vue. Toutefois, dans le cas d'une application plus concrète, le format visé sera la vidéo 360 stéréoscopique, qui sera vraisemblablement le format immersif le plus répandu au moment de la sortie de la norme FVC

Le travail de post doc consistera alors à identifier des nouvelles approches de prédiction intra issues de l'étude des défis techniques évoqués précédemment, et à les intégrer dans un codec de type FVC. Les techniques seront évaluées sur un ensemble de vidéos de test classiques mais aussi sur des contenus UHD présentant des caractéristiques statistiques spécifiques.

Planning Global du déroulement du post doc (grandes lignes)

1 mois : Etude bibliographique, familiarisation avec les logiciel de référence d'HEVC, de MV-HEVC, et de FVC servant de base à l'implémentation

2-6 mois : Conception et tests préliminaires des nouvelles approches de prédiction intervue en vue d'identifier les méthodes les plus prometteuses

7-12 mois : Implémentation complète, tests et optimisation des méthodes identifiées lors de la phase précédente, soumission en normalisation.

department

L'équipe Codage Vidéo Avancé comporte une quinzaine d'ingénieurs spécialisés dans le codage vidéo, couvrant les domaines suivants :

·  La recherche en compression vidéo et la standardisation (4-5 personnes, sous-équipe hébergeant le post doc)
·  l'anticipation des codecs vidéo dans la chaîne de service
·  l'évaluation de la qualité subjective de la vidéo

Qu'est ce qui fait la valeur ajoutée de cette offre ?

Ce post doc en compression vidéo se déroule au sein d'une équipe dynamique, motivée et expérimentée, formée d'ingénieurs de recherche, ainsi que de doctorants et de stagiaires.

L'équipe est à la pointe des connaissances du domaine, a joué et continue de jouer un rôle essentiel dans le process de standardisation international, tout en ayant en priorité les futurs services immersifs d'Orange.

En parallèle, l'équipe travaille en collaboration avec des partenaires académiques reconnus dans le domaine, ce qui permet ce lien fondamental avec la recherche plus théorique.

Enfin, la compression vidéo est au coeur des préoccupations à l'horizon 2020, 2025, avec l'accroissement des contenus qui seront diffusés. Le post doc touche donc un sujet d'actualité, à fort intérêt, dont les résultats pourront être directement exploitables, de manière très concrète.

Références :

1] P. Merkle, A. Smolic, K. Müller, and T. Wiegand, "Efficient Prediction Structures for Multiview Video Coding," IEEE Trans. on Circuits and Systems for Video Technology, Nov. 2007.

[2] G. Tech, Y. Chen, K. Müller, J.-R. Ohm, A. Vetro, and Y.-K. Wang, "Overview of the Multiview and 3D Extensions of High Efficiency Video Coding", IEEE Transactions on Circuits and Systems for Video Technology, Vol. 26, Issue 1, pp. 35-49, Sept. 2015

[3] H. Schwarz, C. Bartnik, S. Bosse, H. Brust, T. Hinz, H. Lakshman, D. Marpe, P. Merkle, K. Müller, H. Rhee, G. Tech, M. Winken, and T. Wiegand, "3D Video Coding Using Advanced Prediction, Depth Modeling, and Encoder Control Methods", IEEE Intl. Conf. on Image Processing, Oct. 2012.

[4] JVET-G1001, 2017-08-01, Algorithm description of Joint Exploration Test Model 7 (JEM7) , J. Chen, E. Alshina, G. J. Sullivan, J.-R. Ohm, J. Boyce (editors)

[5] JVET-G0064, 2017-07-05, Stereoscopic 360 video compression with the next generation video codec,F. Henry, J. Jung, A. Ouach, B. Ray, P. Schwellenbach (Orange)

LEXIQUE

3DoF : Format immersif à 3 degrés de liberté, typiquement des rotations en vidéo 360

3DoF+ : 3DoF avec légères possibilités de translation

6DoF : Format immersif à 6 degrés de liberté (rotations et translations possibles)

Buffer d'images décodées : Images décodées stockées afin d'effectuer les prédictions temporelles et inter-vues

Frame packing: Technique consistant à assembler plusieurs vues en une image rectangulaire afin de les coder avec un codeur video 2D

FVC: Future Video Coding, la norme de codage ISO - ITU prevue fin 2020

HEVC: Norme de codage video sorite en 2013

MPEG-I: Ensemble de norms liées au futurs format video immersifs

MV-HEVC : Extension multivue de la norme HEVC

Projection : Traitement appliqué à une vidéo 360 afin de l'insérer dans un format vidéo 2D

contract

Post Doc