Comprendre automatiquement l’activité humaine se déroulant dans un flux vidéo est l’un des principaux challenges actuels de la vision par ordinateur. Bien que le sujet soit abordé depuis longtemps, les applications qui en résultent ne se limitent qu’à des contextes bien particuliers avec des gestes bien particuliers. L’un des prérequis à cette analyse est bien souvent l’extraction d’une information de type posture des personnes présentes de la scène, afin d’avoir une représentation beaucoup plus compacte de l’état des personnes à un instant t. C’est d’ailleurs lorsque ce type d’information a pu être extrait de manière fiable, notamment avec des capteurs tel que la Kinect, que de nettes avancées ont pu être réalisées. Les progrès notables de ces dernières années, ont notamment été réalisé pour l’estimation de squelette 2D à partir d’images RGB uniquement mais aussi pour l’estimation de squelette 3D à partir d’image RGB. Sur ce dernier point l’estimation de squelette 3D souffre encore de nombreux problèmes, tel que la robustesse face au pose inhabituelle, la robustesse dans des conditions « in the wild », c’est-à-dire dans des environnements quelconques et variés, la gestion du multi personne, etc.

L’objectif du stage sera donc de s’attaquer à ces faiblesses en s’articulant autour de deux phases. La première consistera à mettre en place une plateforme d’acquisition basée sur des capteurs de type Kinect ou de « Motion Capture », permettant d’annoter facilement les images en mimant les postures 3D de personnes issues d’images « in the wild » qui ne sont pour le moment annotées qu’en 2D (COCO keypoint, MPII 2D dataset, etc). La seconde phase, consistera à exploiter ces données générées pour l’estimation de squelettes 3D sur ces images à l’aide de réseau de neurones convolutionnels qu’il faudra définir durant le stage.