Stage Ingénieur concepteur big data / data gouvernance F/H

Description de l'offre

about the role

Cette mission est intégrée à l'un des volets du programme DIOD visant à suivre et à comprendre les flux de données au sein de l'écosystème DIOD (Data Gouvernance).  À cette fin, les équipes ont lancé le projet DATAPEDIA fin 2018 et lancé le développement d'une solution permettant de collecter des informations lorsque des ensembles de données sont chargés, traités et stockés dans DIOD et de les décrire de manière cohérente via une interface utilisateur. Disponible pour les propriétaires de données, les chefs de projet, les administrateurs DIOD. À ce stade du projet, l'équipe DATAPEDIA est disposée à définir comment interconnecter la solution Apache ATLAS de la suite HortonWorks avec l'interface utilisateur et à créer une solution de gestion de données intégrée.

La mission consiste à :

- Analyser les fonctions, la couverture, les possibilités du produit Apache ATLAS (métadonnées générées lors de l'injection des fichiers via des jeux de test et fournies dans les API disponibles),

- Mettre en place, en collaboration l'interface automatique pour alimenter l'interface utilisateur avec le jeu de métadonnées requis,

- Contribuer à la définition du processus de contrôle de données de bout en bout,

- Mise en place des règles et mécanismes de filtrage, transformation des métadonnées permettant de coller aux besoins de l'entreprise,

- Analyser l'extension éventuelle de ces mêmes règles et mécanismes sur les environnements ELK,

- Implémenter l'interface entre la solution Apache ATLAS (appelée "back-end") et l'interface utilisateur développée par l'équipe de Développements (appelée "front-end"),

-Etudier la documentation de l'API ATLAS, comprendre les concepts, développer vos compétences sur l'utilisation de l'API dans le contexte DATAPEDIA, vérifier / tester avec une API swagger, 

- Développer des micro-services en Java afin de faciliter l'interface avec le client,

- Manipuler des jeux de données avec les outils Hue, Hive, Hbase, Sqoop Big Data dans un environnement HDFS,

- Participer à la définition et au contrat d'interface entre ATLAS et le serveur DATAPEDIA,

- Définir les règles et mécanismes de filtrage, transformation nécessaires pour alimenter l'interface utilisateur,

- Analyser la capacité d'expansion sur un environnement technique ELK et Openshift. 

 

about you

Vous êtes en master 2 Ingénierie logicielle ou en dernière année d'école d'ingénieur dans une spécialité équivalente et recherchez un stage de 6 mois.

Vous disposez de compétences en ingénierie logicielle, vous maîtrisez Java. Le travail en équipe est essentiel pour vous et vous savez communiquer.

Vous avez une bonne connaissance dans les technologies BI  et  Big Data Vous maîtriser l'anglais technique.

Vous êtes autonome et avez la culture du résultat ... rejoignez-nous !

department

Au sein de la chaîne de l'Innovation, Orange Labs Services a pour missions pour les systèmes d'information et les services, de développer la valeur de l'IT pour les pays en élaborant la stratégie du domaine et en assurant sa gouvernance, de produire efficacement en recherche, anticipation et delivery les innovations génératrices de business pour le groupe, de garantir l'adaptation des compétences aux enjeux à moyen terme et d'être proactive dans le développement de la culture software du groupe.

Partageons cette ambition d'anticiper, délivrer, et accompagner les pays pour innover ensemble dans un état d'esprit « start-up », positif, constructif, d'ouverture et d'audace.

Chacun de nos projets, chacun de nos chantiers doit être motivé par la recherche de création de valeur et de l'excellence dans l'expérience client.

contract

Stage

Duration : 6 mois

Level : Bac+5, Bac+4