Stage - Analyse qualité réseau sur big data (H/F) - 16000007EF

Job description

Selon vos compétences et votre intérêt, et sous la responsabilité du tuteur, le sujet du stage pourra porter sur :

• Le portage d’une application de requêtage Spark vers une architecture de type micro-services déployés comme un ensemble de containers sur infrastructure Docker/Kubernetes. Les problématiques à adresser couvrent la distribution de charge élastique en mode multiutilisateur, la résilience, la sécurité ainsi que la mise à jour à chaud des micro-services. Environnement technique : Java, tomcat, Spark, Hadoop, Docker, Kubernetes, Linux.
• Vous explorerez en particulier les possibilités offertes par Spark afin d’améliorer l’exécution des requêtes applicatives. L’exécution des requêtes doit tenir compte de metadata décrivant les schémas de stockage des données ainsi que les calculs arithmétiques à effectuer. Dans ce contexte, le service de requêtes devra pouvoir prendre en compte dynamiquement les changements de metadata qui ont cours durant la vie d’une release du produit. Plusieurs approches devront être envisagées dont la génération de code à la volée ou encore l’utilisation d’interpréteur. Un benchmark devra être mis en œuvre afin d’évaluer la performance des différentes techniques. Environnement technique : Java, Spark, Hadoop HDFS/YARN, Linux,
• Vous explorerez en particulier un certain nombre de techniques de stockage dont les formats de type binaire. Vous étudiez conjointement des schémas de données optimisés afin de réduire les temps d’accès en lecture. Un benchmark devra être mis en œuvre afin d’évaluer l’efficacité des différentes techniques. Environnement technique : Java, Spark, Hadoop HDFS/YARN, Formats de stockage binaire/colonne (Ex. Parquet, Avro, …), Linux.
• Vous explorerez en particulier un certain nombre de techniques d’indexation dans le but d’accélérer les temps de réponse d’une application de requêtage Spark sur HDFS. Vous étudiez les possibilités offertes en la matière par Apache Solr et Elasticsearch. Un benchmark devra être mis en œuvre afin d’évaluer l’efficacité des différentes options techniques. Environnement technique : Java, Spark, Hadoop HDFS/YARN, Solr, Linux.


Compétences à acquérir ou à développer lors du stage ou de la période en milieu professionnel:

Le stagiaire développera ses compétences de développement logiciel dans le cadre de « big data » et de « data analytics » sur un projet concret pour cible industrielle.

Desired profile

Anglais Requis
Développement logiciel en JAVA sur Linux
Connaissance de l'environnement Web avec Apache Tomcat
Connaissance des technologies Big Data: Spark, Hadoop, Docker, Kubernetes

About Alcatel-Lucent

Nokia est un leader mondial dans la conception de technologies au cœur de notre monde connecté. Forts des capacités de recherche et d’innovation des Nokia Bell Labs, nous mettons à disposition des fournisseurs de services de communication, gouvernements, grandes entreprises et utilisateurs finaux, le portefeuille de produits, services et licences le plus complet du marché.

Du déploiement d’infrastructures pour la 5G, de l’Internet des Objets, aux applications émergentes dans les domaines de la réalité virtuelle et de la santé numérique, nous façonnons l’avenir des technologies afin de transformer l’expérience humaine. www.nokia.com.