Ingenier R&D Optimisations de Spark H/F

Description de l'offre

Company Information

Atos SE (Société Européenne), est un leader de services numériques avec un chiffre d'affaires annuel pro forma de l'ordre 12 milliards d'euros et environ 100 000 collaborateurs dans 72 pays. Atos fournit à ses clients du monde entier des services de conseil et d'intégration de systèmes, d'infogérance, de Big Data et de Sécurité, d'opérations Cloud et des services transactionnels par l'intermédiaire de Worldline, le leader européen des services de paiement. Grâce à son expertise technologique et sa connaissance sectorielle pointue, Atos sert des clients dans différents secteurs : Défense, Services financiers, Santé, Industrie, Médias, Services aux collectivités, Secteur Public, Distribution, Télécoms, et Transports.

Atos déploie les technologies qui accélèrent le développement de ses clients et les aident à réaliser leur vision de l'entreprise du futur. Atos est le partenaire informatique mondial des Jeux Olympiques et Paralympiques. Le Groupe est coté sur le marché Euronext Paris et exerce ses activités sous les marques Atos, Bull, Canopy, Worldline, Atos Consulting, Atos Worldgrid et Unify.

Pour plus d'informations : www.atos.net

Job Description

Apache Sparkest un projet open source de développement d'un moteur d'analyse multifonction adapté au traitement rapide de gros volumes de données. Il s'appuie sur une technologie de traitement distribuée en mémoire est écrit dans le langage Java. Spark, considéré comme le hadoop de 3 ième génération, est aujourd'hui le framework BigData le plus utilisé et bénéficie d'une communauté très importante. L'architecture interne de Spark s'appuie sur une approche classique Maître/Esclaves avec une communication basée sur TCP/IP.

MPI est une norme de communication par passage de messages entre composants logiciels hébergés sur des nœuds physiques ou virtuels distants. Cette technologie est très répandue dans le domaine du HPC (High Performance Computing) car elle offre de bonnes performances et est disponible sur de nombreux matériels. En particulier MPI est disponible sur les réseaux à faible latence communément appelé interconnect et utilisé dans les grands calculateurs. Par exemple on trouve des implantations sur Verbs/Infiniband.

ATOS/Bull développe sa propre technologie réseau d'interconnect dénommée « Bull eXascale Interconnect (BXI)» et fournit également un support de MPI basé sur la bibliothèque de communication Portals4.

ATOS BDS R&D développe, en méthode agile (SCRUM), des accélérateurs matériels & logiciels pour les applications BigData.

Mission

Le stage consiste à prototype un développement d'adaptation de Spark sur le réseau haute performance BXI en s'appuyant sur MPI.

Plus précisément, le candidat sera amené à :

-Monter en compétence sur le projet open source Spark et son architecture interne

-Monter en compétences sur MPI

-Développer un prototype d'adaptation de Spark sur MPI

-Evaluer les performances sur un réseau BXI

-Fournir une synthèse des résultats avec les avantages & inconvénients

Profil recherché

Job Requirements

Actuellement en dernier année du cycle de formation ingénieur (Ingénieur, Master, ...), vous avez des compétences en développement Java/C/C++, réseau et intégration continue. Vous maîtrisez les environnements Linux.Des compétences sur Spark et MPI seraient un plus.

Vous possédez un bon niveau d'anglais.

Vous faîtes preuve de curiosité, d'autonomieet d'une capacité à finaliser un projet. Par ailleurs, vous êtes reconnus pour votre aptitude à travailler en équipe.

Venez exprimer tout votre potentiel en rejoignant la communauté Atos !

More Info...

stage-retd-xbd-2017-spark-interconnect.docxstage-retd-xbd-2017-spark-interconnect.docx