Ingénieur Système Hadoop H/F

Description de l'offre

Au sein de SILCA (filiale du groupe Crédit Agricole SA dédiée à la production informatique), dans un contexte multi domaines/Clients (banque de détail, assurances, banque de marchés, asset management, etc.), vous êtes rattaché à la Direction des Opérations. Dans le cadre des programmes de transformation digitale du Groupe, vous renforcerez les activités Big Data de SILCA en vous chargeant :
- D'administrer et d'exploiter les clusters Hadoop et les environnements Big Data mis à disposition de nos Clients ;
- D'assurer les prestations de conseil, d'expertise et de support autour de ces technologies auprès de nos Clients ;
- Contribuer au développement de nouveaux services à valeur ajoutée pour nos Clients.
Pour cela, vous êtes à même de :
- Automatiser les déploiements des socles techniques et applicatifs Hadoop (ainsi que les applicatifs de son éco système) ;
- Définir et implémenter les règles de gestion, d'optimisation et de sécurité sur ces socles/clusters ;
- Assurer le support technique des socles gérés, notamment en analysant et résolvant des incidents ou problèmes, en mettant en œuvre des changements et en suivant les performances/évolutions des clusters ;
- Participer/Conseiller à la conception des nouvelles solutions techniques : choix technologiques, définition des architectures cibles, mise en œuvre (ex : supervision et suivi des performances des clusters) ;
- Etre à l'écoute du marché pour assurer l'évolution des outils (veille technologique) et force de propositions sur les nouvelles orientations à prendre ;
- Définir/Rédiger les procédures d'exploitation et documents d'architecture, en veillant au respect des normes existantes ;
- Alimenter et veiller à la cohérence des référentiels techniques ;
- Accompagner/Conseiller les Clients dans leurs choix technologiques en fonction de besoins/cas d'usage exprimés.
Contexte technique:Sur notre plateforme « BigData as a Service », vous assurerez l'administration et l'industrialisation des socles techniques des environnements Big Data suivants…
- MAPR dans un premier temps, et par la suite potentiellement HP Vertica, Cassandra, MongoDB, etc.…ainsi que les applications de l'éco système HADOOP du type
- RStudio, Spark, Impala, Hbase, elasticsearch, etc.…mais également vous êtes contributeur dans la mise en place et l'exploitation d'une chaîne complète de traitement des données
- ETL (Talend), data visualisation (ClickView) par exemple. Les clusters Big Data sont mis à disposition sur un Cloud Openstack s'appuyant sur la technologie de stockage Ceph.
Pour l'industrialisation des activités, vous vous appuierez sur des solutions du type Ansible, Rundeck par exemple.

Profil recherché

Une première expérience sur le déploiement et l'administration de distribution Hadoop est nécessaire (stage, alternance...).Une expérience sur la mise en place de datalake et intégration de sources type Open data et l'utilisation d'ETL (ex Talend) et data visualisation (ex : Clickview/Tableau).Une expérience des pratiques DevOps, des méthodes Agiles, connaissance de Jenkis serait un plus
Compétences métiers :
- Connaissance du framework Hadoop (la connaissance de MapR est un plus) ;
- Compétences en environnement Linux et connaissances des technologies/développements JEE et des systèmes Open ;
- Connaissances de solutions d'industrialisation et d'automatisation des déploiements (Ansible, orchestration, etc.) et notamment maitrise des divers langages de scripting (Python, shell) ou plus orientés développement (javascript, SQL) ;
- Connaissances dans les technologies Cloud (Openstack, Ceph).Compétences comportementales : Curiosité, force de propositions, capacités relationnelles, travail en équipe, réactivité, sens du service et respect des engagements.