Data engineer H/F (Digital And Data Engineering/Data)

Description de l'offre

Filière/Métier : Digital And Data Engineering/Data

Contrat : CDI

Description du poste :

Au sein de la DSI, le Data engineer est en étroite relation avec les directions métiers, il définit, construit et industrialise des solutions mettant en œuvre une masse importante de données tout en garantissant la sécurité de celles-ci. Il met en place la collecte, le stockage et l'exploitation de ces données pour les besoins des datascientist ou des applications de reporting ou de BI demandées par les directions métiers de l'entreprise. C'est le premier acteur de la chaine de traitement de la data. Il travaille en collaboration avec les développeurs, les datascientists et les experts des différents métiers de l'entreprise.
Principales actions :
- Il met en place des architectures BigData efficientes pour rendre exploitable la donnée et répondre aux besoins des différents projets
- Il collabore avec les data scientist pour concevoir et industrialiser les modèles (mise à disposition de donnée, qualité, restitution des résultats)
- Il met à disposition des data analyst des données prétraitées ou mises en forme
- Il industrialise, automatise les flux d'alimentation de données
- Il assure le niveau de performance du traitement des données en fonction des exigences métier (batch ou temps réel) et leur intégrité.
- Il document les chaines de traitement (data lineage)
- Il assure une veille technologique régulière sur les nouveautés des infrastructures Big Data
- Il est force de proposition sur les solutions proposées


-Bac +5 Ecole d'ingénieur, master en Informatique, 1 ou 2 ans d'expérience dans le Big data ou le traitement des données (ETL, BI, …)
- Bonnes compétences en programmation python
- Utilisation de notebooks (Jupyter)
- Connaissance en SQL et NoSQL (Oracle, Hbase, Cassandra, MongoDB)
- Sensibilité à l'approche DevOps
- Maitrise de git et des concepts généraux du versionning (Git, Github)
- Maitrise des architectures distribuées, et du fonctionnement de l'environnement BigData (Hadoop, Spark, Hive, Pig, Impala)
- Connaissance de technologies temps réel (Spark Streaming, Kafka)
- Utilisation des plateformes Unix, maitrise du shell
- Capacité à communiquer avec les équipes métiers et à analyser les besoins
- Anglais courant (le groupe est international)

Ville : Poissy

Langue / Niveau :

Anglais : C1 - Courant (3,5 - 4,4 Bright)