Data Engineer Databricks - CDI
CDI Paris (Paris)
Description de l'offre
Contexte
Une équipe centralisée gère la plateforme mais de nombreuses équipes (Feature Team organisées par domaine de données) travaillent sur la Data Platform. Toutes les équipes fonctionnent en mode agile.
Missions
Conception, développement et maintenance des pipelines de données
Cadrage technique
Garantir la mise en production des traitements au sein de la plateforme
Optimisation du code pour chaque traitement, maîtrise de l'usage Databricks au regard des coûts
Maîtrise de l'architecture médaillon de Databricks, des problématiques de qualité de données, du DevOps
Développement sous Databricks (Python / SQL / Spark)
Être force de propositions techniques
Capacité à encadrer / coacher des data engineers juniors, challenger la solution et assurer un rôle de tech lead dans l'équipe
Compétences
Anglais de bon niveau
Connaissance Cloud AWS (confirmé, 3 à 5 ans d'expérience)
Expérience Data Engineer sur pipeline données (senior, 8 à 10 ans d'expérience)
Maîtrise Databricks (confirmé, 3 à 5 ans d'expérience)
Python + SQL + Spark (senior, 8 à 10 ans d'expérience)
Profil recherché
- 8 à 10 ans d'expérience en tant que Data Engineer sur pipeline de données
- Maîtrise de Databricks
- Compétences en Python, SQL et Spark
- Connaissance du Cloud AWS
- Anglais de bon niveau
- Capacité à encadrer et coacher des data engineers juniors
- Capacité à challenger les solutions techniques et assurer un rôle de tech lead
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours