Description de l'offre

Taux journalier (TJM): 500

Data Engineer Senior

Description du poste

Le prestataire devra :

• Concevoir, développer et optimiser des pipelines de données à grande échelle


• Mettre en œuvre des flux batch, streaming et ingestion via API


• Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold)


• Développer et industrialiser les pipelines via DBT Spark et Iceberg


• Contribuer à l'évolution de l'architecture Lakehouse

Livrables

• Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent)


• Orchestrer les workflows ETL / ELT via Airflow


• Mettre en œuvre l'Infrastructure as Code (Terraform)


• Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes)


• Garantir la disponibilité, la supervision et l'observabilité des traitements


• Participer à la gestion des incidents et à l'amélioration continue


• Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés)


• Documenter les architectures, pipelines et règles métier


• Garantir la conformité des flux, notamment dans le cadre RGPD

Compétences requises

• 8 années minimum d'expérience en Data Engineering


• Une maîtrise avancée des architectures Big Data et Lakehouse


• Expertise sur Spark, DBT, Iceberg, AWS et Terraform


• Maîtrise des services AWS (Glue, EMR, S3, ...)


• Connaissance de Trino / Starburst


• Une forte capacité d'analyse et de compréhension des enjeux métiers


• Une aptitude démontrée à accompagner et encadrer des profils juniors


• Rigueur, autonomie et culture de l'amélioration continue

Compétences clés obligatoires

• Développement Spark


• AWS


• Outils de modélisation data


• Python


• Big Data

Profil recherché

8 années minimum d'expérience en Data Engineering avec une maîtrise avancée des architectures Big Data et Lakehouse. Expertise requise sur Spark, DBT, Iceberg, AWS et Terraform, ainsi que maîtrise des services AWS (Glue, EMR, S3). Connaissance de Trino / Starburst. Forte capacité d'analyse et de compréhension des enjeux métiers, aptitude démontrée à accompagner et encadrer des profils juniors. Rigueur, autonomie et culture de l'amélioration continue. Compétences clés obligatoires : développement Spark, AWS, outils de modélisation data, Python et Big Data.

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours