Data Engineer Senior – Databricks / AWS - Freelance
Freelance Paris (Paris)
Description de l'offre
Contexte de la mission
Dans le cadre d'une réorganisation majeure à l'échelle du Groupe, notre client met en place un Centre d'Expertise (Center of Excellence – COE) dédié aux plateformes Data. L'objectif est de répondre aux besoins des différentes Business Units tout en garantissant une gouvernance et une standardisation des pratiques à l'échelle du Groupe.
La mission s'inscrit dans un contexte d'urgence opérationnelle visant à sécuriser les plateformes Data existantes, industrialiser les environnements Databricks et diffuser les bonnes pratiques en matière de Data Engineering et de sécurité.
Environnement de travail
Localisation : Paris
Temps plein
Date de démarrage : ASAP
Détails de la mission
Missions principales
Objectifs
Participer à l'industrialisation et à l'amélioration du Blueprint Data Groupe.
Contribuer à la standardisation des plateformes Databricks et des architectures Data.
Accompagner les équipes dans l'adoption des bonnes pratiques de développement, de sécurité et de gouvernance Data.
Garantir la performance, la scalabilité et l'optimisation des coûts des traitements.
Finalités
Renforcer et sécuriser les plateformes Data du Groupe.
Déployer des architectures robustes et standardisées sur des environnements multi-cloud.
Accompagner les initiatives autour de l'IA et de la GenAI à grande échelle.
Attributions
Tâches & activités principales
Développer et faire évoluer des pipelines Data sur Databricks.
Configurer et administrer les environnements Databricks en architecture multi-cloud (AWS principalement, Azure également).
Mettre en place et gérer les ressources d'infrastructure (VPC, Subnets, Private Links, stockage et compute).
Concevoir et optimiser les flux d'ingestion de données structurées, non structurées et streaming.
Traiter de très gros volumes de données (notamment des séries temporelles).
Optimiser les performances techniques et les coûts d'exploitation.
Participer aux projets autour de l'IA et de la GenAI, notamment le déploiement d'agents à grande échelle.
Diffuser les bonnes pratiques Data et Sécurité auprès des différentes entités du Groupe.
Livrables attendus
Pipelines Data industrialisés et documentés.
Évolutions du Blueprint Data Groupe.
Configurations et architectures Databricks standardisées.
Documentation technique et bonnes pratiques.
Optimisations de performance et de coûts.
Profil recherché
Compétences techniques
Indispensable : Databricks (critère prioritaire).
Indispensable : AWS.
Bonne connaissance des architectures Data Lake et des traitements Big Data.
Expérience des environnements multi-cloud (AWS / Azure).
Maîtrise des problématiques d'ingestion, transformation et exposition de données.
Expérience sur des environnements à forte volumétrie.
Expérience
Idéalement 5 à 10 ans d'expérience en Data Engineering.
Compétences comportementales
Excellent savoir-être et capacité à travailler dans un environnement transverse.
Bon niveau d'anglais professionnel.
Esprit d'équipe, autonomie et capacité à promouvoir les bonnes pratiques.
Contexte technique
Environ 20 comptes Databricks et 50 workspaces.
Environ 5 Po de données stockées et pilotées, notamment via Amazon S3.
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours