Senior Data Engineer - Ingénieur Data / Consultant Cloud Azure - CDI
CDI Marseille (Bouches-du-Rhône)
Description de l'offre
Contexte
Nous recherchons pour l'un de nos clients dans le domaine Maritime sur Marseille, un Data Engineer pour renforcer l'équipe Data au sein de la Direction des Opérations.
Le rôle est 100 % technique, orienté engineering, industrialisation et exploitation de la plateforme data Azure.
La plateforme data alimente les tableaux de bord du portail client, les API et les flux de données des clients (affréteurs et armateurs). Microsoft Fabric a été retenu comme socle de la plateforme et de notre nouveau produit, y compris pour des agents IA.
Les chantiers visent à :
Sécuriser les données par client, avec une isolation homogène de l’entrepôt aux API, issue d’une source de droits unique et testée en CI
Fiabiliser la donnée : sources approuvées, transformations versionnées, testées et auditables de bout en bout
Préparer l’IA : métadonnées obligatoires sur chaque modèle et exposition des données aux agents (API, MCP)
Réduire de moitié le coût de la plateforme, en décommissionnant les briques en fin de vie et en stockant les données en formats ouverts (Delta)
La migration se fait par vagues, sans rupture de service : les technologies historiques (SSIS, Analysis Services, SQL Managed Instance, ADF, couche ODS) restent en production au moins jusqu’à fin 2027.
Une approche Spec-Driven Development assistée par l’IA avec Claude Code est adoptée, inspirée du guide du SDLC fondé sur l’IA d’Anthropic : artefacts versionnés (intention, spécification, plan), CLAUDE.md, skills, hooks, sous-agents, CI comme premier relecteur et validation humaine avant la production. Une plateforme de développement agentique arrivera prochainement.
Missions
Concevoir et maintenir des pipelines de données industrialisés sur Azure (ADF, SSIS sous ADF, Azure Functions, Logic Apps)
Garantir la qualité, sécurité, performance et traçabilité des flux
Participer aux choix d’architecture data et à la modernisation ELT (transformations SQL, data quality, tests)
Mettre en place des tests de données (schéma, fraîcheur, cohérence, contrats)
Contribuer à l’industrialisation via CI/CD Azure DevOps (YAML)
Exploiter les environnements DEV / TEST / PROD et participer au support niveau 2/3
Produire et maintenir des modèles Power BI (classiques et paginés)
Automatiser l’exploitation via Azure Automation (PowerShell)
Développer les modèles dbt de l’architecture médaillon sur Fabric (Bronze → Silver → Gold, schémas en étoile), avec tests, documentation et métadonnées
Migrer la logique SSIS et legacy vers dbt, avec tests de parité avant chaque décommissionnement
Concevoir des pipelines d’ingestion fiables et supervisés (API, flux fournisseurs, bases applicatives, fichiers, données IoT et séries temporelles) avec ADF, Azure Functions et le mirroring Fabric
Mettre en œuvre l’isolation par client (RLS), les tests de données bloquants et la protection des données personnelles
Industrialiser : CI/CD Azure DevOps, Infrastructure as Code (Terraform), modèles sémantiques Power BI versionnés (TMDL), bonnes pratiques FinOps
Contribuer aux fonctionnalités IA du nouveau produit : exposition des données aux agents, assistants en langage naturel
Assurer le maintien en conditions opérationnelles du legacy jusqu’à son décommissionnement, ainsi que le support de niveau 2/3
Être moteur dans l’adoption du SDD avec Claude Code : écrire et faire vivre CLAUDE.md, skills, hooks et sous-agents, contribuer au déploiement de la plateforme agentique et accompagner l’équipe
Optionnel : contribution à des POC IA / automatisation
Outils & Environnement
Azure Data Factory (ADF), SSIS, Azure Functions (.NET / Python), Logic Apps
Azure DevOps CI/CD (YAML)
SQL Server / SQL Managed Instance, T-SQL avancé
Power BI (classiques, paginés, Embedded), modèles sémantiques Power BI versionnés (TMDL)
Azure Automation (PowerShell)
dbt (fort atout)
Microsoft Fabric (Warehouse, Lakehouse, OneLake, mirroring, Direct Lake)
Delta / ADLS
Python, Git, Terraform, Docker
Sécurité et FinOps Azure : Entra ID, identités managées, Key Vault, private endpoints, suivi et optimisation des coûts
IA : Claude Code (SDD, skills, hooks, MCP), Fabric data agents, Azure AI Foundry
Conditions de travail
Poste ouvert en Freelance et CDI
Localisation : Marseille
Télétravail possible 2 jours par semaine après une période d’intégration
Démarrage souhaité dès que possible
Profil recherché
Data engineer senior, à l’aise sur le legacy Microsoft comme sur la Modern Data Stack
Moteur et force de proposition, capable de faire adopter de nouvelles pratiques à l’équipe
Forte appétence pour le développement assisté par l’IA, avec un regard critique sur ce que produisent les agents
Culture DevOps (« everything as code »), exigence sur la qualité, la sécurité et les coûts
Pragmatique : capable de mener une migration progressive en équilibrant run et build
Anglais professionnel
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours