Architecte Data Engineering Microsoft Fabric senior - Freelance
Freelance Paris (Paris)
Description de l'offre
Contexte
La banque est organisée en cinq lignes métier : Corporate Banking, Banque des professions réglementées, Wealth Management, Corporate & Investment Banking, Correspondent Banking. Son équipe Data BI Analytique compte 9 personnes rattachées au Head of Data (product manager, analytics engineers, data engineers, data analysts) et développe avec des agents (Claude Code, Copilot).
La plateforme tourne en production depuis un an sur Microsoft Fabric. Elle alimente le reporting (PNB, cockpits métiers, qualité des données) et les projets réglementaires. L’équipe veut fiabiliser ce socle avant d’y adosser l’ontologie Fabric IQ et des agents IA.
Environnement
Fabric : OneLake, Lakehouse, Spark / PySpark, SQL endpoint, Direct Lake, capacité dédiée
Architecture médaillon Bronze / Silver / Gold, chaîne _ops
Environ 180 pipelines, 600 notebooks, un package Python partagé
Formats Delta Lake et Parquet
Sources : core banking SAB, Salesforce, via une couche API temps réel et le DataHub Fabric
Sécurité : Entra ID, rôles Fabric, RLS / OLS, RBAC Azure
Restitution : Power BI, applications HTML interactives
Missions
L’expert audite et optimise le socle sur trois volets. Chacun est mesuré avant et après, puis transmis à l’équipe (documentation, bonnes pratiques, atelier de restitution). Il se concentre sur les traitements les plus coûteux plutôt que de tout passer en revue.
Sécurité et habilitations
Revue des workspaces, rôles, groupes Entra ID, partages, RLS / OLS, étiquettes de confidentialité, paramètres de tenant, identités, shortcuts, private endpoints
Cartographie des accès, rapport d’écarts priorisé, matrice cible des habilitations, matrice Fabric / RBAC Azure
Plan de remédiation, standard de nommage, procédure de recertification
Gouvernance des accès via OneLake Catalog et OneLake Security, architecture d’anonymisation hors production
Socle de développement
Inventaire des formats par couche et doctrine Delta / Parquet, avec grille de décision et plan de convergence
Diagnostic et optimisation des alimentations quotidiennes de plus de 30 minutes
Performance, coût et durabilité
Audit des jobs les plus coûteux : pools Spark, exécuteurs, autoscale, partitions, shuffle, AQE, petits fichiers
Doctrine de partitionnement, politique de rétention, plan de maintenance OPTIMIZE / VACUUM
Revue de code (anti-patterns, tests, documentation), quick wins chiffrés, refactoring de jobs pilotes
Préparation des tables pour Direct Lake
Compétences attendues
Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines, environnements, gestion de capacité. Certification DP-600 ou DP-700 appréciée
Azure : Entra ID, RBAC, Key Vault, stockage, private endpoints
Ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD, revue de code
Data : architecture médaillon, modélisation, qualité des données, modèles sémantiques Power BI
Pratiques IA : usage courant de Claude Code ou Copilot
Métier : contexte bancaire et données comptables appréciés, connaissance de SAB en plus
Profil
8 ans et plus en data engineering ou architecture data, avec un déploiement Fabric mené en production.
Profil recherché
- 8 ans et plus en data engineering ou architecture data
- Expérience avec un déploiement Fabric mené en production
- Compétences en Microsoft Fabric : Lakehouse, OneLake, Spark / PySpark, Delta Lake, SQL endpoint, Direct Lake, pipelines, environnements, gestion de capacité
- Certification DP-600 ou DP-700 appréciée
- Connaissances en Azure : Entra ID, RBAC, Key Vault, stockage, private endpoints
- Maîtrise de l'ingénierie logicielle : Python packagé (wheel), tests automatisés, Git, CI/CD, revue de code
- Compétences en data : architecture médaillon, modélisation, qualité des données, modèles sémantiques Power BI
- Pratiques IA : usage courant de Claude Code ou Copilot
- Connaissance du contexte bancaire et des données comptables appréciées, connaissance de SAB en plus
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours