Data Engineer Senior – Azure / Python - Freelance

Description de l'offre

Taux journalier (TJM): 670

Missions principales

Ingénierie & Développement

• Concevoir et développer des pipelines de données robustes et performants

• Construire des flux de traitement de données temps réel via Azure Event Hub

• Développer des pipelines batch exploitant les données issues d’Azure Data Lake

• Participer à la conception d’architectures data scalables et maintenables

• Implémenter les traitements de transformation et contextualisation des données en Python

• Garantir la qualité du code via les bonnes pratiques Clean Code, peer-review et tests automatisés

Industrialisation & Performance

• Mettre en place les mécanismes d’observabilité (monitoring, alerting, logging)

• Optimiser les performances des traitements et les coûts d’infrastructure (FinOps)

• Assurer la sécurité, la conformité et la gouvernance des données

• Participer à l’amélioration continue des pipelines et plateformes data

Collaboration & Expertise

• Traduire les besoins métiers en solutions techniques

• Participer activement aux cérémonies Agile

• Apporter une expertise technique lors des phases de conception

• Résoudre les incidents de production et mettre en œuvre des actions préventives

• Contribuer aux échanges techniques transverses et au partage de bonnes pratiques au sein des Chapters

Environnement technique

Cloud & Data Platform

• Microsoft Azure

• Azure Functions

• Azure Data Lake Storage Gen2 (ADLS)

• Azure Event Hub

• Azure Container Instances

• Azure Databricks

Développement & Data Engineering

• Python avancé

• Pandas

• SQL

• Traitements temps réel et batch

• Data transformation & contextualisation

Qualité & DevOps

• Git / GitHub

• Pytest

• Ruff / Black

• CI/CD

• Monitoring & observabilité

Méthodologie

• Agile / Scrum

• Peer review

• Clean Code

• Domain Driven Design (DDD)

Localisation

• Paris

• Présence sur site obligatoire : 3 jours/semaine

• Télétravail : 2 jours/semaine

Profil recherché

Expérience

• Minimum 5 à 8 ans d’expérience en Data Engineering

• Expérience significative sur des environnements Cloud Azure

• Expérience en conception et industrialisation de pipelines de données complexes

• Expérience en environnement Agile à l’échelle

Compétences techniques indispensables

Cloud Azure

• Maîtrise des services Azure Data :

  • Azure Functions

  • Azure Data Lake Storage Gen2

  • Azure Event Hub

  • Azure Container Instances

  • Azure Databricks

• Bonne compréhension des architectures cloud data orientées scalabilité et performance

Data Engineering

• Excellente maîtrise de Python

• Très bonne maîtrise de Pandas

• Solides compétences SQL

• Expérience des traitements :

  • Near Real Time

  • Batch

  • Streaming

• Construction de pipelines de données industrialisés

Bases de données

• Maîtrise des bases relationnelles

• Bonne connaissance des bases NoSQL

Qualité logicielle

• Mise en œuvre de tests automatisés avec Pytest

• Utilisation des outils de linting et formatting (Ruff, Black)

• Pratique du Clean Code et des revues de code

• Sensibilité DevOps et observabilité

Compétences appréciées

• Connaissances en Data Science

• Expérience FinOps

• Connaissance des problématiques de gouvernance et sécurité des données

• Expérience sur des plateformes data industrielles à fort volume

Soft Skills

• Excellente communication avec les équipes métiers et techniques

• Forte capacité d’analyse et de résolution de problèmes

• Esprit d’équipe et collaboration transverse

• Autonomie et proactivité

• Capacité à évoluer dans un environnement exigeant et international

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours