Senior Data Engineer Spark Scala/Python - Freelance

Description de l'offre

Contexte

Nous recherchons un Développeur Data pour renforcer notre équipe Produit et porter l'excellence technique de la Marketplace.

Missions

• Développer des flux de données avec des composants AWS.

• Produire des processus de data quality.

• Garantir la qualité technique des flows et la performance de l'application face à des volumes de données complexes.

• Travailler étroitement avec le Product Owner et les autres membres de l'équipe data pour implémenter des solutions répondant aux demandes business.

Responsabilités

• Développer et maintenir des fonctionnalités complexes en Python et Scala.

• Garantir la fidélité de l'implémentation vis-à-vis des demandes et des micro-interactions.

• Concevoir et faire évoluer une architecture back-end modulaire et scalable (composants réutilisables).

• Assurer la gestion et l'optimisation des flux de données.

• Optimiser les performances des ingestions (temps de chargement, qualité, retry).

• Collaborer activement aux rituels agiles et aux revues de code pour garantir la qualité et la maintenabilité.

• Documenter les choix techniques et l'architecture.

Compétences requises

• Connaissance dans la mise en place de workflow data incluant plusieurs couches et des contrôles de données.

• Excellente maîtrise des services AWS (Lambda, Glue, Redshift, StepFunction, DynamoDB) ainsi que certains services Azure (Azure Function, CosmosDB...).

• Expérience solide en développement Python et Scala.

• Une connaissance des frameworks Langchain ou Langgraph serait un plus.

• Maîtrise de certains outils de streaming : Kafka, Kinesis, EventHub, EventGrid.

• Capacité à consommer et à challenger des API REST complexes.

• Connaissance des outils de tests.

• Maîtrise de Git et des workflows CI/CD.

• Capacité à évoluer dans un environnement international.

Profil recherché

1. Minimum 8 ans d'expérience en développement data, avec une spécialisation forte SPARK scala et Python

2. Capacité à comprendre des enjeux métiers et à les traduire en solutions techniques élégantes

3. Rigueur, sens du détail et exigence sur la qualité du code (Clean Code)

4. Esprit d'équipe, force de proposition et autonomie

5. Anglais opérationnel (oral)

6. Disponibilité : Temps plein (Full time)

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours