Data Engineer Big Data - Freelance
Freelance Paris (Paris)
Description de l'offre
Développement de Pipelines de Données :
o Concevoir, développer et optimiser des jobs Spark (Java) pour le traitement, la transformation et l'agrégation de grands volumes de données provenant de diverses sources.
o Implémenter des flux de données robustes et performants sur Cloudera.
o Utiliser HBase pour des besoins de stockages NoSQL rapides et l'accès à des données structurées/semi-structurées.
o Développer des requêtes SQL complexes sur HIVE/SPARK pour l'extraction, l'analyse et la validation des données.
2. Optimisation et Performance :
o Monitorer la performance des jobs Spark et identifier les goulots d'étranglement.
o Optimiser les requêtes SQL et les stratégies de lecture/écriture sur HDFS et HBase.
o Proposer et implémenter des solutions pour améliorer la scalabilité et l'efficacité de la plateforme.
3. Assurance Qualité et Déploiement (DevOps) :
o Écrire des tests unitaires et d'intégration pour garantir la qualité du code.
o Participer aux processus de Build et de déploiement via les outils CI/CD (Jenkins, XLD).
o Intégrer des outils d'analyse de code statique (SonarQube, Checkmarx) dans le cycle de développement.
o Gérer les dépendances et les versions avec Maven.
4. Collaboration et Documentation :
o Documenter le code, les architectures et les processus.
o Partager les bonnes pratiques et contribuer à l'amélioration continue de l'équipe.
Profil recherché
• Expérience : Minimum de 6 ans d'expérience en développement Big Data et/ou Data Engineering. Expérience significative dans le domaine financier, idéalement en gestion des risques de crédit.
• Compétences Techniques Indispensables :
o Apache Spark 3.x : Excellente maîtrise du développement, optimisation et scalabilité des applications Spark Java .
o Java 8 : Maîtrise approfondie pour développement Spark.
o Scala : Souhaitable .
o Stack Cloudera : Expérience avérée avec Hadoop (HDFS,Hive, HBase ..).
o SQL : Maîtrise indispensable pour l'exploitation et l'analyse des données.
o Devops : CI/CD, SonarQube, checkmarx, XLD.
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours