Senior Data Engineer Big Data - Freelance
Freelance Paris (Paris)
Description de l'offre
Contexte
Dans le cadre de son plan de transformation Data, un grand groupe média poursuit un objectif central : développer des applications Data permettant aux directions métiers (pilotage, marketing, commerce, etc.) de gagner en autonomie dans l'analyse de leurs données et le suivi de leurs KPI mais aussi de mettre en place des applications customer-facing.
Pour répondre à cet enjeu, ce groupe s'appuie sur un écosystème technologique étendu, comprenant notamment : AWS, GitLab, Terraform, DBT, Snowflake, GenAI, Braze, Scala, Spark, Python, Power BI, ainsi que des briques d'Intelligence Artificielle.
La plateforme repose sur des architectures robustes et évolutives (Datalake, Lakehouse, des architectures multi-tenant, des architectures event-driven et streaming) conçues pour ingérer et gérer plus de 100 To de données par jour, dont une part majoritaire en temps réel.
Les cas d'usage couverts sont variés, parmi lesquels :
IA pour recommandation des programmes et des offres
Plateforme agentique customer-facing
Gender Equality Monitoring
Feature Store
Modernisation des flux financiers
Content Platform
Mise en place Kubernetes
Plateforme pour le traitement des données CRM et usage
Partager des informations sur les clients à des partenaires
Piloter plus efficacement l'activité des marchés professionnels
Mettre à disposition des applications de data-selfservice
Le consultant aura pour mission de réaliser des développements avancés sur le socle des données Big Data pour la mise en place des usecases IA. Cet environnement Big Data, fortement orienté Streaming et IA, traite quotidiennement plus de 100 To de données.
Le consultant doit maîtriser les architectures de Streaming Data, AWS (notamment Lambda, Batch, Step Function, EMR Serverless, Kinesis Stream, S3, Firehose, DynamoDB, etc.), Airflow, Scala, Spark, SQL, Snowflake, GitLab CI/CD, Terraform.
Missions
Concevoir et développer des pipelines de données performants
Développer en utilisant des outils tels que Scala, DBT et Spark
Implémenter des architectures de Streaming Data robustes
Contribuer activement aux initiatives FinOps
Développer et optimiser des traitements d'intégration de données en streaming
Participer activement à l'évolution continue de la plateforme IA
Outils & Environnement
AWS (Lambda, Step Function, Kinesis Stream, S3, Batch, Firehose, EMR Serverless, DynamoDB)
Scala, Spark, Python
Snowflake, DBT
Airflow
GitLab CI/CD
Terraform
Méthodes Agiles (Scrum, Kanban)
Conditions de travail
Durée : longue durée
Début : ASAP
Environnement de travail combinant rigueur et ambiance décontractée au sein des équipes
Rejoignez une équipe dynamique où innovation et expertise se rencontrent !
Profil recherché
- Vous justifiez d’une expérience de 7 ans minimum dans un environnement similaire
- Vous maîtrisez AWS, Airflow, MLFlow, GitLab CI/CD et Terraform
- Vous êtes fluent en Python, Scala et Spark
- Vous disposez d'une bonne culture en Data Science et en IA générative (une familiarité avec ces domaines est attendue, sans nécessité d'en être expert)
- Vous aimez les challenges techniques et êtes motivé par les environnements exigeants
- Vous êtes expert dans le développement de solution d'intégration de données
- Vous parlez Anglais couramment
- Vous connaissez et maîtrisez les outils JIRA et les méthodes « agiles »
- Autonome, ouvert d’esprit et bon communiquant, vous disposez d’une grande curiosité scientifique
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours