Data Engineer Senior - Freelance
Freelance Paris (Paris)
Description de l'offre
Taux journalier (TJM): 700
Bonjour, Dans le cadre de ses projets clients, Visian est à la recherche d'un Data Engineer Senior afin de participer à la conception et au développement d’une nouvelle architecture orientée Lakehouse.
Vous interviendrez sur la collecte, la transformation, le stockage et la mise à disposition de données structurées à destination notamment d’équipes métier et analytiques.
Vos missions
Participer à la conception de l’architecture Data cible et à l’organisation d’un Lakehouse.
Concevoir et développer des pipelines de collecte et de transformation de données.
Développer les traitements en Python, Spark / PySpark et SQL.
Mettre en place les mécanismes de stockage et d’exposition des données.
Participer à l’intégration de données provenant de différentes sources.
Concevoir des jeux de données structurés à destination des équipes métier et marketing.
Participer à la mise à disposition de données pour les outils de reporting et de DataViz.
Mettre en place l’ordonnancement et le suivi des traitements.
Développer des tests unitaires afin de sécuriser les traitements.
Mettre en place les contrôles nécessaires au suivi de la qualité et de la bonne exécution des pipelines.
Participer à la maintenance corrective et évolutive des solutions développées.
Documenter les développements, flux et architectures mis en place.
Accompagner les équipes MOA et utilisateurs lors des phases de recette.
Estimer les charges et assurer le suivi de l’avancement des développements.
Collaborer avec les équipes transverses sur les problématiques d’architecture et d’intégration.
Contribuer à l’amélioration continue des pratiques de développement et d’industrialisation.
Data Science & Intelligence Artificielle
Vous serez également amené(e) à intervenir ponctuellement sur des sujets de valorisation avancée de la donnée :
Utilisation de Machine Learning appliqué aux données.
Feature engineering et préparation des données.
Utilisation de bibliothèques telles que scikit-learn.
Contribution à l’intégration de solutions LLM / GenAI facilitant l’accès, l’exploration ou l’interrogation des données.
Environnement technique
Data Engineering
Python
Spark / PySpark
SQL
ETL / ELT
Data Lake / Lakehouse
Plateforme cible
AWS S3
Dagster
Trino
Industrialisation
Git
Jenkins
CI/CD
Jira
Confluence
Machine Learning / IA
scikit-learn
Feature Engineering
LLM / GenAI
Environnement existant
Informatica
Oracle
OBIEE
BIRT
Profil recherché
Profil recherché
Vous disposez d’une expérience significative en Data Engineering, avec une forte maîtrise de :
Python
Spark / PySpark
SQL
Conception et développement de pipelines de données
ETL / ELT
Modélisation et structuration de données
Data Lake / Lakehouse
Tests unitaires et qualité des traitements
Une expérience sur AWS S3, Dagster ou Trino sera particulièrement appréciée.
La connaissance d’Informatica constitue également un atout important dans le cadre de la modernisation d’environnements Data existants.
Vous disposez par ailleurs d’une première expérience ou d’une forte appétence pour les sujets Machine Learning et GenAI / LLM appliqués à la donnée.
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours