Data Engineer / Plateforme Big Data - Lille - Freelance
Freelance Lille (Nord)
Description de l'offre
Taux journalier (TJM): 575
Contexte
Développement d'une plateforme de gestion et d'observabilité des données BigQuery.
La plateforme globale est conçue et opérée à travers deux couches stratégiques :
Socle d'Infrastructure Standardisé (Infrastructure Plane) : Masquage de la complexité technique du cloud via des services managés clés en main dédiés à l'ingestion, au calcul et à la distribution des flux de données (GCP, Kafka, BigQuery).
Plan d'Expérience des Produits de Données (Data Product Plane) : Mise à disposition des équipes métiers d'outils logiciels pour concevoir, valider et gouverner leurs propres actifs de données en autonomie.
La feuille de route vise la simplification en faisant évoluer une architecture historique (microservices Python/FastAPI sur GCP) vers un écosystème ouvert, moderne et standardisé.
Missions
Garantir une visibilité universelle (Observabilité) : intégrer des standards ouverts (comme OpenLineage) pour cartographier la traçabilité de bout en bout, monitorer la fiabilité des données et automatiser la remédiation en cas d'anomalie, quels que soient les outils métiers.
Tracer le golden path des développeurs (DevEx) : concevoir des bibliothèques, utilitaires d'automatisation et briques logicielles autonomes dotées de capacités agentiques pour supprimer les frictions du cycle de mise en production et systématiser la création des Data Products.
Outils & Environnement
Python (expertise avancée, notamment FastAPI, Flask)
Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery)
Écosystème data moderne : outils de transformation de données et orchestrateurs de conteneurs
CI/CD et conteneurisation : Docker, Cloud Build
Infrastructure as Code : Terraform (idéalement jusqu’à la maintenance ou création de providers)
Méthodologies agiles : Scrum ou Kanban
Conditions de travail
Date de démarrage : 24/08/2026
Présence souhaitée : 2 jours par semaine sur site
Compétences techniques
Python - Expert - Important
Workflow data - Confirmé - Important
IA Engineering, DataOps, Gouvernance - Confirmé - Souhaitable
Connaissances linguistiques
Anglais professionnel
Profil recherché
- Ingénieur(e) logiciel chevronné(e) spécialisé(e) dans les problématiques de données ou Data Engineer de haut niveau avec une culture logicielle pointue
- Attrait prononcé pour l'intelligence artificielle et volonté de placer l'IA au centre du quotidien (co-codage avec LLM, conception de fonctionnalités agentiques)
- Maîtrise de Python avec expertise dans la conception d'API robustes, évolutives et performantes (FastAPI, Flask, etc.)
- Maîtrise opérationnelle de Google Cloud Platform (Cloud Run, Pub/Sub, BigQuery)
- Excellente culture des outils de transformation de données modernes et des orchestrateurs de conteneurs
- Pratique courante de Docker et de Cloud Build pour CI/CD et conteneurisation
- Capacité à automatiser le provisionnement via Terraform, idéalement jusqu'à la maintenance ou création de providers
- Forte sensibilité aux enjeux de sécurité applicative, gestion des accès à grande échelle et optimisation des performances de calcul
- Habitude des rituels Scrum ou Kanban, orientés vers la livraison continue de valeur
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours