Tech Lead Data Engineering / Streaming (Apache Flink & Kafka) - >10 ans - Freelance

Description de l'offre

Contexte : Dans le cadre du développement et de l'évolution de la Group Data Platform, nous recherchons un Tech Lead Data Engineering spécialisé dans les architectures temps réel, disposant d'au moins 10 ans d'expérience.

Le consultant interviendra au sein de l'équipe Group Data Delivery afin de concevoir, développer et opérer des produits de données temps réel, depuis l'ingestion et le traitement des flux jusqu'à leur exposition via des API à destination de consommateurs internes et externes.

Il devra apporter une expertise technique avancée sur Apache Flink, Apache Kafka, les architectures événementielles, les microservices et les technologies AWS, tout en assurant le leadership technique, la qualité des développements et la fiabilité des solutions mises en production.

Missions principales

• Concevoir et développer des produits de données temps réel de bout en bout à l'aide d'Apache Flink, Apache Kafka et des architectures événementielles.

• Construire et maintenir des pipelines de données résilients pour l'ingestion, le traitement, la transformation et la distribution des données en temps réel et en batch.

• Concevoir et développer des API REST, des interfaces OpenAPI, des microservices et des interfaces de streaming.

• Déployer et exploiter des solutions sur AWS, notamment avec MSK, Kinesis, Managed Service for Apache Flink, Lambda, API Gateway, ECS, EKS, S3 et IAM.

• Mettre en place des contrôles de qualité des données, des modèles de données, des mécanismes de validation et une gouvernance des schémas.

• Définir et industrialiser les pipelines CI/CD avec GitLab CI, GitHub Actions ou des outils équivalents.

• Garantir l'observabilité des solutions grâce à CloudWatch, OpenTelemetry, Prometheus, Grafana, aux logs structurés, aux métriques et au tracing.

• Assurer le maintien en conditions opérationnelles des services : supervision, gestion des incidents, analyse des causes racines et optimisation des performances.

• Veiller au respect des SLA et à la disponibilité, la sécurité et la fiabilité des services en production.

• Appliquer les bonnes pratiques de sécurité : OAuth2/OIDC, chiffrement des données, gestion des secrets, contrôle réseau et principe du moindre privilège.

• Rédiger la documentation technique : dossiers d'architecture, spécifications API, procédures d'exploitation et documentation de déploiement.

• Piloter les choix techniques, animer les échanges d'architecture et réaliser les revues de code et de conception.

• Définir et promouvoir les standards d'ingénierie, accompagner les développeurs moins expérimentés et assurer le transfert de connaissances.

• Garantir la livraison de produits de données robustes, évolutifs, sécurisés et prêts pour la production.

Profil recherché

Expertise technique :

• Apache Flink et PyFlink.

• Apache Kafka et Amazon MSK.

• Architectures événementielles (Event-Driven Architecture).

• Data Engineering et systèmes temps réel.

• Architecture microservices.

• Conception et développement d'API REST et OpenAPI.

• Java, Python, Scala et SQL.

• Modélisation des données et gestion des schémas (Avro, Schema Registry).

• Amazon Web Services (AWS) : Lambda, Kinesis, Managed Flink, ECS, EKS, S3, API Gateway et IAM.

DevOps, qualité et exploitation :

• Mise en place de pipelines CI/CD (GitLab CI, GitHub Actions).

• Tests automatisés et contrôle de la qualité des développements.

• Observabilité : CloudWatch, OpenTelemetry, Prometheus et Grafana.

• Gestion des SLA et support de production.

• Sécurisation des applications et des flux de données : OAuth2/OIDC, chiffrement et gestion des accès selon le principe du moindre privilège.

Leadership et compétences transverses :

• Leadership technique et conception d'architectures.

• Revues de code et définition des standards d'ingénierie.

• Capacité à résoudre des problématiques techniques complexes.

• Mentorat et accompagnement des équipes.

• Communication avec les parties prenantes techniques et métiers.

• Excellente maîtrise de l'anglais, niveau bilingue.

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours