DataOps & Administrateur Hadoop - CDI

Description de l'offre

Salaire: 55000

Missions et responsabilités principales1. Déploiement et industrialisation des clusters Big Data

• Déploiement automatisé de clusters via des pipelines CI/CD

• Utilisation d’outils d’automatisation pour l’installation et la configuration des composants

• Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance)

• Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code)

• Déploiement et configuration d’outils de gestion de plateforme

• Installation et configuration d’interfaces utilisateurs pour les environnements analytiques

2. Stack Big Data administrée

Administration et intégration des composants suivants :

• Service d’annuaire : gestion des identités

• Service d’authentification : sécurisation des accès

• Système de fichiers distribué : gestion du stockage

• Framework de traitement distribué : gestion des ressources et exécution

• Outil de gestion des accès : politiques de sécurité

• Moteur de calcul distribué

• Moteur SQL pour l’accès aux données

• Base de données relationnelle associée aux services

• Service de coordination distribué

Responsabilités associées :

• Installation, configuration et paramétrage avancé

• Gestion des dépendances inter-services

• Maintien de la cohérence des versions

• Optimisation des performances et de la stabilité

3. Provisionnement et préparation des environnements

• Provisionnement des machines virtuelles

• Préparation des prérequis systèmes (OS, stockage, réseau)

• Automatisation des installations via scripts et outils d’orchestration

• Gestion des environnements (développement, test, production)

4. Observabilité et supervision

Mise en place et maintien de la supervision :

• Collecte des métriques

• Gestion et routage des alertes

• Centralisation et exploitation des logs

• Visualisation via tableaux de bord

• Définition et amélioration des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

5. Maintien en Condition Opérationnelle (MCO)

• Administration quotidienne des plateformes Big Data

• Support technique aux équipes projets et utilisateurs

• Gestion des incidents et demandes d’évolution

• Montées de version et correctifs

• Suivi de la capacité (CPU, RAM, stockage)

• Documentation technique et mise à jour des procédures

Rituels et interactions

• Participation aux rituels d’équipe

• Coordination avec :

  • Équipes infrastructure et exploitation

  • Équipes projets data / métiers

  • Référents sécurité

• Accompagnement des équipes dans l’usage de la plateforme

Environnement technique global

• CI/CD & DevOps : outils d’intégration et de déploiement continus, gestion de code, qualité

• Automatisation : outils d’orchestration et scripting

• Infrastructure : virtualisation, conteneurisation

• Big Data : écosystème de traitement distribué

• Observabilité : outils de monitoring, logs et visualisation

Points de vigilance

• Forte interdépendance des composants de la plateforme

• Sensibilité aux problématiques de capacité et de performance

• Importance de l’anticipation via la supervision

• Respect strict des standards de sécurité et des procédures internes

• Coordination transverse nécessaire pour les déploiements et évolutions majeures

Charge estimative

• Déploiement d’un cluster complet : variable selon dimensionnement et spécificités projet

• MCO : charge récurrente hebdomadaire

• Incidents critiques : charge ponctuelle selon criticité

Profil recherché

1. Déploiement et industrialisation des clusters Big Data

• Déploiement automatisé de clusters via des pipelines CI/CD

• Utilisation d’outils d’automatisation pour l’installation et la configuration des composants

• Adaptation des architectures selon les besoins projets (dimensionnement, sécurité, performance)

• Contribution à l’industrialisation des processus (CI/CD, Infrastructure as Code)

• Déploiement et configuration d’outils de gestion de plateforme

• Installation et configuration d’interfaces utilisateurs pour les environnements analytiques

À propos de Collective.work

Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.

Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.

Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours