Ingénieur Big Data Hadoop - Freelance
Freelance Paris (Paris)
Description de l'offre
Contexte
Le bénéficiaire souhaite une prestation d'accompagnement dans le cadre de la maintenance et la construction des plateformes Hadoop Cloudera (CDP). Il s'agit également d'un accompagnement au développement d'un ensemble des DATA Services, avec un challenge sur les fonctionnalités à développer et les standards de travail.
Missions
Installation de cluster
Monitoring et administration des outils Big Data
Administration de cluster
Upgrade des distributions et des composants Hadoop
Installation des différents composants sur Hadoop
Support et résolution des problèmes N2 et N3
Mise en place d’environnements de développement et de test
Sécurisation des clusters
Outils & Environnement
Installation et configuration des différentes distributions sur Hadoop
Installation et configuration des composants : Zookeeper, HDFS, Spark, Hive, Kerberos, Sentry, Anaconda, Hue, Kafka…
Monitoring des clusters avec Ambari, Cloudera Manager, …
Administration des clusters : droits d’accès, Policy Ranger, création d’environnements…
CI/CD : Ansible, Jenkins, …
Méthodes agiles : Scrum, Safe, Kanban, …
Technologies complémentaires : Ansible Automation Platform, Digital.ai Release, ArgoCD, Terraform, Gitlab, Jenkins, Artifactory, SonarQube, Nexus Lifecycle, Fortify
Missions complémentaires
Conception et mise en œuvre des architectures de production pour des solutions techniques spécifiques correspondant au besoin du client
Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour de la technologie
Design et implémentation de la solution dans les systèmes existants
Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning)
Alimentation du backlog des services de production (CI/CD, Continuous Operation, Time2fix, ...) en complément des informations collectées auprès des ingénieurs OPS
Mise en œuvre des bonnes pratiques et intégration continue : installation, configuration et divers paramétrages
Pilotage de la mise à niveau de la solution et gestion des impacts
Profil recherché
- Une expérience significative dans le cadre de projets Big Data sur une plateforme distribution Hadoop & CDP
- Anglais opérationnel et bonne aisance en communication
- Capacité d’analyse et d’adaptation
- Force de proposition, la veille technologique
- 6 ans et plus d'expérience dans l'environnement de la prestation
- Conception et mise en œuvre des architectures de production pour des solutions techniques spécifiques
- Implémentation des outils de configuration et d'automatisation pour simplifier les process de déploiement et de mise à jour
- Design et implémentation de la solution dans les systèmes existants
- Gestion de la capacité des environnements de production et anticipation des évolutions (capacity planning)
- Connaissance des technologies : Ansible Automation Platform, Digital.ai Release, ArgoCD, Terraform, Gitlab, Jenkins, Artifactory, SonarQube, Nexus lifecycle, Fortify
- Mise en oeuvre des bonnes pratiques et intégration continue
- Pilotage de la mise à niveau de la solution et gestion des impacts
À propos de Collective.work
Collective.work est la plateforme de recrutement nouvelle génération pour trouver votre prochain emploi.
Fort d'une grande expertise dans l'IA, Collective.work permet de mieux cibler les offres et leurs candidats correspondants, créant ainsi un système beaucoup plus fluide que les acteurs traditionnels.
Plus de 10,000 recruteurs utilisent Collective, permettant à des dizaines de milliers de candidats de trouver leur futur emploi chaque jours