Consultant DataOps / Administrateur Hadoop

Dans le cadre de ses projets Big Data internes, notre client recherche un Consultant DataOps & Administrateur Hadoop confirmé , intégré à l’équipe BDP (Big Data Platform) .

Le consultant interviendra sur le déploiement, l’industrialisation, l’exploitation et le maintien en condition opérationnelle de clusters Big Data personnalisés, basés sur la TOSIT Data Platform (TDP) , au service des projets data et métiers.

Rôle et responsabilités 1. Déploiement & industrialisation des clusters Big Data

• Déploiement automatisé de clusters via pipelines Jenkins

• Installation et configuration des composants Hadoop via Ansible

• Adaptation des architectures selon les besoins projets (sécurité, performance, capacité)

• Contribution aux pratiques CI/CD et Infrastructure as Code

• Déploiement et administration du TDP Manager

• Mise en place de Hue pour les environnements Datalab

2. Administration avancée de la stack Hadoop / TDP

Le consultant est responsable de l’installation, la configuration et l’exploitation de :

• Sécurité & identités :

  • OpenLDAP

  • Kerberos

  • Ranger (politiques de sécurité)

• Stockage & calcul distribué :

  • HDFS (baie Huawei)

  • Hadoop (YARN, services core)

• Traitement & accès aux données :

  • Spark

  • Hive

• Services transverses :

  • ZooKeeper

  • PostgreSQL

Responsabilités associées :

• Gestion des dépendances inter-services

• Cohérence des versions

• Optimisation des performances et de la stabilité

• Résolution des incidents complexes

3. Provisionnement & automatisation des environnements

• Provisionnement de VM sous VMware

• Préparation des prérequis systèmes (OS, réseau, stockage)

• Automatisation via Ansible et scripts Bash

• Gestion des environnements DEV / RECETTE / PROD

4. Observabilité, supervision & anticipation

• Mise en œuvre et maintien de la stack d’observabilité :

  • Prometheus

  • Alertmanager

  • Loki / Promtail

  • Grafana

• Définition des indicateurs de supervision

• Analyse proactive des alertes

• Diagnostic et résolution d’incidents

5. Maintien en Condition Opérationnelle (MCO)

• Administration quotidienne des clusters Hadoop

• Support aux équipes projets et utilisateurs Datalab

• Gestion des incidents, demandes d’évolution et correctifs

• Montées de version

• Suivi de capacité (CPU, RAM, stockage)

• Rédaction et mise à jour de la documentation technique