Elastic Engineer - Obervability
Objectifs de la mission
En tant que Elastic Engineer, vous êtes responsable de la conception, du déploiement et de la maintenance des solutions basées sur la stack Elastic (Elasticsearch, Logstash, Kibana, Beats) via des plateformes d’orchestrations Elastic Cloud Enterprise et Nomad/Consul. Vous garantissez la disponibilité, les performances et la sécurité de l'infrastructure sous-jacente. Vous ne gérez pas le contenu des données ni les cas d'usage métier.
Voici les principales responsabilités :
Fourniture de service :
Mise à disposition de clusters Elasticsearch à la demande
Provisioning automatisé pour les équipes consommatrices
Catalogue de services avec différents niveaux de performance
SLA de disponibilité et de performance garantis
Scalabilité et élasticité :
Dimensionnement des clusters selon la charge
Gestion des pics de trafic et de volumétrie
Optimisation des ressources compute et storage
Planification de capacité à moyen/long terme
Sécurité et isolation :
Isolation multi-tenant entre les différents projets
Gestion des certificats et de l'authentification
Contrôle d'accès au niveau plateforme
Administration ECE :
Installation et configuration d'Elastic Cloud Enterprise
Gestion des allocators et des zones de disponibilité
Monitoring de la santé de la plateforme ECE
Mise à jour des versions ECE et des templates de déploiement
Gestion du cycle de vie :
Déploiement automatisé de nouveaux clusters
Gestion des montées de version Elastic Stack
Sauvegarde et restauration au niveau plateforme
Archivage et suppression des clusters obsolètes
Intégration infrastructure :
Intégration avec les systèmes de virtualisation/conteneurisation
Configuration réseau et load balancing
Intégration avec les solutions de monitoring infrastructure
Gestion des certificats
Interface avec les équipes :
Support aux équipes utilisatrices :
Formation sur les bonnes pratiques d'utilisation
Support technique sur les aspects plateforme
Conseil en architecture pour le dimensionnement
Résolution des incidents liés à l'infrastructure
Collaboration transverse :
Équipes réseau pour la connectivité et sécurité
Équipes système pour l'infrastructure sous-jacente
Équipes sécurité pour les audits et conformité
Équipes projet pour les nouveaux besoins
Métriques et pilotage
Indicateurs de performance :
Disponibilité de la plateforme ECE (uptime)
Temps de provisioning des nouveaux clusters
Utilisation des ressources et optimisation des coûts
Satisfaction des équipes consommatrices
Gouvernance technique :
Standardisation des configurations de clusters
Politique de rétention et d'archivage
Processus de mise à jour et de maintenance
Documentation technique et procédures
L'ingénieur Elastic agit comme un fournisseur de services internes, garantissant une plateforme Elastic robuste et performante que les équipes peuvent consommer en self-service pour leurs besoins d'analyse et d'observabilité.
Contexte technique
Dans un contexte d’une production informatique, nous exploitons la solution d’Elastic au travers de 4 plateformes Elastic Cloud Enterprise avec 600 machines virtuelles dont 400 déploiements de la Stack Elastic.
Cet ensemble se décompose 2 000 instances Elasticsearch, 700 instances Kibana, 70 instances APM et 600 instances Logstash pour une volumétrie de 15 Tb/j.
Le développement de cette plateforme Elastic est faite au travers une chaine de fabrication permettant à l’équipe de développer les projets avec du versionning control (Git), de la CI et du déploiement via Ansible.
L’environnement technique est interconnecté à un ensemble de plateforme complexe tels que :
Plateforme Streaming
Plateforme d’orchestration de conteneurs
Plateforme de virtualisation
Applications critiques
DESCRIPTION DE LA MISSION
Les fonctions à réaliser ou la description des lots
Pour réaliser la mission, vous êtes à même de :
Diriger la livraison de plateforme d’Observabilité pour assurer le succès de notre plateforme auprès des clients
Conception de solutions, développement et intégration de produit et services d’Observabilité, architecture de plateforme et planification de la capacité dans des environnements critiques.
Développement de démonstrations et de preuves de concept qui mettent en évidence la valeur de la plateforme d’Observabilité.
Accompagnement dans la modélisation des données, développement et optimisation des requêtes, réglage et mise à l’échelle des clusters, en mettant l’accent sur la recherche rapide et l’analyse à l’échelle.
Résoudre les problèmes de données les plus complexes de nos clients.
Travailler en étroite collaboration avec les équipes d’exploitation afin d'identifier les améliorations à apporter aux fonctionnalités.
Être un mentor/coach pour vos collègues.
Compétences
Compétences minimales requises
Expertise sur la stack Elastic Enterpprise
Expertise des outils de fabrication, Git, Gitlab, Gitlab CI, Ansible
Bonnes connaissances dans le développement Python et de la plateforme Kubernetes
Maitrise de la culture DevOps et des pratiques SRE
Bonnes connaissances système et réseaux
Maitrise de l’anglais professionnel
Qualités humaines
Curieux et force de propositions
Rigueur, sens de la méthode ;
Capacités relationnelles et travail en équipe ;
Disponibilité et réactivité ;
Analyse et résolution d'incidents ;
Sens du service et respect des engagements.