Data engineer : kafka, elastic

La transformation des SI de nos Clients vers des architectures modulaires, type micro-services, l'essor de nos infrastructures et l'évolution des technologies associées, ou encore l'automatisation accrue sur nos socles et applications, génèrent une quantité massive de Logs, devenues très hétérogènes, dispersées et silotées de par l'organisation de (entreprise anonymisée) et de ses Clients (équipes applicatives et socles multiples et dispersées).

• Maîtriser l'ensemble des techniques et technologies composant la chaine de collecte à la mise à disposition des Logs
• Accompagner les besoins et les cas d'usage dès la phase d'étude jusqu'à l'implémentation comprenant la collecte, transformation, stockage et mise à disposition des données, provenant de sources diverses en adéquation
• Concevoir et mettre à disposition les outils et processus (CI/CD) permettant d'automatiser les pipelines d'ingestion de données prenant en compte les besoins de fréquences (batch, temps réel, ?)
• Développer et déployer des mécanismes de contrôle qualité ainsi que des routines de vérification pour garantir l'intégrité et la fiabilité des données
• Accompagner les besoins d'analyse de données des utilisateurs, notamment pour les besoins de sécurité (détection d'événement de sécurité) et de suivi opérationnel

En adéquation avec l'équipe DATA et l'équipe LOG Management

• Kafka
• Scripting Python/SQL/Java
• Suite Elastic (Elastic

• ETL (Log

• Agent de collecte (Elastic ou autre Open-Source)
• Open

Telemetry (Cadre normatif et collecteur)

Attendus

• Participer à la conception des solutions techniques et fonctionnelles
• Gérer les données de l'entreprise (flux : collecte, traitement, stockage et leur cycle de vie)
• Rédiger les documents fonctionnels et techniques, d'exploitation, en veillant au respect des normes existantes
• Mettre en ?uvre en respectant les principes Agile/Dev

• Assurer le support technique et fonctionnel, notamment analyse et résolution des incidents ou problèmes
• Être en relation avec les équipes opérationnelles de l'entreprise pour prise en compte des besoins et flux de données
• Développer les cas d'usage de Dashboard / ML / IA dans la solution, remontés par les utilisateurs

Profil candidat:

• Connaissances en infrastructure : réseau / système
• Connaissance en streaming de données
• Conception et mise en place de solution de stockage et ingestion de données
• Méthodologie Agile / Dev

Ops, maitrise des outils associés (Git

• Maitrise de divers langages de programmation (Java/Python)
• Anglais

Environnement Technique

Linux

Windows