Data Ingénieur Python ELK

Overview

ngénieurie Data expérimenté pour conception, construction et maintenance d' une infrastructure de données robuste et performance dans un environnement entièrement on-premise. Étroite collaboration avec les équipes Data pour garantir des pipelines fiables et de haute qualité sur notre infrastructure autogérée.

Responsabilités

• Conception et construction des pipelines de données scalables pour le traitement batch et temps réel
• Développement et maintenance des workflows avec Apache Airflow (orchestration) et Apache Flink (traitement de flux)
• Mise en place et opération des clusters Apache Kafka pour le streaming d'événements à haut débit
• Déployement et administration la stack ELK (Elasticsearch, Logstash, Kibana) pour l'ingestion de logs, l'indexation, la recherche et l'observabilité
• Écriture du code Python propre, efficacité et test pour la logique ETL/ELT et les outils internes
• Garantie de la qualité des données, la fiabilité des pipelines et la résilience de l'infrastructure
• Collaboration avec les équipes DevOps sur la planification de capacité et les opérations cluster
• Accompagnement et augmentation en compétences des ingénieurs moins expérimentés