Data Engineer Spark / Hadoop – Data & Analytics

Nous recherchons un Data Engineer pour intervenir chez un acteur majeur du secteur public , dans le cadre du développement de sa plateforme Data & Analytics .

Vous évoluerez sur des problématiques de traitement de données à grande échelle , avec des enjeux forts autour de la qualité, de la gouvernance et de la valorisation de la donnée .

Missions

• Développer et maintenir des pipelines de données Big Data
• Mettre en place des traitements distribués avec Spark
• Structurer les données dans un DataLake / DataWarehouse
• Assurer la qualité, la fiabilité et la traçabilité des données
• Réaliser des analyses de données avancées
• Construire et suivre des KPI métiers
• Participer à la valorisation des données pour les équipes métier
• Contribuer à des cas d’usage type :
  • analyse de parcours
  • détection d’anomalies
  • segmentation de données
• Optimiser les performances des traitements

Environnement technique

• Spark / PySpark
• Hadoop (HDFS, Hive…)
• Airflow
• Python
• SQL
• Git / CI-CD
• Environnement DataLake