Data Engineer AWS / Scala Spark
Nous recherchons un Data Engineer senior disposant d’une forte expertise sur les environnements AWS, Scala et Spark , idéalement acquise dans des contextes de forte volumétrie de données.
Au sein d’une direction Data centrale , l’équipe Data Platform conçoit, développe et maintient une plateforme data centralisée, sécurisée, scalable et performante, destinée à soutenir les usages data transverses des différentes directions métier. Elle opère notamment un data lake hébergé sur AWS , une infrastructure de traitement de données basée sur Scala Spark , ainsi qu’un écosystème d’orchestration et d’industrialisation des jobs via Airflow . L’équipe assure également la maintenance et l’évolution d’une plateforme Dataiku .
La mission s’inscrit dans un environnement agile, en interaction avec des équipes produit, data, BI, analytics, data science et métiers.
Le consultant interviendra sur deux volets principaux.
Maintien en condition opérationnelle
- Contrôler la disponibilité des données et des services de la plateforme
- Analyser les incidents et anomalies de production
- Répondre aux demandes ad hoc liées aux données
- Développer les correctifs nécessaires
- Contribuer à la qualité, la fiabilité et l’exploitation industrielle de la plateforme
- Communiquer avec les utilisateurs et les parties prenantes
Build & evolution des pipelines data
- Concevoir et développer des pipelines de données robustes et performants
- Mettre en place des flux d’acquisition, transformation et export de données
- Réaliser des traitements distribués en Scala Spark
- Participer à la modélisation des données
- Développer les tests unitaires et d’intégration
- Gérer l’ordonnancement et les dépendances entre traitements
- Participer aux revues de code et au respect des standards
- Réaliser les déploiements sur les différents environnements
- Maintenir la documentation technique et fonctionnelle