Data Engineer - Freelance (H/F)
CONTEXTE
Une entreprise spécialisée dans la distribution s'engage dans une transformation profonde de son modèle, où chaque produit conçu, vendu ou réparé est tracé, mesuré et optimisé pour réduire son empreinte sur la planète.
La maîtrise de l'impact environnemental de l'empreinte carbone de chaque produit vendu à la performance des ateliers de réparation, en passant par le cycle de vie complet des articles de seconde vie constitue un levier stratégique majeur dans la réalisation de cette ambition. Le rôle de l'équipe est de construire et fiabiliser l'ensemble des données Sustainability, Circular Economy et Workshop.
L'équipe est actuellement constituée de :
*
4 Product Managers
*
7 Data Engineers
MISSIONS
En tant que Data Engineer au sein de l'équipe Planet, vous serez amené à travailler sur 2 produits gérés par l'équipe :
*
Service : prolonger la vie des produits en structurant les données de l'ensemble des flux circulaires
*
Sustainability : mesurer et réduire l'empreinte carbone de chaque produit vendu, de sa conception (éco-design, matériaux préférés) jusqu'à son impact en rayon, pour piloter la trajectoire environnementale de l'entreprise
*
Implémenter des solutions, à partir des règles fonctionnelles établies par le Product Manager / Data Owner
*
Documenter les règles de qualité décrites dans Collibra au préalable pour valider les datasets
*
Partir des templates génériques pour construire des pipelines scalables de données structurées
*
Transformer la stack legacy vers la nouvelle stack recommandée par les équipes de la Data Platform
*
Répondre aux questions des utilisateurs ainsi qu'à l'équipe de datavisualisation sur les données mises à disposition
*
Être capable d'intervenir sur l'ensemble des flux de l'équipe
*
Documenter les flux implémentés
*
Contribuer à l'amélioration des bonnes pratiques de développement au sein de l'équipe (Mob programming, Test Driven Development, etc.)
*
Contribuer à la communauté de data engineers
COMPÉTENCES TECHNIQUES SOUHAITÉES
*
Expérience sur l'environnement Big Data d'Amazon Web Services (AWS) avec utilisation de ses composants (S3, Code
Artefact, ECR...) et optimisation de leurs performances
*
Implémentation de pipelines de données (DBT, Py
Spark)
*
Mise en place de l'ordonnancement via Airflow
*
Connaissances sur Databricks
*
Développement en Python
*
Connaissances sur la modélisation de données
COMPÉTENCES DEMANDÉES
Compétence Niveau Spark Avancé AWS S3 Avancé Python Avancé Py
Spark Avancé Databricks Avancé Langage SQL Confirmé
1. Expérience sur l'environnement Big Data Amazon Web Services (AWS) incluant l'utilisation de composants tels que S3, Code
Artefact, ECR et optimisation de leurs performances
2. Expérience dans l'implémentation de pipelines de données avec DBT et Py
Spark
3. Compétences dans la mise en place d'ordonnancement via Airflow
4. Connaissances sur Databricks
5. Développement en Python
6. Connaissances en modélisation de données
7. Maîtrise avancée de Spark, AWS S3, Python, Py
Spark et DATABRICKS
8. Niveau confirmé en langage SQL
