Data Engineer (H/F)

Dans le cadre du renforcement d'une équipe Data, nous recherchons un(e)Data Engineer pour intervenir sur une plateforme Data à fort volume, au sein d'un environnement international et orienté produit.

Vous rejoindrez une équipe technique en charge de construire, industrialiser et faire évoluer des solutions permettant de collecter, transformer, fiabiliser et exposer la donnée à destination des équipes Data et métiers.

L'environnement repose sur uneModern Data Stack , avec une architecture de typeLakehouse , et de forts enjeux autour de la scalabilité, de l'automatisation et de la qualité des données.

Vos missions

• Concevoir, développer et maintenir des pipelines de données robustes et scalables.

• Collecter, transformer et mettre à disposition des données provenant de différentes sources.

• Développer des traitements enPython / PySpark / SQL .

• Orchestrer les pipelines de données et les workflows avecAirflow .

• Participer à la modélisation et à la structuration des données.

• Développer et maintenir les transformations avecdbt .

• Mettre en place des contrôles permettant de garantir la qualité et la fiabilité des données.

• Optimiser les performances et les coûts des traitements.

• Participer à l'amélioration continue de la plateforme Data.

• Contribuer aux sujets deData Governance, Data Lineage et Data Contracts .

• Appliquer les bonnes pratiques de Software Engineering : Git, GitHub, CI/CD, tests et documentation.

• Travailler en étroite collaboration avec les Data Engineers, Analytics Engineers, Data Analysts et Data Scientists.

Environnement technique

• Cloud : AWS / GCP

• Data Platform : Databricks, S3

• Processing : Spark / PySpark

• Langages : Python, SQL, idéalement Scala

• Orchestration : Airflow

• Transformation : dbt

• Data Quality : Great Expectations

• Versioning / Delivery : Git, GitHub, CI/CD

• Data : Lakehouse, Data Lineage, Data Governance, Data Contracts

• Méthodologies : Agile / Scrum / Kanban