Data engineer Databricks/AWS

Vous maîtrisez le métier d'ingénieur données sur Databricks (sur AWS).

Responsabilités

• Concevoir, développer et maintenir des pipelines de données évolutifs sur la plateforme Databricks.
• Gérer les processus d'ingestion de données provenant de diverses sources dans l'environnement Databricks (ingestion XML, Kakfa, etc.).
• Mettre en œuvre et optimiser les processus ETL (Extraction, Transformation, Chargement) afin de garantir une transformation et une intégration efficaces des données.
• Garantir la qualité, l'intégrité et la sécurité des données sur l'ensemble des pipelines.
• Surveiller et résoudre les problèmes de performance des pipelines de données, en mettant en œuvre les maintenances et mises à jour nécessaires.
• Documenter les processus, les spécifications techniques et les bonnes pratiques des pipelines de données.
• Assurer le transfert de connaissances vers l'équipe d'ingénieurs données qui prendra en charge la gestion de la plateforme à l'avenir.
• Parler couramment l'anglais/néerlandais ou l'anglais/français est un impératif.