Data engineer Databricks

Overview

Garantir la robustesse du data contract registry (Aurora et Python FastAPI) et assurer le support sur les outils de l\'équipe. Monitorer les systèmes de manière continue et prendre des actions proactives de management. Gérer les écosystèmes Data en restituant les métadonnées dans le datalake et en accompagnant sur AWS S3, AWS Glue et Unity Catalog. Accompagner et former en définissant les bonnes pratiques et en conseillant lors de la conception des pipelines de données. Développer les futures fonctionnalités de gouvernance automatisée (access et metadata management) en étroite collaboration avec les Staff Engineers.

Responsibilities

• Garantir la robustesse du data contract registry (Aurora et Python FastAPI) et assurer le support sur les outils de l\'équipe.
• Surveiller les systèmes de manière continue et prendre des actions proactives de management.
• Gérer les écosystèmes Data en restituant les métadonnées dans le datalake et en accompagnant sur AWS S3, AWS Glue et Unity Catalog.
• Accompagner et former en définissant les bonnes pratiques et en conseillant lors de la conception des pipelines de données.
• Développer les futures fonctionnalités de gouvernance automatisée (access et metadata management) en étroite collaboration avec les Staff Engineers.

Technologies et domaines

• Aurora
• Python et FastAPI
• Data governance et metadata management
• AWS S3, AWS Glue, Unity Catalog
• Monitoring et support