Data engineer Databricks

Description du poste

Missions du poste

• Garantir la robustesse du data contract registry (Aurora et Python FastAPI) et assurer le support sur les outils de l'équipe.
• Monitorer les systèmes de manière continue et prendre des actions proactives de management.
• Gérer les écosystèmes Data en restituant les métadonnées dans le datalake et en accompagnant sur AWS S3, AWS Glue et Unity Catalog.
• Accompagner et former en définissant les bonnes pratiques et en conseillant lors de la conception des pipelines de données.
• Développer les futures fonctionnalités de gouvernance automatisée (access et metadata management) en étroite collaboration avec les Staff Engineers.

Qualifications

Vous possédez une expertise technique avancée sur Databricks , AWS (S3, Glue), PostgreSQL et Aurora , ainsi que sur Unity Catalog . Vous maîtrisez le développement en Python et FastAPI , et êtes à l'aise avec les processus de CI/CD (GitHub ) et Hashicorp Vault .