Data engineer Databricks

Une agence multi spécialiste de plus de 40 collaborateurs qui forment des communautés d’experts sur le Cloud & DevOps, la data et la gestion de projet. Devoteam Lille accompagne ses clients dans une transformation digitale durable. A l’agence de Lille, les consultants peuvent intégrer nos clubs happiness Running, Gastronomy, Raquettes, Basket, Foot, ou encore gaming.

Data Driven a pour ambition d’aider ses clients à transformer la valeur de leurs données en succès durable. Nous tirons parti à la fois de notre expertise sur les plateformes technologiques les plus innovantes et de notre connaissance métier avec la meilleure combinaison d’experts pour accompagner nos clients dans leur quête d’agilité, de compétitivité et de croissance durable.

Description du poste

Missions du poste

• Garantir la robustesse du data contract registry (Aurora et Python FastAPI) et assurer le support sur les outils de l'équipe.
• Monitorer les systèmes de manière continue et prendre des actions proactives de management.
• Gérer les écosystèmes Data en restituant les métadonnées dans le datalake et en accompagnant sur AWS S3, AWS Glue et Unity Catalog.
• Accompagner et former en définissant les bonnes pratiques et en conseillant lors de la conception des pipelines de données.
• Développer les futures fonctionnalités de gouvernance automatisée (access et metadata management) en étroite collaboration avec les Staff Engineers.

Vous possédez une expertise technique avancée sur Databricks , AWS (S3, Glue), PostgreSQL et Aurora , ainsi que sur Unity Catalog . Vous maîtrisez le développement en Python et FastAPI , et êtes à l'aise avec les processus de CI/CD (GitHub ) et Hashicorp Vault .