Data Engineer databricks (H/F)

Nous recherchons pour un de nos clients un Data Engineer Databricks confirmé (H/F) dans le cadre d’un projet de transformation data au sein d’une grande entreprise internationale, vous intégrerez une équipe agile composée de 8 personnes, rattachée à la Direction Data.

Vous interviendrez sur la mise en place et l’industrialisation de pipelines de données, ainsi que sur le suivi de leur lineage jusqu’aux cas d’usage métier. Vous contribuerez également à la diffusion des bonnes pratiques autour de Databricks et des méthodes modernes de développement data.

Missions

• Concevoir et développer des pipelines de données performants et évolutifs sur Databricks.

• Développer les traitements en Python / PySpark et SQL .

• Optimiser les pipelines existants et améliorer les temps de traitement.

• Mettre en œuvre les bonnes pratiques de partitionnement et de gestion des données.

• Contribuer à l’optimisation de la gestion des clusters et de l’ordonnancement des traitements.

• Participer à la mise en place et à l’adoption des Databricks Asset Bundles .

• Intégrer les développements dans les processus CI/CD .

• Travailler avec les outils de gestion de versions et de collaboration, notamment Git ou Azure DevOps.

• Contribuer à la documentation et à la standardisation des architectures et processus.

• Participer à la mise en place de pratiques de développement assistées par l’IA, notamment avec GitHub Copilot et Visual Studio Code.

• Apporter un support technique aux membres de l’équipe sur Databricks et les pipelines développés.

• Collaborer dans un environnement agile avec des équipes françaises et internationales.