Techlead Databricks (H/F) (IT) / Freelance

Dans le cadre du développement et de l’évolution de sa plateforme Data, notre client recherche un Tech Lead Data Engineering disposant d’une expertise avancée sur Databricks, PySpark et Unity Catalog . Le consultant interviendra comme référent technique pour accompagner les équipes dans la conception, le développement et l’industrialisation des solutions Data.

Missions

• Piloter les choix techniques et accompagner la conception des architectures Data sur Databricks .

• Concevoir, développer et optimiser les pipelines de traitement de données avec PySpark et Spark SQL .

• Mettre en œuvre et administrer Unity Catalog pour structurer la gouvernance, la gestion des accès et la traçabilité des données.

• Garantir la qualité, la performance et la fiabilité des traitements Data, notamment sur les environnements Delta Lake.

• Encadrer techniquement les Data Engineers, réaliser les revues de code et diffuser les bonnes pratiques de développement.

• Accompagner l'industrialisation des pipelines, l'automatisation des déploiements et l'intégration des pratiques CI/CD.