Architecte Databricks (H/F) (IT) / Freelance

Basée à Lille, Lyon, Nantes, Grenoble, Marseille, Paris et Bruxelles, Insitoo Freelances est une société du groupe Insitoo, spécialisée dans le placement et le sourcing des Freelances IT et Métier. Depuis 2007, Insitoo Freelances a su s’imposer comme une référence en matière de freelancing par son expertise dans l’IT et ses valeurs de transparence et de proximité. Actuellement, afin de répondre aux besoins de nos clients, nous recherchons un Architecte Databricks (H/F) à Lyon, France.

Contexte :

Au sein du pôle, l’équipe transverse agit sur les deux départements, cette équipe en cours de construction est aujourd'hui constituée d'un chef de projet. La mission du projet : Accompagner la migration et l’industrialisation d’une plateforme data cible autour de Databricks / Spark / Power BI.

Les missions attendues par le Architecte Databricks (H/F) :

Activité principale

• Concevoir, développer et maintenir des pipelines data sous Databricks / Spark
• Développer les traitements en Python, PySpark et SQL
• Contribuer à la définition et à la mise en œuvre du modèle de données cible
• Industrialiser les pipelines : standards de développement, tests, CI/CD, déploiement
• Mettre en place des traitements robustes, maintenables et scalables
• Orchestrer les traitements via Databricks Workflows / Lakeflow Jobs
• Contribuer à la qualité, à l’observabilité et à la fiabilité des traitements
• Participer au run : suivi de production, analyse d’incidents, amélioration continue
• Prendre en compte les enjeux de performance et de maîtrise des coûts

Activité secondaire

• Participer au cadrage des besoins avec le Product Owner et les équipes utilisatrices
• Contribuer aux choix techniques liés à la nouvelle plateforme data
• Participer à la mise en place des pratiques de développement Databricks
• Contribuer à l’interfaçage avec Power BI ou à des processus intégrés Databricks / Power BI
• Participer à l’intégration de sources d’alimentation du datalake, Kafka apprécié
• Contribuer à la documentation technique et aux standards d’équipe
• Participer aux rituels agiles et à l’amélioration continue de la feature team

Stack technique de l'équipe

Obligatoires : Databricks, Spark, PySpark, Python, SQLObligatoires : Modélisation data, Delta Lake, Unity CatalogObligatoires : CI/CD, tests, industrialisation des pipelinesDemandées : Certification Databricks, cloud public, TerraformDemandées : Databricks Workflows, observabilitéAppréciées : Kafka, Lakeflow / DLT, Power BIAppréciées : Certification cloud