Data engineer Databricks

Missions principales

?     Être force de proposition et participer à la conception des solutions techniques avec les membres de l?équipe

?     Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels

?     Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.

?     Concevoir et faire évoluer les architectures de données selon l?approche Databricks Medallion Architecture (Bronze, Silver, Gold)

?     Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API

?     Contribuer à l?amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations

Activités

?     Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d?intégration et les flux métiers

?     Mettre en ?uvre et orchestrer les traitements de données avec Databricks

?     Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d?indexation, d?optimisation et de gouvernance

?     Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d?exécution

?     Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD

?     Concevoir, développer et maintenir des API pour l?exposition et la consommation des données

?     Mettre en place des mécanismes de Data Quality, de monitoring et d?alerting

?     Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives

?     Rédiger et maintenir la documentation technique des solutions mises en ?uvre

?     Accompagner les équipes dans l?adoption des bonnes pratiques de Data Engineering

Profil candidat:

Compétences techniques requises

?     Conception et développement de pipelines de données

?     Connaissance des principes d?

API REST et des architectures orientées services

?     Solides connaissances en modélisation de données, performance et qualité des données

?     Analyse et correction d?anomalies

?     Connaissance du Cloud AWS

?     Maîtrise de Python, SQL, DBUtils, Py

Spark et Boto3

?     Maîtrise des configurations de ressources Databricks sur AWS

?     Maîtrise de l?approche AI Augmented du Data Engineer

Atout

?     Gestion du streaming de données en temps réel