DATA ENGINEER - H/F
La DSI pilote une migration progressive vers une architecture GCP (Big
Query, DBT, Airflow) pour remplacer un environnement hétérogène composé de bases relationnelles (Oracle, SQL Server, My
SQL, Progress SQL), de fichiers QVD et d'ordonnancement Airflow.
Dans ce cadre, le Data Engineer recruté aura pour mission de construire, industrialiser et maintenir les pipelines de données alimentant les couches Bronze, Silver et Gold de l'architecture Medallion, en lien direct avec les équipes métier, BI et infrastructure.
Son rôle, renforcer les compétences data engineering, et à sécuriser la continuité opérationnelle dans un contexte de montée en maturité data de l'organisation.
Développer et maintenir les pipelines alimentant Big
Query depuis les sources (Oracle, SQL Server, My
SQL, Progress SQL)
Modéliser les couches Bronze (ingestion brute), Silver (nettoyage, normalisation) et Gold (agrégats métier) selon l'architecture Medallion
Écrire, tester et versionner les transformations DBT (modèles, tests, documentation)
Orchestrer les workflows de données via Apache Airflow (DAGs, dépendances, gestion des erreurs et alertes)
Implémenter des contrôles qualité à chaque couche de la plateforme (tests DBT, checks d'intégrité référentielle, détection d'anomalies)
Mettre en place une gestion des incidents data et assurer le suivi des SLA de disponibilité
Documenter les modèles, les flux et les règles métier dans les outils de catalogage (Dataplex)
Travailler en étroite collaboration avec les Data Domain Owners pour formaliser les règles métier et les définitions des indicateurs
Participer à la définition et à l'alimentation du catalogue de données (métadonnées techniques et fonctionnelles)
Contribuer à la montée en compétences des équipes BI sur les pratiques de la plateforme cible
Accompagner la migration progressive des sources Qlik
View/QVD vers la plateforme GCP
Identifier et traiter les dépendances entre les extractions manuelles Excel, les DAGs Airflow et les tables Gold exposées aux outils BI (Qlik Sense)
Participer aux arbitrages d'architecture avec la DSI et les prestataires externes
N'hésitez pas à découvrir ce métier et notre centrale via notre site internet : www.scapartois.leclerc
