End-to-End Data Pipeline in Azure

Objectif de la mission

Création d'un pipeline complet d'analyse de données dans Azure, en passant par le traitement et la visualisation des données.

Missions principales

Extraction des données à partir de sources HTTP telles que les APIs et GitHub avec l'aide d'Azure Data Factory. Stockage sécurisé des données brutes, formant la couche Bronze de notre architecture médallion. Nettoyage, fusion et enrichissement des données avec Databricks, passant à la couche Silver. Raffinement et mise à disposition des données transformées via une couche Gold optimisée pour l'intelligence des affaires et les rapports. Délivrance de informations aux bénéficiaires via des tableaux de bord Power BI, permettant les prises de décisions en temps réel sur une donnée de qualité haute et gouvernée.

Profil recherché

Compétences en ingénierie des données Azure. Connaissance de Databricks, Power BI et autres outils Azure.