Data Engineer – Data Quality & Governance
Contexte de la mission
Dans le cadre du développement de son équipe Data Accelerator (DAC), notre client recherche un Data Engineer confirmé orienté Data Quality et Data Governance.
DAC est une équipe transverse en charge d’accompagner les équipes métiers et IT sur l’ensemble de la chaîne de valeur de la donnée : collecte, ingestion, transformation, industrialisation, gouvernance et optimisation des performances.
L’environnement s’appuie principalement sur les technologies AWS, Databricks, Dataiku et Collibra, avec un fort enjeu autour de la qualité, de la fiabilisation et de la structuration des données au sein du Data Lake.
Le consultant interviendra dans un contexte stratégique avec une forte collaboration avec les équipes Data Analysts, Data Scientists ainsi qu’avec le Chief Data Officer.
Missions principales - Qualification et gestion des données
- Captation des données structurées et non structurées provenant de multiples sources
- Intégration et supervision des flux de données
- Structuration de la donnée (normalisation, sémantique, référentiel)
- Cartographie des données disponibles
- Nettoyage des données (suppression des doublons, contrôle qualité)
- Validation et qualification des données avant intégration dans le Data Lake
- Participation à la création et à l’amélioration des référentiels de données
Industrialisation et performance
- Développement et optimisation des traitements data
- Amélioration des performances et maîtrise des coûts des plateformes data
- Participation aux développements correctifs, évolutifs et adaptatifs
- Contribution aux dossiers d’architecture
- Production des tableaux de bord de suivi
Gouvernance & collaboration
- Participation à la définition de la politique data
- Respect des standards de sécurité, gouvernance et conformité
- Collaboration avec les équipes métiers, IT et gouvernance data
- Contribution à l’industrialisation des cas d’usage Data & GenAI