Data Engineer Databricks/AWS

Overview

Le Data Engineer supervise et intègre des données de natures diverses provenant de sources multiples ; il vérifie la qualité des données entrant dans le Data Lake, en effectuant notamment des tests, la déduplication et les activités d'assurance qualité associées.

Responsabilités principales

• Collecte de données structurées et non structurées produites par différentes applications ou provenant de sources externes à l'entité
• Intégration des éléments
• Structuration des données (sémantique, etc.)
• Cartographie des éléments disponibles
• Nettoyage des données (élimination des doublons, etc.)
• Validation des données
• Création éventuelle du référentiel de données
• La plateforme de données permet à tous les domaines producteurs de données de mettre à disposition des données brutes ou retravaillées dans un Data Lake. Cette plateforme gère notamment les fonctionnalités et les données relevant du périmètre métier « Relation Réseau ». Elle permet :
• L'intégration et l'assurance qualité des données brutes reçues des distributeurs
• La mise à disposition de données GRD exploitables pour tous les besoins du segment et de l'organisation (qu'il s'agisse de besoins opérationnels ou analytiques issus de tous les domaines métiers)

Principales missions

• Maîtrise des outils Databricks (création de jobs, clusters, notebooks) et capacité à effectuer des requêtes SQL efficaces
• Maintien en conditions opérationnelles de la plateforme de production (analyse et correction d'incidents et d'anomalies)
• Développement de jobs d'ingestion et de transformation de données en Python avec Spark pour traiter de grands volumes de données
• Apport d'une vision à long terme, tant sur le plan opérationnel que stratégique pour la plateforme de données
• Soutien et promotion des meilleures pratiques
• Participation aux ateliers de conception technique et fonctionnelle
• Rédaction et mise à jour de la documentation technique