Data Engineer F/H

Le/la data engineer est un développeur informatique qui a pour mission de mettre en place la collecte et la mise à disposition des données au sein de l’entreprise. Il/elle est également en charge d’industrialiser et mettre en production des traitements sur les données (par exemple : mise à disposition de tableaux de bord, intégration de modèles statistiques) en lien avec les équipes métiers et les équipes qui les analysent.

Missions principales

Acheminement de la donnée

• Recueillir les besoins métiers des différentes unités demandeuses et utilisatrices de solutions de collecte et stockage de la donnée.
• Développer les solutions techniques de collecte de la donnée via des API.
• Développer des solutions techniques de stockage de la donnée (Hadoop).
• Réaliser les tests unitaires et d’intégration.
• Mettre en place et maintenir les batchs, c’est-à-dire les automatisations d’une série de traitements.

Mise à disposition des données aux équipes utilisatrices

• Industrialiser et automatiser le nettoyage de la donnée selon les spécifications retenues.
• Gérer, maintenir et documenter de multiples bases de données (via l’importation de données externes en open data ou de données internes par exemple).
• Gérer le cycle de vie de la donnée conformément aux directives inscrites dans le RGPD.
• Assurer le suivi de production et la maintenance.

Mise en production de modèles statistiques dans les applications

• Développer l’industrialisation de modèles statistiques ou de machine learning.
• Implémentation du suivi de la validité du modèle statistique.
• Assurer le suivi de production et la maintenance.

Suivi des projets de développement

• Établir les spécifications techniques à partir de l’analyse des besoins.
• Reporter l’activité auprès du chef de projet.
• Automatiser la création de tableaux de bord aux équipes métiers (envoi de fichiers via des applications dédiées).
• Assurer une veille technologique sur les outils big data.
• Écrire la documentation relative aux bases de données (règles de gestion, dictionnaire des variables…).