Data engineer

Contexte

Dans le cadre du développement de ses systèmes d'information Épargne Salariale et Retraite, les bénéficiaires doivent recourir à une prestation externe pour fournir assistance à la modernisation de la plateforme BI.

Objectif de la prestation

Mettre en place des solutions répondant aux besoins couverts par l’existant et permettant de proposer de nouveaux services, tout en utilisant les outils validés et mis à disposition par le groupe.

Responsabilités

• Le développement d’une solution de collecte de données
• Le développement d’un système de stockage de la donnée
• Documentation des développements
• Réalisation de tests unitaires
• Mise en place d’un suivi des traitements
• Assistance à la recette par la MOA / les utilisateurs
• Production de comptes rendus aux pilotes sur l’avancement du projet et les blocages rencontrés
• Réalisation d’études avec les équipes transverses du client

Environnement fonctionnel

La prestation se déroulera au sein du service IT en charge de la maintenance applicative.

Environnement technique

• Langages de programmation : Python, Spark, PySpark, SQL
• Outil de gestion de version : Git
• Intégration continue : JENKINS
• Ticketing : JIRA
• Documentation : Confluence
• Poste de travail : Windows 10 avec WSL (Windows Subsystem for Linux)
• Outils de la plateforme actuelle : Informatica, DAC, OBIEE, Eclipse BIRT, Oracle 19
• Outils de la plateforme cible : Dagster, Trino, S3

Résultats attendus / Livrables

• Respect du planning détaillé validé
• Estimation des charges MOE
• Mise en œuvre des solutions développées
• Programme testé et prêt à la recette par les utilisateurs / MOA
• Tests unitaires des développements effectués
• Suivi d’avancement des tâches du projet en cours
• Documentation technique
• Amélioration continue des processus de développements

Pré-requis et éléments indispensables

• Python, Spark appliqué à la data
• Machine learning appliqué à la donnée (scikit-learn, feature engineering)
• Connaissance relationnelle pour les échanges avec le métier
• Expérience avec Informatica
• Connaissance des outils LLM/GenAI pour l'accès et l'exploration de la donnée

Profil du candidat

Expert en gestion de données, de préférence avec expérience sur Dagster, mais Airflow est acceptable. Une solide connaissance de Python et PySpark est essentielle.