DATA ENGINEER / INGENIEUR DATA (IT) / Freelance

Contexte

Dans le cadre de l'accélération de sa transformation Data, un grand groupe international renforce son équipe Data Europe afin de développer des plateformes de données et des produits Data répondant aux besoins opérationnels et décisionnels des différentes entités européennes.

L'équipe intervient dans un environnement en pleine évolution, où certaines plateformes Data globales sont encore en cours de déploiement. Afin de répondre rapidement aux besoins métiers, des solutions régionales sont développées tout en respectant les standards d'architecture du Groupe et en garantissant leur intégration future dans l'écosystème cible.

Dans ce contexte, nous recherchons un Senior Data Engineer capable de concevoir, développer et industrialiser des solutions Data robustes, évolutives et performantes.

Vos missions

En tant que Senior Data Engineer, vous participerez à toutes les étapes de la chaîne de valeur Data, de la conception jusqu'à la mise en production.

Architecture Data

• Concevoir des architectures Data évolutives et maintenables.
• Définir les différentes couches de données (Raw, Curated, Consumption/Data Mart).
• Garantir l'alignement des solutions avec les standards d'architecture Data de l'entreprise.
• Participer aux choix techniques et aux évolutions de la plateforme.

Développement des pipelines de données

Vous serez responsable de la conception, du développement et de l'optimisation des pipelines de données.

À ce titre, vous devrez :

• Développer des pipelines ETL / ELT industrialisés.
• Concevoir des flux de chargement batch et incrémentaux.
• Mettre en œuvre des traitements réutilisables et évolutifs.
• Assurer la fiabilité et la maintenabilité des traitements.
• Optimiser les performances des pipelines.

Modélisation des données

Vous participerez à la conception du modèle décisionnel.

Vos responsabilités comprendront :

• La modélisation dimensionnelle.
• La création de tables de faits et de dimensions.
• La conception de Data Marts orientés métier.
• La standardisation des jeux de données destinés au reporting et aux KPI.

Optimisation des performances

Vous serez garant de la performance de la plateforme Data.

Vous interviendrez notamment sur :

• L'optimisation des requêtes SQL.
• L'amélioration des performances des traitements.
• L'optimisation des ressources de calcul et de stockage.
• La réduction des coûts d'exploitation.

Qualité des données

Vous contribuerez à garantir la qualité et la fiabilité des données.

Vous mettrez en œuvre :

• Des règles de contrôle qualité.
• Des mécanismes de validation des données.
• Des procédures de suivi des incidents.
• Des outils de supervision et d'observabilité.

Gouvernance et sécurité

Vous appliquerez les bonnes pratiques de gouvernance des données.

Vos missions incluront notamment :

• La gestion des droits d'accès (RBAC).
• La documentation des flux de données.
• Le respect des normes de sécurité.
• La gestion du cycle de vie des données.
• La traçabilité des données (Data Lineage).

Orchestration

Vous développerez et maintiendrez les workflows d'orchestration.

Vous serez amené à :

• Concevoir des DAGs Airflow.
• Gérer les dépendances entre traitements.
• Mettre en place des mécanismes de reprise sur incident.
• Superviser les traitements automatisés.

Collaboration

Vous travaillerez en étroite collaboration avec :

• les Business Analysts
• les Product Owners
• les équipes BI et Analytics
• les équipes techniques
• les parties prenantes métier

Vous participerez aux ateliers de conception, aux cérémonies Agile et aux phases de recette.

Documentation

Vous produirez une documentation claire et maintenable portant sur :

• l'architecture des solutions
• les pipelines développés
• les modèles de données
• les procédures d'exploitation
• les transferts de connaissances

Livrables attendus

Le consultant interviendra sur la production des livrables suivants :

Architecture

• Schémas d'architecture Data.
• Documentation technique.
• Cartographie des flux de données.
• Mapping Source → Cible.

Développement

• Pipelines ETL/ELT prêts pour la production.
• Workflows Airflow.
• Modèles dbt.
• Frameworks d'ingestion.
• Scripts SQL.

Modélisation

• Modèles dimensionnels.
• Tables de faits et dimensions.
• Data Marts certifiés.
• Jeux de données destinés au reporting.

Qualité

• Règles de contrôle.
• Scripts de validation.
• Tableaux de bord de supervision.
• Rapports de qualité.

Gouvernance

• Documentation des accès.
• Data Lineage.
• Standards de développement.
• Documentation de conformité.

Optimisation

• Optimisation SQL.
• Optimisation des performances.
• Optimisation des coûts.
• Recommandations d'amélioration.

Intégration

• Jeux de données destinés aux outils BI.
• Interfaces avec les applications consommatrices.
• Documentation des échanges de données.

Tests

• Tests unitaires.
• Tests d'intégration.
• Support aux phases de recette.
• Validation avant mise en production.

Amélioration continue

• Refactoring des traitements.
• Automatisation des processus.
• Propositions d'évolution de la plateforme.

Environnement technique

Plateforme Data

• Snowflake
• dbt
• Apache Airflow

Cloud

• AWS

Langages

• SQL avancé

DevOps

• Git
• CI/CD

Méthodologie

• Agile / Scrum

Outils

• Jira
• Confluence
• Lucid