Data Engineer / DataOps (H/F)

Contexte de la mission

Dans le cadre de la refonte complète d’un Data Lake stratégique, nous recherchons un profil Data Engineer orienté DataOps / MLOps afin d’accompagner la mise en place d’une plateforme data moderne, scalable et gouvernée.

Le projet repose sur une architecture Medallion (Bronze / Silver / Gold) et intègre plusieurs technologies modernes liées à l’ingestion, la transformation, l’orchestration et la gouvernance des données.

Le consultant interviendra à la fois sur les aspects Data Engineering , industrialisation , CI/CD , déploiement de pipelines et automatisation des workflows data .

Missions principales

Analyse de l’existant & Migration

• Cartographier les sources de données, pipelines et flux existants

• Participer à la définition de la stratégie de migration vers le nouveau Data Lake

• Concevoir les plans de bascule tout en minimisant les impacts de production

Architecture & Ingestion

• Concevoir les couches Bronze / Silver / Gold du Data Lake

• Développer les pipelines d’ingestion batch et near real-time

• Participer à l’optimisation des flux de données et des performances

Transformation & Modélisation

• Développer les modèles de transformation avec dbt

• Mettre en place les tests automatisés et la documentation technique

• Harmoniser les schémas et standards de données

DataOps / DevOps

• Mettre en œuvre les pipelines CI/CD pour les traitements data

• Industrialiser les déploiements et automatiser les workflows

• Participer à la supervision, au monitoring et à l’observabilité des pipelines

• Collaborer avec les équipes DevOps et Infrastructure

Orchestration & Gouvernance

• Déployer et maintenir les workflows avec Argo Workflows

• Participer à la gouvernance des métadonnées et de la qualité des données

• Contribuer à l’amélioration continue des pratiques DataOps

Compétences techniques impératives

• Data Engineering

• SQL avancé

• dbt

• CI/CD & automatisation

• Déploiement de pipelines data

• Bonne culture DevOps / DataOps

Technologies

• TrinoDB

• Apache Iceberg

• Parquet

• Argo Workflows

• Apache Superset

• Metabase

• OpenMetadata

Compétences appréciées

• Kubernetes

• Docker

• GitLab CI/CD ou Jenkins

• Python

• Environnements Cloud & orchestration data