Data Platform Engineer

Nous construisons. Nous créons un impact positif.

En tant que Data Platform Engineering / DataOps vous êtes chargé(e) de créer des pipelines de production et de renforcer l’écosystème à l’aide de normes de contrôle qualité, mesures de gouvernance et observabilité afin que les équipes produit livrent plus rapidement des données fiables.

Vos projets

1. Migrer les architectures multi-technologies Databricks Unity Catalog dbt
   • Évaluer les flux existants (batch/stream orchestrations modèles coût/performance) et définir des modèles cibles (Delta Lake Databricks Jobs/Workflows modèles dbt).
   • Réécrire les pipelines (Kubernetes/Airflow/Spark/SQL) et replatformer les modèles dans dbt en appliquant les conventions de nommage, les tests et la documentation.
   • Intégrer les actifs dans Unity Catalog (RBAC/ACL linéage masquage des données/PII), structurer les catalogues/schemas et gérer les autorisations.
2. DataOps & reliability
   • Mettre en œuvre des systèmes robustes et tolérants aux pannes pour ingéster et traiter les données.
   • Renforcer la CI/CD des données (tests dbt dans PR, linting, vérifications de schéma) et l’orchestration avec réessai/backoff, dépendances et conformité aux SLAs.
   • Déployer l’observabilité de bout en bout (métriques du pipeline, fraîcheur, couverture des tests) et les alertes (ex. Datadog) avec des playbooks et un objectif MTTR.
   • Définir et surveiller les contrats de données et les SLO avec les équipes consommatrices et garantir la conformité.
   • Tenir à jour la documentation (catalogue, définitions des métriques, journaux, modifications) et créer des runbooks standardisés pour laudit et déploiement des données.
3. Continuous Improvement
   • Optimiser les tâches/tables Delta (partitioning, ZOrder, OPTIMIZE, autoscaling) ; surveiller les coûts/performances (budget rentabilité unitaire par pipeline).
4. Collaboration & enablement
   • Travailler en collaboration avec diverses équipes (data science, infrastructure, logiciel, produit, conseil) pour comprendre leurs besoins en matière de données et leur fournir des solutions.
   • Collaborer avec les Client Analytics Engineers afin de traduire les besoins des retailers en modèles fiables et faciles à maintenir.
   • Diffuser les bonnes pratiques (modèles dbt, guides d’intégration, listes de contrôle qualité).
   • Former les membres de l’équipe à l’interrogation SQL dans Databricks et diriger les mises à jour pendant les sessions Data Domain.
5. Vos missions
   • Déployer les directives existantes pour migrer les pipelines d’ingestion/ELT sur Databricks (jobs/workflows Spark/SQL) et les modèles dbt avec des tests et documents.
   • Créer des blocs de code standardisés à utiliser par le reste de l’équipe et gérer les PRs acceptées pour limiter la dette technique.
   • Déployer l’observabilité (dashboard Datadog, alertes) et réduire le MTTR à l’aide de runbooks exploitables.
   • Gérer les ensembles de données sous Unity Catalog (catalogues/schemas/tables, linéage, accès, masquage) afin de garantir conformité et sécurité.
   • Piloter les contrats de données et les SLO, surveiller la fraîcheur/qualité/dérive des schémas.
   • Tenir à jour une documentation claire et fournir des modèles pour accélérer les migrations ultérieures.

Qualifications

• 3 à 5 ans d’expérience en Data Engineering / DataOps avec livraison en production.
• Maîtrise de SQL et Spark ; expérience pratique de Databricks (Jobs/Workflows Delta) y compris l’optimisation des coûts/performances (autoscaling, spot, tuning).
• Expérience pratique avec dbt (modèles, tests, documentation) ou d’autres tests : un plus.
• Solide compréhension de la gouvernance avec Unity Catalog (RBAC, linéage, PII).
• Esprit CI/CD et culture d’observabilité (tests automatisés, métriques, alertes, runbooks) idéalement avec Datadog.
• Connaissance des conteneurs (Docker/K8s), streaming (Kafka/Event Hubs) et orchestrateurs (Airflow, Prefect, Dagster) appréciéelin
• Expérience en analyse de données dans le domaine du retail (ventes, marges, promotions, fidélisation) appréciée.
• Esprit d’équipe et excellentes compétences en communication pour collaborer avec des équipes interfonctionnelles, indispensables.