Data Engineer QA / Data Quality Engineer — Cloud Platform Paiement (IT) / Freelance

RÉSUMÉ EXPRESS

Data Quality Engineer senior (4 ans+, Bac+5) pour garantir la fiabilité des données d'une plateforme cloud de paiement à fort volume transactionnel. Il conçoit et implémente un framework de Data Quality automatisé, intègre les tests dans les pipelines Databricks/Spark et les pipelines CI/CD, met en place la data observabilité en production et évangélise les bonnes pratiques QA auprès de l'équipe Data Platform. Profil hybride rare : expertise data engineering + culture QA appliquée à la donnée. Expérience fintech ou paiement fortement appréciée.

2 jours de TT par semaine / Anglais professionnel opérationnel (B2) obligatoire.

Missions principales

Framework de Data Quality

• Concevoir et implémenter un framework de validation des données couvrant les dimensions classiques : complétude, cohérence, unicité, précision, fraîcheur
• Développer des règles de validation custom en Python (Great Expectations, Soda Core, Pandera, dbt tests ou équivalent) et les intégrer dans les pipelines en production
• Définir et faire respecter les data contracts entre producteurs et consommateurs de données (schémas, SLAs, sémantiques)

Tests Automatisés Data

• Concevoir et implémenter des tests unitaires pour les transformations Spark/Python (pytest, fixtures data), des tests d'intégration pour les pipelines et des tests de régression sur les sorties
• Intégrer les tests de qualité dans les pipelines CI/CD (GitLab CI) comme gates qualité automatiques avant déploiement
• Appliquer les pratiques QA software à la donnée - shift-left quality dès la phase de développement

Data Observabilité & Monitoring Production

• Mettre en place le monitoring de la qualité des données en production : alerting sur anomalies, détection de data drift, tableaux de bord de santé des données
• Définir les seuils d'alerte et les mécanismes de détection d'anomalies sur les flux transactionnels
• Intervenir sur les incidents de qualité en production (données manquantes, pipeline en retard, données corrompues)

Validation Databricks / Spark à l'Échelle

• Intégrer des checks de qualité dans les pipelines Spark/Databricks (Delta Live Tables, Jobs) sans dégrader les performances
• Gérer la validation de schémas Delta Lake, les assertions sur les données et le logging des erreurs de qualité à grande échelle

Évangélisation & Shift-Left

• Promouvoir les bonnes pratiques QA auprès des data engineers : tests intégrés dès le développement, data contracts, documentation des règles de qualité
• Former et accompagner l'équipe Data Platform dans l'adoption des pratiques de qualité