Data Engineer Senior Cloud Platform Paiement (IT) / Freelance (H/F)

RÉSUMÉ EXPRESS Data Engineer senior (4 ans+, Bac+5) pour construire et opérer les pipelines data d'une plateforme cloud de paiement à fort volume transactionnel. Il maîtrise Python/PySpark et Databricks en production, conçoit les architectures data lakehouse sur AWS (S3, Redshift), optimise les jobs Spark et garantit la fiabilité et la qualité des données pour les usages analytics et ML. Expérience fintech ou paiement fortement appréciée. 2 jours de télétravail par semaine / Anglais professionnel opérationnel obligatoire.

Missions principales

• Design & Construction des Pipelines Data : Concevoir et construire les pipelines ETL/ELT d'ingestion, transformation et chargement depuis de multiples sources (terminaux POS, APIs, systèmes de paiement); choisir les patterns adaptés selon les cas d'usage : batch vs streaming, data warehouse vs data lake vs lakehouse; développer en Python/PySpark avec des pratiques d'ingénierie logicielle solides (tests, packaging, code maintenable).
• Databricks & Optimisation Spark : Construire et optimiser les workflows Databricks (Jobs, Delta Live Tables) en production sur des volumes significatifs; optimiser les jobs Spark : partitionnement, broadcast joins, caching, memory management, tuning des performances et des coûts.
• Architecture Data & Stockage AWS : Concevoir les structures de données et les patterns de stockage sur AWS (S3, Redshift, formats Parquet/Delta/Iceberg); modéliser et optimiser les données dans Redshift (distribution keys, sort keys, requêtes analytiques); gérer la sécurité des données dans un contexte de données de paiement sensibles (IAM, chiffrement, conformité).
• Fiabilité Production & Qualité des Données : Assurer le monitoring et l'alerting des pipelines en production, intervenir sur les incidents (données manquantes, pipeline en retard, données corrompues); mettre en place des contrôles de qualité des données (data validation, schema evolution, data lineage).
• Collaboration & Veille : Travailler avec les data scientists pour comprendre leurs besoins et leur fournir des datasets de qualité pour le ML; assurer une veille technologique active sur les nouvelles technologies et best practices data.

Profil candidat

• Bac+5, 4 ans minimum en data engineering.
• Expérience Databricks et Spark en production réelle sur des volumes significatifs.
• Expérience sur une data platform cloud AWS (S3, Redshift, Glue ou équivalent) en conditions de production.
• Expérience en contexte fintech, paiement ou IoT (données à fort volume) : fortement appréciée.
• Anglais upper-intermediate opérationnel (B2).
• Compétences requises : Python / PySpark (développement de pipelines data, transformations complexes, code maintenable et testé, niveau développeur senior), Databricks (Jobs, Delta Live Tables, gestion des clusters, optimisation Spark), Apache Spark, AWS Data Services (Redshift, S3, IAM), ETL/ELT & Orchestration (Airflow ou AWS Step Functions probable), Delta Lake / Lakehouse patterns, Qualité & Sécurité des Données (data validation, schema evolution, data lineage, PCI-DSS).
• Compétences complémentaires appréciées : Java Spring Boot, Scala, NoSQL (DynamoDB, MongoDB).

Type de contrat : Profession libérale / Emploi non salarié.