Data Engineer Databricks (H/F)

Rejoignez notre équipe pour construire l’avenir des données !

Type de contrat : CDI / Freelance (selon profil)

Localisation : Paris/Région Parisienne – Télétravail partiel

Date de début : Immédiate ou à convenir

Des missions stratégiques chez un client dans le secteur du transport. Ce projet ambitieux vise à moderniser et industrialiser son écosystème data en s’appuyant sur Databricks comme plateforme centrale. Vous rejoindrez une équipe hautement technique pour concevoir, développer et déployer des solutions data robustes, scalables et sécurisées, en collaboration avec des experts Data et Métiers.

Missions Principales

Conception et Architecture

• Définir l’architecture technique du Data Lakehouse sur Databricks, en alignement avec les besoins métiers et les contraintes techniques.
• Modéliser les flux de données (ingestion, transformation, stockage, exposition) en utilisant les bonnes pratiques Databricks (Delta Lake, Auto Loader, Unity Catalog).
• Optimiser les performances des pipelines (partitionnement, Z-ordering, Delta Cache, Spark optimizations).
• Garantir la résilience et la haute disponibilité (disaster recovery, monitoring, alerting).

Industrialisation des Pipelines

• Concevoir et développer des pipelines ETL/ELT pour ingérer des données depuis des sources variées.
• Automatiser les workflows avec Databricks Jobs, Airflow, ou dbt.
• Mettre en place des mécanismes de retry, de monitoring et de logging pour assurer la fiabilité des pipelines.

Gouvernance et Sécurité

• Implémenter des politiques de gouvernance avec Unity Catalog
• Sécuriser les données (chiffrement au repos et en transit, conformité RGPD).
• Documenter les processus et former les équipes métiers à l’utilisation des données.

Collaboration et Support

• Travailler en étroite collaboration avec les Data Scientists, Data Analysts et Architectes Data pour fournir des données exploitables.
• Participer aux revues techniques et proposer des améliorations continues.
• Former et accompagner les équipes internes sur les outils et bonnes pratiques Databricks.

Profil Recherché

-3+ ans d'éexperience sur databricks : Delta Lake, Spark SQL, Auto Loader, Unity Catalog, MLflow, Databricks SQL, Jobs, Workflows.

-4+ ans d'éxpérience dans la Big data & ETL/ELT : Spark (PySpark/Scala), dbt, Airflow, NiFi, Talend.

-2+ ans dans le Cloud : AWS (Glue, S3, Redshift), GCP (BigQuery, Dataflow), ou Azure (Data Factory, Synapse).

• Esprit d’équipe : Capacité à collaborer avec des profils techniques et métiers.
• Résolution de problèmes : Aptitude à diagnostiquer et résoudre des problèmes complexes.
• Communication : Capacité à expliquer des concepts techniques à des non-techniciens.
• Autonomie et proactivité : Recherche active d’améliorations et d’optimisations.

Pourquoi nous rejoindre ?

• Un projet à fort impact : Travailler sur un AO majeur pour un client stratégique dans votre secteur.
• Une stack moderne et innovante : Databricks, Spark, Delta Lake… Des technologies cutting-edge pour résoudre des défis data complexes.
• Une équipe d’experts : Collaborez avec des profils techniques et métiers passionnés.
• Une culture data-driven : Ici, les données guident chaque décision.
• Flexibilité : Télétravail partiel, formations continues, participation aux conférences (Databricks Data + AI Summit, etc.).
• Rémunération attractive : Package compétitif + primes selon performance.
• Opportunités d’évolution : Possibilité de devenir Lead Data Engineer, Data Architect, ou de se spécialiser dans des domaines comme le streaming ou la gouvernance.