Lead Data Engineer Streaming
PARIS, 75
il y a 23 jours
Contexte de la mission
Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming.
Vous serez responsable de la conception, de l'industrialisation et de l'optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux.
Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud.
Stack technique & environnement
Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy
Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours)
Orchestration : StreamSets, Airflow
Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy)
Langages : Python, Scala, SQL
CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE)
Monitoring : Grafana, Prometheus, Elastic Stack
Profil candidat:
Responsabilités
Piloter la conception et l'évolution des pipelines de données temps réel
Encadrer les data engineers et assurer la montée en compétence sur les outils de streaming
Définir les bonnes pratiques d'architecture et de développement (DataOps, CI/CD)
Participer aux choix technologiques et à l'architecture cible (Flink, Starburst, etc.)
Garantir la qualité, la sécurité et la traçabilité des données
Collaborer avec les équipes métier pour traduire les besoins en solutions techniques
Profil recherché
Minimum 7 ans d'expérience en data engineering, dont 3 ans sur des projets de streaming
Maîtrise avancée d'Apache Kafka et Spark Streaming en environnement distribué
Expérience en encadrement technique ou lead d'équipe
Maitrise de Flink
Expérience sur GCP ou autre cloud public
Capacité à dialoguer avec des profils techniques et métiers
Une expérience dans le secteur bancaire, financier ou en fintech est fortement apprécié
Show more Show less
Dans le cadre du programme de modernisation de la plateforme data du Groupe, vous rejoignez la direction Data Engineering de la DSI Banque de Proximité et Assurance (BPA) en tant que Lead Data Engineer spécialisé en streaming.
Vous serez responsable de la conception, de l'industrialisation et de l'optimisation des pipelines de données temps réel, en lien avec les enjeux métiers autour de la fraude, de la connaissance client, et de la supervision des parcours digitaux.
Vous encadrerez une équipe de 3 à 5 data engineers et collaborerez étroitement avec les architectes, les data scientists et les équipes cloud.
Stack technique & environnement
Streaming & ingestion : Apache Kafka (Confluent), Kafka Connect, REST Proxy
Traitement temps réel : Apache Spark Structured Streaming, Apache Flink (POC en cours)
Orchestration : StreamSets, Airflow
Cloud & stockage : Google Cloud Platform (BigQuery, Cloud Storage), Hadoop (legacy)
Langages : Python, Scala, SQL
CI/CD & Infra : GitLab CI, Terraform, Docker, Kubernetes (GKE)
Monitoring : Grafana, Prometheus, Elastic Stack
Profil candidat:
Responsabilités
Piloter la conception et l'évolution des pipelines de données temps réel
Encadrer les data engineers et assurer la montée en compétence sur les outils de streaming
Définir les bonnes pratiques d'architecture et de développement (DataOps, CI/CD)
Participer aux choix technologiques et à l'architecture cible (Flink, Starburst, etc.)
Garantir la qualité, la sécurité et la traçabilité des données
Collaborer avec les équipes métier pour traduire les besoins en solutions techniques
Profil recherché
Minimum 7 ans d'expérience en data engineering, dont 3 ans sur des projets de streaming
Maîtrise avancée d'Apache Kafka et Spark Streaming en environnement distribué
Expérience en encadrement technique ou lead d'équipe
Maitrise de Flink
Expérience sur GCP ou autre cloud public
Capacité à dialoguer avec des profils techniques et métiers
Une expérience dans le secteur bancaire, financier ou en fintech est fortement apprécié
Show more Show less
Entreprise
Free-Work
Plateforme de publication
JOBRAPIDO
Offres pouvant vous intéresser
PARIS, 75
il y a 6 jours
COURBEVOIE, 92
il y a 1 mois
VALBONNE, 06
il y a 1 mois
ÎLE-DE-FRANCE
il y a 20 jours