Chargement en cours

Data engineer - Python & Streaming (H/F)

ÎLE-DE-FRANCE
il y a 1 mois
Au sein de notre direction Data, vous rejoignez une équipe d'ingénierie de pointe pour concevoir, bâtir et maintenir une infrastructure de données robuste, performante et entièrement on-premise. Dans cet environnement autogéré, vous jouerez un rôle clé dans la mise en place de pipelines de données haute disponibilité (Batch & Real-time) et garantirez une résilience maximale de notre écosystème Big Data
Vos Missions :
  • Ingénierie de Pipelines : Concevoir et développer des pipelines de données scalables avec Apache Flink (streaming) et Apache Airflow (orchestration).
  • Expertise Python & ETL : Produire un code Python de haute qualité (propre, testé et efficient) pour les processus ETL/ELT complexes et les outils internes.
  • Architecture Messaging & Observabilité : Opérer des clusters Apache Kafka à haut débit et administrer l'intégralité de la stack ELK (Elasticsearch, Logstash, Kibana) pour l'indexation et l'observabilité.
  • Collaboration & Dev

Ops : Travailler en étroite collaboration avec les équipes Dev

Ops sur la planification de capacité et le cycle de vie des clusters sous Kubernetes. - Mentorat : Accompagner la montée en compétences des profils juniors et promouvoir les bonnes pratiques de développement (Tests, CI/CD, Qualité de code).

Entreprise
CHARLI GROUP
Plateforme de publication
JOBRAPIDO
Offres pouvant vous intéresser
Soyez le premier à postuler aux nouvelles offres
Soyez le premier à postuler aux nouvelles offres
Créez gratuitement et simplement une alerte pour être averti de l’ajout de nouvelles offres correspondant à vos attentes.
* Champs obligatoires
Ex: boulanger, comptable ou infirmière
Alerte crée avec succès