Data Engineer GCP / Hadoop – Projet DatOps (h/f)

Introduction & Résumé

Nous recherchons un Data Engineer GCP / Hadoop pour participer à la réalisation des évolutions techniques dans le cadre du projet DatOps . Ce rôle requiert une expertise solide en Google Cloud Platform et Hadoop , ainsi qu'une capacité à collaborer efficacement avec les équipes de production et DevOps. Le candidat idéal doit faire preuve d'initiative, d'autonomie, et posséder une forte capacité d'analyse.

Responsabilités Principales

• Concevoir et mettre en œuvre de nouvelles chaînes d'ingestion de données.
• Réaliser les traitements de préparation, transformation et enrichissement des données.
• Assurer le maintien en conditions opérationnelles des pipelines de données.
• Participer à l'industrialisation des flux de données.
• Identifier les besoins d'évolution de la plateforme.
• Assurer la documentation technique et proposer des bonnes pratiques.
• Contribuer à l'optimisation des performances des traitements.
• Participer aux cérémonies Agile/SCRUM.

Exigences Clés

• Expérience en Data Engineering sur Google Cloud Platform (GCP).
• Compétences en BigQuery et Google Cloud Storage.
• Maîtrise avancée de SQL et Python orienté objet.
• Familiarité avec Apache Spark et Hadoop.
• Expérience avec Git et Bash scripting.