Data Engineer GCP H/F

Overview

Le Big Data est aujourd’hui au cœur de la transformation digitale des entreprises. Chez nous, il ne s’agit pas seulement de technologie, mais d’un véritable levier de création de valeur pour nos clients. Vous êtes passionné(e) par la data, curieux(se) des technologies de pointe et motivé(e) par des projets complexes et innovants ?

Au sein de notre Business Unit Open Data & IA, vous interviendrez sur des missions à forte valeur ajoutée pour des clients Grands Comptes, dans un environnement hybride, agile et collaboratif.

Responsabilités

• Ingestion & Flux de données: conception, optimisation et déploiement de pipelines d’ingestion de données vers Google Cloud BigQuery.
• Transformation des données: conception et implémentation de pipelines de transformation dans BigQuery.
• Architecture événementielle: automatisation du flux de données dès leur mise à disposition en exploitant les services GCP tels que Pub/Sub et Eventarc (Event-Driven Architecture).
• Orchestration Data/ML: mise en œuvre et gestion de l’orchestration globale des flux de données, du traitement initial jusqu’au lancement des services de calcul et de Machine Learning.
• Exploitabilité de la solution: garantie de haute disponibilité et maintenance par une stratégie de logging, des mécanismes de gestion d’erreurs et un monitoring efficace.
• Industrialisation & DevOps: amélioration continue de la chaîne CI/CD et sécurisation du déploiement en production. Environnement fonctionnel & technique Plateforme Cloud: Google Cloud Platform (GCP) maîtrisée dans l’ensemble de la plateforme.
• Environnnement & métiers: méthodes et outils orientés DevOps sur GCP; culture d’amélioration continue de la CI/CD.

Compétences & Technologies

• Data Warehouse: BigQuery (SQL avancé requis).
• Flux & Ingestion: Dataflow, Dataform, Eventarc, Pub/Sub.
• Orchestration: Google Cloud Workflows, Airflow, Kubeflow.
• Compute & Virtualisation: Cloud Run, Docker, notions sur Dataproc (PySpark) et GKE (Kubernetes).
• Observabilité & DevOps: logging et monitoring sur GCP.
• CI/CD: pratiques d’intégration et déploiement continus sur GCP.

Environnement de Développement

• Langages: Python (transformation de données et automation), SQL, notions de script Shell.
• Méthodes & Outils: culture DevOps appliquée à l’écosystème GCP; approche d’amélioration continue de la CI/CD.

Outils & Technologies

• Data Engineering: BigQuery, Dataflow, Dataform, Pub/Sub, Eventarc, Cloud Workflows.
• Orchestration: Airflow, Cloud Workflows.
• Déploiement & Conteneurisation: Docker, Cloud Run, notions de GKE.
• Langages de scripting: Python, SQL, Shell.
• Observabilité: solutions de logging et monitoring GCP.
• CI/CD: pratiques liées à la chaîne d’intégration et de déploiement continus sur GCP.

Compétences Optionnelles

• Data Science: compréhension du cycle de vie d’un modèle Machine Learning.
• Visualisation de Données: connaissance de Power BI.