GCP Data Engineer — Incident-Ready Pipelines Lead

Mission principale

Au sein de l'équipe Data & Infrastructure, vous êtes le garant de la robustesse, de l'optimisation et de la disponibilité opérationnelle de nos pipelines de données sur Google Cloud Platform (GCP). Vous combinez des compétences solides en ingénierie des données avec une expertise de haut niveau en exploitation, maintien en condition opérationnelle (MCO) et enquête d'incidents.

Expertises requises & Stack Technique

Nous recherchons un profil avec une ancienneté asymétrique, mettant l'accent sur la robustesse de l'exploitation :

Cœur de compétences (Niveaux requis)

• Exploitation & Investigation d'incidents (Niveau 4/5 - Expert) : Capacité avancée à diagnostiquer, analyser les logs, identifier les causes racines (Root Cause Analysis) et résoudre rapidement les incidents de production sur des flux complexes de données.
• Environnement GCP (Niveau 3/5 - Confirmé) : Maîtrise opérationnelle de BigQuery (optimisation des requêtes, partitions, coûts) et de Cloud Run (déploiement de conteneurs, gestion des ressources).
• Système Linux (Niveau 3/5 - Confirmé) : Excellente maîtrise de l'administration système courante, du scripting et de la navigation en environnement serveur.

Infrastructure as Code et CI/CD

• Terraform (Niveau 2-3/5) : Capacité à lire, modifier et déployer de l'infrastructure Cloud sous forme de code.
• GitLab CI : Conception et maintenance des pipelines d'intégration et de déploiement continu (CI/CD).

Atouts & Compétences complémentaires

• Langages : Maîtrise de SQL (requêtes complexes et optimisation) et de Python (développement de scripts et de jobs data).
• Orchestration & Flux : Expérience sur Apache Airflow (création et monitoring de DAGs).
• Stockage & Transfert : Manipulation de Buckets S3 (ou équivalents Cloud Storage) et maîtrise des protocoles de transfert de fichiers sécurisés, notamment CFT (Cross File Transfer).

Responsabilités et Missions au quotidien

1. Exploitation, Supervision & Résolution d'Incidents (50%)

   Assurer le support de niveau 3 sur les plateformes de données et piloter la résolution des incidents de production.

   Analysez les métriques de performance et les logs pour anticiper les pannes ou les congestions de flux.

   Mettre en place des playbooks de remédiation pour automatiser la résolution des alertes récurrentes.

2. Ingénierie et optimisation GCP (30 %)

   Optimiser les coûts et les performances des architectures BigQuery et des services Cloud Run.

   Adapter et faire évoluer l'infrastructure via Terraform et industrialiser les déploiements via GitLab CI.

   Garantir la bonne intégration et sécurisation des protocoles de transfert (CFT) et du stockage objet (S3/GCS).

3. Maintenance des Pipelines & Évolution (20 %)

   Maintenir et optimiser les workflows d'orchestration de données sous Airflow.

   Développer ou corriger des scripts de traitement de données en Python et requêtes SQL.

   Collaborer avec les équipes de Build (Data Architects / Data Scientists) pour fluidifier le passage en production des nouveaux projets.