Data Engineer GCP & Big Data

Construction de Pipelines Data :

• Développer des pipelines batch robustes avec Apache Beam / Dataflow pour traiter des volumes de données massifs (TB+)
• Concevoir des pipelines de streaming temps réel avec Pub/Sub et Dataflow Streaming pour l’ingéstion événementielle
• Gérer l’ingéstion multi-sources complexe : APIs REST/GraphQL, bases relationnelles (CDC), fichiers plats, données semi-structurées (JSON, Avro, Parquet)
• Orchestrer les workflows de données avec Cloud Composer (Airflow) : dépendances, retry policies, alerting et SLA monitoring
• Implémenter les stratégies de gestion d’erreurs : dead letter queues, idempotence et exactly-once processing

Architecture & Modélisation :

• Designer le Data Warehouse BigQuery avec une architecture en couches (raw, staging, curated, serving) selon les bonnes pratiques
• Appliquer la modélisation dimensionnelle (étoile/flocon) et les techniques de Slowly Changing Dimensions (SCD Type 1/2/3)
• Optimiser les performances BigQuery : Partitioning (time/range), Clustering, materialized views et BI Engine
• Concevoir le Data Lake sur Cloud Storage avec une convention de nommage et un cycle de vie adapté (Nearline, Coldline, Archive)

Qualité & Gouvernance :

• Mettre en place la Data Quality avec dbt tests, Great Expectations et contrôles de cohérence inter-tables
• Implémenter le catalogage des données avec Dataplex : discovery, classification automatique et tagging métier
• Assurer la traçabilité complète des données (lineage) avec Data Catalog et les metadata BigQuery
• Définir et appliquer les politiques de Data Masking et de contrôle d’accès au niveau colonne (column-level security)

Industrialisation & DevOps Data :

• Industrialiser les déploiements avec CI/CD pour la Data : tests unitaires dbt, validation de schémas et promotion d’environnements
• Provisionner l’infrastructure Data via Terraform : datasets BigQuery, topics Pub/Sub, buckets et DAGs Composer
• Documenter les pipelines, les modèles de données et les runbooks opérationnels pour assurer la maintenabilité

Formation :

Titulaire d’un diplôme Bac+5 en Informatique ou Data Science.

Expérience :

Fort(e) d’une expérience de 2 à 4 ans en Data Engineering avec un focus sur BigQuery.

Compétences Techniques (Hard skills) :

• Expert SQL avec requêtes complexes et optimisation
• Bonne maîtrise Python pour scripting et transformations
• Expérience BigQuery, Dataflow, Pub/Sub, Cloud Storage
• Connaissance Airflow, dbt, Terraform

Compétences Comportementales (Soft skills) :

• Rigueur et sens de la qualité des données
• Autonomie et capacité à travailler en équipe
• Curiosité pour les services managés GCP