Data Engineer GCP

Missions

• Mise en place de pipelines d’ingestion des données cliniques depuis les systèmes on-premise vers GCP (Python, GCS, BigQuery, Argo Workflows, Docker, GKE).

• Transformation des données via dbt selon les modèles métiers définis.

• Gestion de l’infrastructure cloud de la plateforme data (création des ressources, gestion des accès) avec Terraform .

• Orchestration et automatisation des workflows de données sur GKE via Argo Workflows .

• Développement du backend d’un portail utilisateur pour l’accès aux services de la plateforme (Flask).

• Création d’un connecteur entre GCP et l’outil de dictionnaire des données pour la remontée et la restitution des métadonnées (Python, DataGalaxy).

• Développement, maintenance des chaînes CI/CD (Git, Gitlab CI/CD).

• Mise en place de la supervision et du monitoring des pipelines de données.

• Rédaction de la documentation technique liée aux développements réalisés.

Environnement technique

• GCP, GKE, Argo Workflows, BigQuery, Cloud Run, Cloud Functions, Pub/Sub, Cloud Storage

• Python, Terraform, Docker, Kubernetes, SQL, Git, Gitlab CI/CD, Bash