Data Engineer Senior Python - Secteur Défense (H/F)

Contexte

Au sein d'un environnement défense à fortes contraintes (sécurité, traçabilité, disponibilité), vous intégrez une équipe data en charge de construire et fiabiliser une plateforme de données et des pipelines industrialisés pour des cas d'usage à fort impact opérationnel.

Vos missions Concevoir et développer des pipelines d'ingestion / transformation robustes (batch et selon besoin, streaming).

Industrialiser l'orchestration (planification, dépendances, relances, SLA) via un orchestrateur type Airflow.

Traiter et transformer la donnée à l'échelle via Spark / Py

Spark (performance, partitionnement, optimisation).

Structurer les couches de transformation et la qualité des données avec une approche "data products" (tests, documentation, règles de qualité), potentiellement via dbt si pertinent.

Mettre en place l'observabilité : logs, métriques, alerting, dashboards, suivi de qualité et traçabilité.

Contribuer aux choix d'architecture (formats, stockage, modèles, conventions, outillage), en gardant en tête les contraintes sécurité / conformité.

Travailler en transverse avec les équipes logiciel, infra et cyber (revues, durcissement, bonnes pratiques).

Environnement technique

On s'aligne sur des briques éprouvées data engineering modernes; le mix exact dépendra de l'archi projet, mais l'ADN reste : Python / industrialisation / data platform.

Langages : Python (expert), SQLOrchestration : Apache Airflow (DAGs, scheduling, monitoring)

Processing : Apache Spark / Py

Spark (batch + éventuel streaming)

Transformation : dbt (optionnel mais très apprécié)

Data stack : formats colonne (Parquet), lake/lakehouse (selon contexte), API / fichiers / bases

Ops : Git, CI/CD, Docker (Kubernetes apprécié), tests (pytest), qualité (Great Expectations apprécié)

Monitoring : Grafana/Prometheus/ELK