Data engineer AWS Python Apache Iceberg H/F

Missions principales

1. Conception et développement de pipelines de données

Concevoir, développer et maintenir des pipelines ETL/ELT pour collecter, transformer et charger des données massives (batch et streaming).

Utiliser Apache Kafka pour la gestion des flux de données en temps réel.

Implémenter des solutions de stockage optimisé avec Apache Iceberg (tables ACID, time travel, partitionnement).

Automatiser les processus de traitement de données à grande échelle.

2. Intégration et optimisation des données

Travailler avec des formats de données JSON (parsing, validation, transformation).

Optimiser les performances des pipelines (vitesse, scalabilité, fiabilité) sur AWS (Glue, Lambda, EMR, Kinesis).

Mettre en place des mécanismes de qualité des données (data validation, monitoring, alerting).

Intégrer des sources de données hétérogènes (APIs, bases de données, fichiers).

3. Collaboration et industrialisation

Collaborer avec les équipes Dev

Ops pour déployer et maintenir les solutions data en environnement cloud (AWS).

Participer à la mise en place de tests et de validations pour garantir la qualité des données.

Documenter les processus, les architectures et les bonnes pratiques.

Assurer la sécurité des données (chiffrement, IAM, conformité RGPD).

4. Veille technologique et innovation

Suivre les avancées technologiques en Data Engineering (ex : évolutions d'Apache Iceberg, nouvelles fonctionnalités AWS).

Proposer des solutions innovantes pour améliorer les processus existants (ex : optimisation des coûts, réduction de la latence).

Participer à des ateliers ou formations pour monter en compétences.

Missions internes (expertise & contribution)

Contribuer à la veille technologique et au benchmark des outils et méthodologies.

Participer à l'amélioration des méthodologies internes (ex : templates de pipelines, bonnes pratiques AWS).

Accompagner et coacher des consultants juniors sur les technologies Python, Kafka, Iceberg.

Soutenir les équipes commerciales en amont des réponses aux appels d'offres.