Data Engineer Junior
Vous rejoignez une équipe qui construit et opère des flux de données industriels alimentant des applications métiers pour le secteur public , en particulier les collectivités et territoires.
Ci après des exemples concrets dans la Smart-City :
- Optimisation des consommations énergétiques des bâtiments à l’échelle du territoire,
- Récupérations des données des capteurs IoT pour fournir des services de propreté urbaine,
- Construction de jeux de données permettant de faire des études démographiques,
Selon les projets, vous pourrez contribuer ponctuellement à l’industrialisation de briques IA (NLP/LLM notamment), mais ce n’est pas le cœur du rôle.
La diversité de nos clients et de leurs besoins implique des projets très variés : nouvelles sources, contraintes et patterns d’intégration.
Ce qu’on fait au quotidien dans ce rôle
- Ateliers avec les clients/équipes métier pour vérifier qu’on a les bonnes données , au bon niveau de qualité, pour répondre au besoin.
- Récupération de données transverses depuis des sources variées (dont IoT).
- Standardisation et structuration orientées “produit” en coordination avec les équipes dev.
- Mise en place de règles de qualité, de monitoring et d’alerting sur les flux ETL.
- Investigation d’incidents (volumétrie, latence, ruptures de qualité), durcissement des pipelines.
Stack & environnement
- ETL / orchestration : Flyte
- Backend / services : Python, FastAPI
- Déploiement : Docker, Kubernetes (clusters on-prem managés)
- Observabilité : Prometheus, Grafana
- CI/CD : GitLab CI
- Standards (selon projets IoT) : FIWARE / NGSI-LD
- Packaging Python : librairies internes réutilisables (wrappers, modèles, utilitaires)
Indispensable
- Très bon niveau en Python (qualité logicielle, tests, packaging).
- À l’aise avec Docker + les bases Kubernetes (déploiement, logs, debug).
- Sensibilité “prod” : monitoring / alerting, analyse d’incidents, rigueur sur la qualité des flux.
Un plus
- Orchestrateurs (Flyte, Airflow, Dagster, Prefect…)
- IoT / messaging (MQTT/AMQP)
- Standards FIWARE/NGSI-LD
- Notions MLOps/ML engineering (mise en prod, suivi, évaluation simple).
- Connaissances GPU (nice-to-have, non requis).
Ce qu’on attend de vous
Logiquement, nous attendons une forte appétence en data engineering : ingestion, transformations, fiabilisation, gestion d’erreurs, rejouabilité. Cependant, voici d’autres critères que nous recherchons au sein des profils :
- Esprit critique, autonomie, sens du concret.
- Rigueur sur la qualité de données et la robustesse en production.
- Curiosité et envie de faire évoluer l’outillage / les pratiques DataOps.