Data Engineer / AI Engineer (IT) / Freelance
Intro
Nous recherchons pour l’un de nos clients, un grand groupe du secteur de l’énergie , un profil Data Engineer / AI Engineer confirmé à senior afin d’intervenir sur un projet interne de Data Marketplace .
Contexte de la mission
La plateforme est une Data Marketplace interne destinée aux collaborateurs du groupe. Elle centralise plusieurs usages autour de la data: Data Discovery, Data Quality, Data Governance, Data Transformation, Pipelines Monitoring, BI Hub , ainsi que des fonctionnalités avancées liées à l’intelligence artificielle.
La plateforme a déjà été déployée auprès d’une centaine d’utilisateurs en 2025. L’objectif est désormais d’améliorer l’expérience utilisateur, d’enrichir les fonctionnalités existantes et d’accompagner le déploiement progressif de la solution auprès d’environ 8 000 collaborateurs dans 19 pays entre 2026 et 2028.
Le consultant rejoindra l’équipe Produit afin de renforcer l’excellence technique de la marketplace et contribuer au développement de flux de données robustes, scalables et performants.
Mission principale
Le Data Engineer / AI Engineer aura pour mission de concevoir, développer, industrialiser et maintenir des flux de données basés principalement sur des composants AWS , avec une dimension importante autour de la qualité des données , de la performance applicative et de l’industrialisation.
Il interviendra sur des problématiques de développement data, d’architecture back-end modulaire, d’intégration de données, de data quality et d’automatisation des traitements.
Responsabilités
- Développer et maintenir des fonctionnalités complexes en Python et Scala .
- Concevoir et faire évoluer une architecture back-end modulaire, scalable et réutilisable.
- Développer des workflows data intégrant plusieurs couches de traitement et des contrôles qualité.
- Mettre en place et optimiser des flux de données complexes.
- Améliorer la performance des ingestions : temps de chargement, qualité, retry, fiabilité.
- Travailler sur des composants AWS tels que Lambda, Glue, Redshift, Step Functions, DynamoDB .
- Intervenir également sur certains services Azure comme Azure Functions ou Cosmos DB .
- Consommer, intégrer et challenger des API REST complexes .
- Participer aux revues de code, aux rituels agiles et aux choix d’architecture.
- Garantir la qualité, la maintenabilité et la documentation des développements.
- Collaborer avec le Product Owner, les équipes data, produit, sécurité et techniques.
Compétences techniques attendues
Data Engineering :
- Python
- Scala
- SQL
- Spark
- Kafka
- Kinesis
- EventHub
- Event Grid
- Workflows data multi-couches
- Data Quality
- API REST
Cloud :
- AWS avancé : Lambda, Glue, Redshift, Step Functions, DynamoDB
- Azure : Azure Functions, Cosmos DB
- Environnements cloud ou hybrides
DevOps / Industrialisation :
- Git
- CI/CD
- Tests automatisés
- Bonnes pratiques de Clean Code
- Documentation technique
IA / Frameworks appréciés :
- LangChain
- LangGraph
- Frameworks AI