Concepteur développeur F/H Gratification selon le stage
Votre futur métier
En un coup d’oeil
Développer des solutions numériques innovantes pour accompagner la transition énergétique
Traiter, analyser et sécuriser les données
En détail
Environnement de travail:
Intégrer une équipe composée d'un product owner technique ainsi que 2 développeurs dans un environnement Cloud. L’objectif est de développer une stack technique big data dans un environnement databricks.
Missions confiées:
- Conception et développement de pipelines de traitement de données distribuées
Implémenter des workflows de données robustes et scalables en utilisant Apache Spark avec Scala sur la plateforme Databricks, dans un environnement cloud.
- Optimisation des performances et gestion des ressources Spark
Diagnostiquer les points d'amélioration de la consommation de ressource, ajuster les configurations de clusters, et appliquer les bonnes pratiques pour améliorer l'efficacité des traitements et réduire les coûts d'exécution/optimisation FinOps.
- Industrialisation et mise en production des traitements Big Data
Participer à la mise en place de CI/CD pour les notebooks et jobs Databricks, assurer la qualité du code, la traçabilité des données et le monitoring des workflows en production.
- Collaboration avec les équipes Data Engineering, Data Architect et métier
Travailler en étroite collaboration pour comprendre les besoins fonctionnels, évoluer dans un environnement agile scrum SAFE, Participer aux cérémonies Agile
- Veille technologique et amélioration continue de la stack technique
Suivre les évolutions de l’écosystème Spark/Scala/Databricks, proposer des améliorations techniques, et contribuer à la documentation et au partage de connaissances au sein de l’équipe.
Ce qui vous donnera l'énergie au quotidien
Relever le défi d'innover avec des technologies de pointe
Travailler pour le réseau de distribution le plus intelligent au monde
Avoir un parcours professionnel riche et épanouissant
Développer des solutions numériques innovantes pour accompagner la transition énergétique
Traiter, analyser et sécuriser les données
En détail
Environnement de travail:
Intégrer une équipe composée d'un product owner technique ainsi que 2 développeurs dans un environnement Cloud. L’objectif est de développer une stack technique big data dans un environnement databricks.
Missions confiées:
- Conception et développement de pipelines de traitement de données distribuées
Implémenter des workflows de données robustes et scalables en utilisant Apache Spark avec Scala sur la plateforme Databricks, dans un environnement cloud.
- Optimisation des performances et gestion des ressources Spark
Diagnostiquer les points d'amélioration de la consommation de ressource, ajuster les configurations de clusters, et appliquer les bonnes pratiques pour améliorer l'efficacité des traitements et réduire les coûts d'exécution/optimisation FinOps.
- Industrialisation et mise en production des traitements Big Data
Participer à la mise en place de CI/CD pour les notebooks et jobs Databricks, assurer la qualité du code, la traçabilité des données et le monitoring des workflows en production.
- Collaboration avec les équipes Data Engineering, Data Architect et métier
Travailler en étroite collaboration pour comprendre les besoins fonctionnels, évoluer dans un environnement agile scrum SAFE, Participer aux cérémonies Agile
- Veille technologique et amélioration continue de la stack technique
Suivre les évolutions de l’écosystème Spark/Scala/Databricks, proposer des améliorations techniques, et contribuer à la documentation et au partage de connaissances au sein de l’équipe.
Relever le défi d'innover avec des technologies de pointe
Travailler pour le réseau de distribution le plus intelligent au monde
Avoir un parcours professionnel riche et épanouissant