Développeur / concepteur big data cloud (databricks aws) F/H Gratification selon le stage

Votre futur métier

En un coup d’oeil

Développer des solutions numériques innovantes pour accompagner la transition énergétique

Traiter, analyser et sécuriser les données

En détail

Environnement de travail :

Au sein de l'équipe DataSteward, vous participerez à la maintenance et à l'évolution de plusieurs DataProduct sur Hadoop ou DataBricks, à la migration des traitements Hadoop vers Databricks ainsi qu'à l'évolution de notre framework interne d'ingestion de données dans DataBrickgs : Data Engine Cloud , composé de moteurs d'ingestion permettant d’intégrer des données issues de flux Kafka et de fichiers CSV dans Databricks. La technologie prédominante aux développements de ces traitements Big Data est Spark Scala.

Missions confiées :

Encadré(e) par des ingénieurs Big Data expérimentés, vous participerez aux activités suivantes :

Maintenance et évolution des dataProducts

- Participer à la maintenance corrective et évolutive des DataProducts de la plateforme Data. - Développer de nouvelles fonctionnalités et optimiser les traitements existants. - Garantir la qualité, la fiabilité et la performance des traitements de données. - Participer aux phases de tests, validation et mise en production.

Migration Hadoop vers Databricks

- Contribuer à la migration des DataProducts de l'écosystème Hadoop vers Databricks. - Adapter les traitements existants aux nouveaux standards Data Engineering Cloud. - Participer à la validation fonctionnelle et technique des données et traitements migrées. - Accompagner l'industrialisation des nouveaux traitements.

- Participer au développement d'outils facilitant la migration des traitements de données Hadoop vers Databricks. - Automatiser certaines étapes de migration afin de réduire les efforts manuels. - Contribuer à l'amélioration continue des outils internes de modernisation de la plateforme.

Évolution de la stack Data Engine Cloud

Vous participerez également aux évolutions de notre stack Data Engine Cloud, composée notamment de deux moteurs d'ingestion génériques :

Kafka2Unity, permettant l'ingestion de flux temps réel provenant d'Apache Kafka vers Databricks. File2Unity, permettant l'ingestion de fichiers (CSV) vers Databricks. Dans ce cadre, vous serez amené(e) à :

- Participer à la maintenance corrective et évolutive de ces moteurs ; - Développer de nouvelles fonctionnalités ; - Améliorer les performances et la robustesse des traitements ; - Participer aux phases de tests et de validation ; - Contribuer à l'industrialisation des composants.

Industrialisation et qualité

- Participer à l'amélioration continue des processus de développement. - Contribuer aux tests automatisés et à la qualité logicielle. - Participer aux revues de code et au partage des bonnes pratiques. - Collaborer avec les équipes Data Engineering dans un environnement Agile (Scrum et SAFe).

Environnement technique :

• Databricks
• Apache Spark
• Scala
• SQL
• Delta Lake
• Unity Catalog
• Apache Kafka
• Hadoop
• Git
• GitLab CI/CD
• Maven
• Cloud AWS

Ce qui vous donnera l'énergie au quotidien

Relever le défi d'innover avec des technologies de pointe

Travailler pour le réseau de distribution le plus intelligent au monde

Avoir un parcours professionnel riche et épanouissant

Développer des solutions numériques innovantes pour accompagner la transition énergétique

Traiter, analyser et sécuriser les données

En détail

Environnement de travail :

Au sein de l'équipe DataSteward, vous participerez à la maintenance et à l'évolution de plusieurs DataProduct sur Hadoop ou DataBricks, à la migration des traitements Hadoop vers Databricks ainsi qu'à l'évolution de notre framework interne d'ingestion de données dans DataBrickgs : Data Engine Cloud , composé de moteurs d'ingestion permettant d’intégrer des données issues de flux Kafka et de fichiers CSV dans Databricks. La technologie prédominante aux développements de ces traitements Big Data est Spark Scala.

Missions confiées :

Encadré(e) par des ingénieurs Big Data expérimentés, vous participerez aux activités suivantes :

Maintenance et évolution des dataProducts

- Participer à la maintenance corrective et évolutive des DataProducts de la plateforme Data. - Développer de nouvelles fonctionnalités et optimiser les traitements existants. - Garantir la qualité, la fiabilité et la performance des traitements de données. - Participer aux phases de tests, validation et mise en production.

Migration Hadoop vers Databricks

- Contribuer à la migration des DataProducts de l'écosystème Hadoop vers Databricks. - Adapter les traitements existants aux nouveaux standards Data Engineering Cloud. - Participer à la validation fonctionnelle et technique des données et traitements migrées. - Accompagner l'industrialisation des nouveaux traitements.

- Participer au développement d'outils facilitant la migration des traitements de données Hadoop vers Databricks. - Automatiser certaines étapes de migration afin de réduire les efforts manuels. - Contribuer à l'amélioration continue des outils internes de modernisation de la plateforme.

Évolution de la stack Data Engine Cloud

Vous participerez également aux évolutions de notre stack Data Engine Cloud, composée notamment de deux moteurs d'ingestion génériques :

Kafka2Unity, permettant l'ingestion de flux temps réel provenant d'Apache Kafka vers Databricks. File2Unity, permettant l'ingestion de fichiers (CSV) vers Databricks. Dans ce cadre, vous serez amené(e) à :

- Participer à la maintenance corrective et évolutive de ces moteurs ; - Développer de nouvelles fonctionnalités ; - Améliorer les performances et la robustesse des traitements ; - Participer aux phases de tests et de validation ; - Contribuer à l'industrialisation des composants.

Industrialisation et qualité

- Participer à l'amélioration continue des processus de développement. - Contribuer aux tests automatisés et à la qualité logicielle. - Participer aux revues de code et au partage des bonnes pratiques. - Collaborer avec les équipes Data Engineering dans un environnement Agile (Scrum et SAFe).

Environnement technique :

• Databricks
• Apache Spark
• Scala
• SQL
• Delta Lake
• Unity Catalog
• Apache Kafka
• Hadoop
• Git
• GitLab CI/CD
• Maven
• Cloud AWS

Relever le défi d'innover avec des technologies de pointe

Travailler pour le réseau de distribution le plus intelligent au monde

Avoir un parcours professionnel riche et épanouissant