Développeur Big Data - Finance - Freelance (H/F)
L'outil est en production : il supervise de bout en bout les traitements d'une plateforme Big Data et s'appuie sur Kafka. L'équipe qui le porte est principalement à Paris, avec des interlocuteurs IT et métiers au Portugal : l'anglais est d'usage courant, à l'oral comme à l'écrit.
Le poste est un renfort de développement, pas un démarrage de projet : vous arrivez sur une base existante à faire évoluer.
MISSIONS
*
Développer de nouvelles fonctionnalités de l'outil de supervision
*
Faire évoluer et refactorer les composants transverses : optimisations, montées de version et tests associés
*
Renforcer l'outillage technique de gestion des environnements
*
Participer à la conception technique en mode collaboratif, aux revues de code et à la qualité du code
*
Rationaliser et mutualiser les composants pour garder une architecture cohérente et évolutive, sans redondance
*
Prendre en charge les déploiements en recette et en production, dans un contexte Dev
Ops
*
Rédiger et maintenir la documentation technique
*
Participer aux cérémonies agiles (Scrum), à la veille technologique et aux présentations à la communauté Data Engineering
STACK TECHNIQUE
*
Hadoop Cloudera on-premise (HDFS, Hive, HBase, Kafka, Ranger)
*
Java 21 et Spring Boot
*
Spark 3.2 et Scala 2.12
*
Control-M
*
Jenkins, XLDeploy, XLRelease
*
Bitbucket, Jira, Confluence
*
Intelli
J ou VS Code avec plugin IA
CE QUI EST ATTENDU
*
Très bonne connaissance de l'écosystème Hadoop : YARN, HDFS, Hive, HBase, Kafka, Ranger
*
Maîtrise de Kafka côté producer et consumer
*
Maîtrise de Java 21 et de Spring Boot
*
Bonnes connaissances de Spark 3 et des techniques d'optimisation d'applications Spark
*
Connaissances de Scala 2 en conjonction avec Spark
*
Pratique de la mise en place de pipelines CI/CD et des bonnes pratiques de gestion de code
*
Capacité à traduire un besoin en solution technique, à estimer la charge et à adapter son discours à des interlocuteurs infra, dev ou métier
LES PLUS
*
Framework fonctionnel type ZIO ou Cats
*
Conteneurisation (Docker, Kubernetes, Open
Shift)
*
Connaissance d'un SI Finance, en particulier filière CIB
1. Très bonne connaissance de l'écosystème Hadoop : YARN, HDFS, Hive, HBase, Kafka, Ranger
2. Maîtrise de Kafka côté producer et consumer
3. Maîtrise de Java 21 et de Spring Boot
4. Bonnes connaissances de Spark 3 et des techniques d'optimisation d'applications Spark
5. Connaissances de Scala 2 en conjonction avec Spark
6. Pratique de la mise en place de pipelines CI/CD et des bonnes pratiques de gestion de code
7. Capacité à traduire un besoin en solution technique, à estimer la charge et à adapter son discours à des interlocuteurs infra, dev ou métier