245891/Data engineer Spark Nantes (IT) / Freelance

Overview

Data engineer Spark Nantes

La Squad Socles-Data a pour missions : • Le MCO de la plateforme Data Hub actuelle (DH V1). • La co-construction des nouvelles offres Data managées du nouveau Data Hub (DH V2) avec l’IT Groupe : o Prototypes, o Bêta-tests, o Pilotes, o Instanciation, o Homologation…etc. • La définition des normes, bonnes pratiques, guidelines pour simplifier/accélérer les futurs portages applicatifs sur Data-Hub V2. • Gouvernance opérationnelle. • La migration des Uses-Cases existants vers le Data-Hub V2 dans le Cloud privé BNPParibas. • Facilitage de l’usage des services Data. • Assurance du support et l’accompagnement des usagers des socles-Data. • Fournissement de l’expertise.

Objectifs et livrables / Responsabilités

• Codage et testage des composants logiciels.
• Formalisation des cas d’usages.
• Conception et mise en œuvre des flux d’intégration de données.
• Optimisation de la performance et la qualité logicielle.
• Apport du support technique.
• Bonne maitrise de l’écosystème Data / Java / SQL / Cloud.
• Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL).
• Technologies et niveaux indiqués: Starburst (Trino) – SQL: Moyen; Astronomer; Airflow; Python: Moyen; Spark 3; Java (Scala selon vos applications): Avancé; Cloud (Kubernetes, COS(S3), Vault): Bas; DevOps (Gitlab, Jenkins, ArgoCD, Ansible): Bas; Go, Yaml: Bas; Log As a Service (ELK): Moyen; Java: Moyen; SQL: Moyen; Python: Moyen; Scala (selon vos applications): Moyen.

Compétences demandées

• SCALA — Confirmé
• Apache Airflow — Confirmé
• APACHE — Confirmé

Profil candidat :

• Data ingénieur : • Codage et testage des composants logiciels. • Formalisation des cas d’usages. • Conception et mise en œuvre des flux d’intégration de données. • Optimisation de la performance et la qualité logicielle. • Apport du support technique. • Bonne maitrise de l’écosystème Data / Java / SQL / Cloud. • Notions dans d’autres langages de programmation (Python, Scala) et connaître le fonctionnement des bases de données (SQL, NoSQL).