Concepteur Développeur F/H

Environnement de travail:

Intégrer une équipe composée d'un product owner technique ainsi que 2 développeurs dans un environnement Cloud. L'objectif est de développer une stack technique big data dans un environnement databricks.

Missions confiées:

• Conception et développement de pipelines de traitement de données distribuées

Implémenter des workflows de données robustes et scalables en utilisant Apache Spark avec Scala sur la plateforme Databricks, dans un environnement cloud.

• Optimisation des performances et gestion des ressources Spark

Diagnostiquer les points d'amélioration de la consommation de ressource, ajuster les configurations de clusters, et appliquer les bonnes pratiques pour améliorer l'efficacité des traitements et réduire les coûts d'exécution/optimisation FinOps.

• Industrialisation et mise en production des traitements Big Data

Participer à la mise en place de CI/CD pour les notebooks et jobs Databricks, assurer la qualité du code, la traçabilité des données et le monitoring des workflows en production.

• Collaboration avec les équipes Data Engineering, Data Architect et métier

Travailler en étroite collaboration pour comprendre les besoins fonctionnels, évoluer dans un environnement agile scrum SAFE, Participer aux cérémonies Agile

• Veille technologique et amélioration continue de la stack technique

Suivre les évolutions de l'écosystème Spark/Scala/Databricks, proposer des améliorations techniques, et contribuer à la documentation et au partage de connaissances au sein de l'équipe.

Durée du Stage : 6 mois

Type de diplôme préparé : BAC+5 diplôme Data

Compétences/Connaissances :

• Langages & Frameworks : Scala, Java, SQL, Spark Core, Spark SQL, Spark Streaming
• Databricks & Cloud :
• Delta Lake pour la gestion transactionnelle des données
• Unity Catalog pour la gouvernance et la sécurité des données
• Outils DevOps & CI/CD :

GitLab / Terraform (souhaité pour l'infrastructure Databricks), Databricks Asset Bundles

• Architecture Big Data :

DataLake, ingestion batch et streaming, gestion des métadonnées, qualité et traçabilité des données.

• Sécurité & conformité :

chiffrement, conformité RGPD.