Ingénieur Applications Big Data (Spark, Trino, Jupyter) F/H (IT) / Freelance

Ingénieur Applications Big Data

Notre client dans le secteur Banque et finance recherche un Ingénieur Applications Big Data (Spark, Trino, Jupyter) H/F.

Contexte et objectif de la mission :

Recherche d'un Ingénieur Big Data expérimenté pour administrer et optimiser des solutions Big Data (Spark, Trino, MinIO) sur un cluster Kubernetes au sein d'un grand groupe bancaire. Le rôle requiert une forte expertise en tuning applicatif, support et approche DevOps/GitOps.

Missions principales

• Déploiement et administration avancée des applications Spark, Trino ou Jupyter sur Kubernetes
• Tuning et optimisation des performances : ajustement des configurations, analyse des logs, debugging avancé, optimisation des requêtes SQL sur Trino, tuning des jobs Spark
• Gestion du RUN et support applicatif : diagnostic et résolution des incidents, amélioration continue des performances, accompagnement des utilisateurs sur l'optimisation des requêtes
• Mise en place de l'approche GitOps : automatisation complète du déploiement et de la gestion des applications avec Terraform, Ansible, Git, ArgoCD ou FluxCD
• Sécurisation et monitoring avancé : implémentation de métriques et alertes sur Prometheus, Grafana, Loki, gestion des accès et des logs applicatifs