Expertise migration et production Cloudera / Databricks (IT) / Freelance

Contexte

Le projet Data Lake était initialement porté par la Branche Grand Public et Numérique (BGPN) de (COMPANY).

Évolution du projet

L'équipe Data Cloud et IA Factory (DIAF) arrive à une étape clé de ce projet structurant pour l'ensemble du Groupe (COMPANY) :

• Mise en production et ouverture aux utilisateur de la version 1.0 de Data Cloud (Azure Databricks)
• Stabilisation d'ODLG (Cloudera)
• Migration progressive d'ODLG vers la nouvelle plateforme Data Cloud
• Accompagnement des branches sur la décroissance et l'optimisation des consommations Azure
• Rapprochement vers une gouvernance i-TEAM
• Intégration dans les processus de supervision et de support i-TEAM
• Réflexion sur la mise en œuvre d'un nouveau Catalogue de Services
• Accompagnement et soutien de l'équipe dans cette transformation

Mission

La mission consiste à intégrer l'équipe DIAF sur un rôle transversal pour apporter un support dans les processus de stabilisation et de migration.

Prestations

• Analyse des résultats de l'audit Cloudera et accompagnement de l'équipe dans le suivi du plan de remédiation
• Renfort des actions liées à AIG
• Soutien aux équipes socle Data Cloud et ODLG
• Soutien aux équipes Outils & Usages
• Analyse et optimisation des ressources sur Cloudera et Data Cloud
• Accompagnement des plans de migrations et optimisation

Gestion des obsolescences

Le prestataire devra s'assurer de la maintenabilité des versions liées au support des éditeurs ou de l'image middleware PaaS/IaaS proposée : gestion de l'obsolescence des socles et images.

Livrables / Résultats attendus

• Suivi évaluation et CR des activités liées à l'audit Cloudera
• Analyse et plan de mitigation des "requêtes lourdes" Cloudera
• Proposition d'optimisations des séquences des job avec plan de mise en œuvre et suivi des actions
• Suivi et reporting décroissance et décommissionnement ODLG
• Bonnes pratiques de migration on-premise -> cloud

Cadre technique de la prestation

Niveaux de compétences attendus :

• Jira – 3
• Cloudera – 3
• Azure – 3
• Databricks – 3
• RedHat – 3
• GitLab – 3
• Terraform – 3
• Python – 3
• Dremio – 3

Cadre fonctionnel de la prestation

La réalisation des prestations requiert les compétences approfondies dans les domaines fonctionnels ci-dessous :

• Data model – 3
• Data Management – 3
• Data Viz – 2
• Sys admin – 3
• Data migration – 3