Développeur Data Python SQL Shell Spark
CONTEXTE :
Le client dans le cadre de son activité Big Data, recherche un profil en développement Data, Python, SQL, Shell, Spark (+ de 5 ans d'expérience) pour nous accompagner dans les actions sur la plateforme Cloudera Hadoop. L'objectif de la mission est de réaliser et maintenir les développements nécessaires à l'alimentation de la plateforme Hadoop, à la mise en place d'extractions et à l'accompagnement des utilisateurs
MISSIONS
Rattaché au responsable Big Data, le profil aura pour principales missions :
- de prendre en charge les évolutions des données à intégrer, reprendre les développements effectués pour l'alimentation du Datalake , de les faire évoluer en fonction des besoins (Stack technique : Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA, Jupyter)
- d'avoir une expertise technique permettant de spécifier techniquement les tâches, fournir les requêtes de référence, effectuer une revue de code, accompagner les potentiels alternants ou stagiaires (une alternante à date)
- de mettre en place des extractions à partir de ces données,
- d’assurer le support niveau 2,
- de faire appliquer les consignes aux utilisateurs,
- de garantir la tenue des délais de livraison dans un contexte de production à fortes attentes
- de contribuer à garantir la maintenabilité de la plateforme ainsi que ses performances et son exploitabilité
Il veillera au respect de l’utilisation des modèles référencés ou à leur évolution en collaboration avec la Direction Technique Informatique et la Gourvernance de la Donnée.
Le profil devra posséder des aptitudes et qualités avérées sur sa capacité à communiquer avec diplomatie, à écouter, à s'intégrer et à partager son savoir faire, à documenter ses actions et à accompagner.
Dans le même ordre d'idée, quelques attendus :
- Développement des traitements d'alimentation, forte capacité à structurer l'activité (JIRA), mise en place et description de processus (guides, accompagnement utilisateurs, …), pilotage opérationnel de certains sujets
- Développement d'extractions avec SQL (expert) et scripting Shell avancé pour l'automatisation
- Capacité à investiguer et faire du reverse engineering dans une architecture héritée complexe
- Optimisation des traitements de la plateforme et ceux des utilisateurs
Livrables attendus
"Code source documenté
Plan de tests / fiches de test
Bilan
Bordereau de livraison
Manuel d’installation
Dossier d’exploitation
JIRA documentée"
Environnement technique - technologique
"• Cloudera Hadoop
• Hive, impala
• Python
• SQL
• Shell
• Spark
• VBA
• GIT
• Jupyter
• Linux
• JIRA"
Compétences techniques
Connaisance Cloudera Hadoop, Hive, Impala
Développement Python
Requêtage SQL
Développement Shell
Développement Spark (Scala)
Utilisation de GIT
Agilité (méthodes Kanban et/ou Scrum)
Compétence liée à l'environnement
Connaissance de l'écosystème de la protection sociale
Profil candidat:
PROFIL & COMPETENCES
- Capacité à expliquer simplement le sujet, à communiquer vers des interlocuteurs type développeur, bureau d'étude, qualifieur et ""clients"" ).
La connaissance de Power BI et de SAS sont des plus."
" Obligatoires: Hadoop Cloudera, Hive, Impala, Python, Shell, Linux, SQL, VBA
Un plus : Jupyter"