Data Engineer Hadoop / PySpark (IT)
En lien avec l?équipe de production applicative / Dev
Ops, vous serez en charge de la mise en ?uvre technique des évolutions du Data Lake. Vous interviendrez sur l?ingestion, la préparation et la transformation des données ainsi que sur l?évolution des pipelines. Votre rôle Ingestion et transformation des données · Mettre en ?uvre de nouvelles ingestions de données au sein du Data Lake · Développer les traitements de préparation et de transformation des données · Développer les traitements associés en Python, Py
Spark et Hive Développement et évolution des pipelines · Maintenir et faire évoluer les outils de gestion des pipelines de données · Développer et maintenir les traitements en Py
Spark et les scripts Shell associés · Analyser et résoudre les problématiques techniques sur le périmètre Evolution de la plateforme Data · Identifier les besoins d?évolution de la plateforme liés aux traitements et pipelines de données · Formaliser et transmettre à l?équipe Dev
Ops les demandes relatives aux évolutions de la plateforme · Rédiger les spécifications techniques nécessaires aux évolutions mises en ?uvre Profil candidat: Compétences techniques : · Excellente maîtrise de l?écosystème Hadoop · Maîtrise du développement Python, Py
Spark et Hive · Bonne connaissance de SQL et du scripting Shell sous Unix/Linux · Bonne connaissance des outils Git, Jenkins et Jira · Expérience dans des environnements Agile / Scrum · Connaissance d?
Indexima, Alteryx, Altair, GCP / Big
Query ou des bibliothèques Python orientées API appréciée Qualités personnelles : · Autonomie et capacité à prendre des initiatives · Capacité d?analyse pour résoudre des problèmes complexes · Rigueur et aptitude à rédiger des spécifications techniques claires et précises · Bon relationnel et capacité à travailler en équipe ___ Type de contrat : CDI ou portage ATLANSE Niveau d?expérience : 3 à 6 ans Secteur : Banque Localisation : Charenton Le Pont (94) Langues : Français et anglais professionnels impératifs ___