Data Engineer Hadoop/PySpark – Charenton-le-Pont (IT) / Freelance

Nous recherchons pour le compte de notre client dans le domaine de la banque, un(e) Data Engineer Hadoop/PySpark.

Environnement technique

Hadoop, Python, PySpark, Hive, SQL, Git, Jenkins, Jira, Shell scripting (Unix/Linux), méthodologie Agile/SCRUM. Un plus : Indexima, Alteryx, Altair, GCP/BigQuery, bibliothèques Python orientées API.

Contexte

Au sein de la direction IT d'un grand groupe bancaire, l'équipe Technologies & Opérations met à disposition des différents pôles métiers (transformation, workplace, banque de proximité) l'ensemble des applications nécessaires à leur activité. Dans ce cadre, le consultant interviendra en soutien à l'équipe de production applicative et devops sur les évolutions techniques du datalake du CIO Office.

Missions

• Concevoir et déployer de nouveaux flux d'ingestion ainsi que des traitements de préparation et transformation de données

• Faire évoluer et fiabiliser les pipelines de données existants, combinant PySpark et scripts shell

• Assurer l'interface avec l'équipe devops pour transmettre les besoins d'évolution de la plateforme

• Contribuer à la fiabilité, la performance et la qualité globale du datalake

Compétences attendues

Hadoop, PySpark, Python, Hive, SQL, Git, Jenkins, Jira, Shell Unix/Linux, Agile/SCRUM, Anglais professionnel, Indexima, Alteryx, Altair, GCP/BigQuery, API Python