Data Engineer - Vannes (IT) / Freelance

Localisation : BretagnePrésence sur site minimum 3 jours par semaineCandidatures locales privilégiées

Contexte

Au sein d’un Chapitre Data intervenant en transverse dans l’entreprise, vous contribuez à la fabrication des cas d’usage Data portés par différentes Squads métiers. Vous évoluez dans un environnement collaboratif avec des interlocuteurs variés et participez activement aux échanges avec les membres du Chapitre présents sur d’autres sites en France.

Missions

Participer à la définition de l’architecture Data avec les architectes et les SquadsConcevoir et développer des solutions de collecte, transformation et stockage de données issues de multiples sourcesDévelopper des pipelines Spark batch et Spark StreamingMettre en place les tests unitaires et automatisésDéployer les solutions dans les différents environnementsAssurer le suivi en production et la gestion des incidentsÊtre force de proposition et contribuer à l’amélioration continue

Environnement technique

Spark (batch et streaming) indispensableSQL indispensableScala appréciéKafka appréciéJava et Shell appréciésStack Hadoop ClouderaHDFS, Hive, HBase, Phoenix, MongoDBGit, Jenkins, Artifactory, XL ReleaseELK, GrafanaMéthodologie Scrum

Connaissances appréciées

Outils de data visualisation tels que MicroStrategy, Power BI ou Tableau

Profil recherché

Expérience confirmée en Data Engineering Big DataSolide maîtrise de Spark dans un environnement Hadoop / ClouderaCapacité à évoluer en contexte transverse

Soft skills attendues

AutonomieAdaptabilitéBonne communicationCapacité à challenger les besoinsPrise de lead et force de proposition