Lead Data Engineer - Python/AWS/DevOps/ Big Data/ Linux / Energie (H/F) (IT) / Freelance
Nous recherchons pour le compte de notre client grand-compte dans l'Energie, un Lead data Engineer.
Objectifs :
Etre le/la référent(e) technique de la plateforme de données - coordination technique transverse
Etre référent principale sur un sujet pilote
Définir, mettre en œuvre et automatiser des pipes des données et gouvernance
Assurer le Run notamment la MCO, la CI / CD et la mise en production en coordination avec l’équipe référente
Préparer les pipelines Data en coordination avec l’architecte et le manager
Avoir un sens expérimental et de proposition dans un contexte Multi cloud est un atout majeur
Missions :
Etre le/la référent(e) technique de la plateforme de données
Etre garant(e) du socle technique de la plateforme data et de son évolution,
Définir les besoins techniques, la roadmap d’évolution du socle technique de la plateforme de données pour suivre ses changements d’échelle et garantir ses performances et sa maintenabilité,
Etre mentor et référent pour les membres de l’équipe,
Participer aux choix de nos partenaires.
Le dev de devops : définir, mettre en œuvre et automatiser des pipes des données et gouvernance
Mettre en place des projets Data Lake (ingestion de sources, pipeline de traitements de données, modélisation, tests, déploiements) dans la meilleure architecture,
Définir les meilleures de façon de stocker exposer les données au sein de la plateforme selon les usages attendus,
Garantir la qualité des données en mettant en place les outils de mesure et de suivi adéquats,
Réaliser les développements en ayant intégré les besoins et pratiques des analystes et data scientists.
run et environnements
Maintenir les environnements techniques et partager vos connaissances,
Gérer les incidents et s’assurer de leur résolution dans une logique d’amélioration continue et d’automatisation (ex : rejeu de données),
Assurer la supervision des traitements (technique et fonctionnelle).
Profil candidat:
Un minimum de 8 ans d’expérience dans le domaine de la Data engineering avec une orientation DevOps ou équivalent
Diplôme d’ingénieur dans un domaine orienté Data ou équivalent
Une première expérience dans le domaine des services énergétique est une préférence
Cloud : AWS (Redshift, RDS, Lambda, SQS, SNS, Api Gateway, etc.), GCP
DEV : Python, API (Fast ou Flask), GraphQL, Airflow, Linux, Git (Code review, Merge Request, etc.), Docker
DevOps : Docker, Terraform, CI/CD, Gitlab, Gitlab CI, etc.
Excellentes compétences DATA : BDD, SGBDR, DataWarehouse,SQL, NOSQL BIGDATA : HDFS, SPARK, Hadoop, etc.
Data Science (Modélisation, MLOPS)
Notions : Scalabilité, Clustering, Data Mesh, Data Virt, Data Qualité, etc.
Excellente compétences Analytique : Tableau, Dataiku, Alteryx, etc.