Data Engineer/DataOps - Maintenance prédictive (IT) / Freelance

Missions

Mon client recherche un DataOps / Data Engineer pour intervenir sur le service de maintenance prédictive, basé sur : un environnement on?prem (Python, Airflow, Docker, GitHub CI/CD), un environnement Cloud Azure (Databricks, PySpark, ADF), une Service Platform pour les compagnies aériennes (application web). Assurer le MCO des environnements dev & production. Superviser et monitorer Databricks / Spark. Concevoir & maintenir des pipelines de données en production. Accompagner le déploiement d'algorithmes (optimisation performance & coûts). Améliorer les processus d'intégration / versioning dans la Service Platform.

Profil candidat

Data Engineer/DataOps - Maintenance prédictive - Python/Spark pour mon client

Nombre d'années d'expérience : 3 ans

Compétences techniques requises

• Python
• Microsoft Azure Data Factory
• Azure Databricks
• SQL
• Spark
• GitHub
• Pandas
• PEP
• Terraform
• Docker Swarm, Ansible
• RHEL / Ubuntu
• Airflow
• Anglais professionnel