Ingénieur DataOps (H/F) (IT) / Freelance
Le contexte
Notre client, un grand groupe d'assurance, renforce l'équipe décisionnelle de sa division Data. La plateforme actuelle est on-premise : pipelines sur Hadoop (HDFS, Hive) et Spark, datawarehouse Oracle Exadata, temps réel avec Kafka et MongoDB, restitution sous Qlik. Une migration vers Google Cloud Platform est en cours.
Aujourd'hui, l'exploitation des environnements hors production est très manuelle. Vous serez le référent technique opérationnel de ces environnements, aux côtés d'un chef de projet et d'un coordinateur.
Vos missions
Exploitation des environnements hors prod (DEV, RCT, PREPROD) : garantir leur disponibilité, leur cohérence et leur fiabilité, sur une chaîne Data dupliquée de bout en bout.
Refresh des données entre environnements, puis leur automatisation.
Installations applicatives : traitements Spark/Scala, ETL Informatica, scripts SQL Oracle, scripts shell.
Synchronisation des environnements : versions applicatives et logicielles, configurations, paramétrages.
Maintien en conditions opérationnelles : exécution des jobs Spark, analyse des logs, contrôle des dépendances, suivi et relance des batchs (Opcon).
Automatisation : développer les scripts et outils qui réduisent l'effort manuel (contrôle des écarts entre environnements, validation post-installation et post-refresh, cohérence des bases).
Monitoring et observabilité : construire et maintenir un dashboard de suivi des environnements (exécutions, volumes), avec alerting et reporting. Vous êtes force de proposition sur l'outillage.
Livraisons : contribuer aux pipelines de livraison GitLab et à la qualité des livrables.
Migration GCP : participer à la reconstruction des environnements hors prod sur Google Cloud.