DataOps - IDF
Mission principale
Administrateur technique responsable du maintien des outils de cartographie, de l'alimentation et enrichissement des cartographies fonctionnelles et techniques, à travers l'interconnexion entre le dictionnaire de données (Open
Metadata), le catalogue de données métier (Istya), et les produits de la Plateforme Sécurisée des Données (Datalake, requêteur sécurisé des données Odylac, écosystème Dataviz).
Garantir que les outils sont correctement paramétrés, sécurisés, et exploitables (et donc documentés) avec pour cible leur transfert dans un centre d'exploitation dédié.
Livrables
Exploitation (OPS)
Maintenir et déployer les configurations d'infrastructure et d'outils via Terraform et Ansible.
Assurer le Maintien en Conditions Opérationnelles (MCO) des instances Ni
Fi et des connecteurs Open
Metadata.
Monitorer les pipelines d'ingestion et gérer la résolution des incidents techniques.
Documenter l'ensemble des actions d'exploitation dans des fiches d'exploitation.
Alimentation du catalogue
Développer et maintenir les flux Apache Ni
Fi permettant l'ingestion de métadonnées techniques et fonctionnelles (dans OMD et Istya).
Garantir le contrôle qualité, la transformation et la cohérence des données entrantes.
Connectivité produits data et catalogue
Améliorer et étendre la connectivité entre le Datalake existant et Open
Metadata (extraction de schéma, profilage de données).
Étendre la couverture de cartographie automatique aux autres services Data de la Plateforme Sécurisée des Données.
Profil candidat:
Compétences requises
Techniques
Infrastructure/Data
Ops : Expertise dans l'Ia
C avec Terraform et de la gestion de configuration avec Ansible.
Ingestion de métadonnées : Maîtrise d'Apache Ni
Fi (conception de flows, gestion des processeurs, gestion des erreurs).
Manipulation de données : Excellente maîtrise du Python et des scripts (Bash, SQL) pour le parsing et la transformation des fichiers de métadonnées.
Catalogue et métadonnées : Connaissance pratique des concepts de data lineage, catalogue de données et dictionnaires de données (Open
Metadata ou équivalent).
Environnement Datalake : Expérience d'interaction avec des architectures Data (Hadoop, Spark, Hive, S3/Min
IO, Trino...).
Fonctionnelles
Sensibilité à la gouvernance des données et à la sécurité des données.
Capacité à vulgariser les sujets techniques.
Soft skills
Capacité à documenter et transmettre.
Esprit collaboratif avec les différents acteurs (projets, produits, gouvernance des données).