Consultant expert Kafka H/F

Description De L'offre

L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données.

L'offre

Projet

Consultant expert Kafka

Secteurs

Digital & E-Commerce

Description De L'offre

L'objectif est la mise en place d'un socle Kafka d'entreprise destiné à supporter différents cas d'usage d'échange, de réplication et d'intégration de données.

Les missions porteront sur les différentes phases du projet qui ont été identifiées :

• Phase 1 - Mise en œuvre du socle pilote :
• Cette première étape consiste à mettre en place un socle pilote pour alimenter un premier cas d'usage de type Plateforme Data. Les données mises à disposition de de socle seront produites par les différents socles techniques du SI Agir-Arrco, soit : SI de gestion (PostgreSQL), Hadoop (Cloudera), SID-RC (Datastage) + Teradata.
• Phase 2 : Extension du socle :
• Après la validation et la livraison du socle pilote, le projet entrera dans une phase d'extension afin de construire un socle cible plus capacitif et capable d'accueillir de nouveaux cas d'usage.

Durant la phase 1 de mise en œuvre du socle, les travaux identifiés à réaliser sont les suivants :

• Installation et configuration du cluster Kafka / Confluent.
• Définition et mise en œuvre des normes et standards d'exploitation
• Mise en place de l'outillage d'administration et d'exploitation ;
• Mise en place des mécanismes de sécurité et de gestion des habilitations en s'intégrant dans l'ecosyteme SI Agirc-Arrco ;
• Optimisation des performances de la plateforme
• Construction et industrialisation des processus de fabrication et d'intégration des livrables
• Mise en œuvre des workflows d'intégration et de déploiement.
• Installation et configuration des connecteurs producteurs et consommateurs Kafka \"standard\" et \"spécifiques Confluent\" nécessaires aux premiers cas d'usage : PostgreSQL, Hadoop (HDFS), Datastage, Teradata, autres connecteurs nécessaires au périmètre du pilote..
• Une attention particulière sera portée à l'industrialisation des connecteurs, notamment :
• Déclaration des nouveaux producteurs et consommateurs,
• Gestion des configurations,
• Initialisation et rafrachissement des données consommateurs,
• Déploiement automatisé des souscriptions,
• Prise en compte évolutions schémas de données par les Topics Kafka,
• Automatisation des opérations récurrentes,

Il conviendra également de mettre en place l'ensemble des procédures d'exploitation du socle :

• Procédures d'arrêt et de relance ;
• Gestion des servitudes techniques ;
• Supervision et monitoring ;
• Mise en place des tableaux de bord ;
• Documentation d'exploitation.
• Connecteurs à mettre en œuvre

Durant la phase 2 d’extension du socle, les principaux cas d’usage identifiés sont les suivants :

• Cas d'usage n°1 : Extension Plateforme Data + Extension du pilote initial à l'ensemble des bases de données et des usages de la Plateforme Data.
• Cas d'usage n°2 : Remplacement de l'outil IBM CDC + Migration des flux actuellement gérés par IBM Change Data Capture (CDC) vers Kafka.
• Cas d'usage n°3 : Remplacement des extracteurs batch + Remplacement progressif des mécanismes d'extraction batch alimentant les plateformes décisionnelles par des flux temps réel basés sur Kafka.
• Cas d'usage n°4 : Réplication des bases PostgreSQL + Mise en œuvre de mécanismes de réplication et de synchronisation de bases PostgreSQL via Kafka.
• Cas d'usage n°5 : Migration du socle WebMethods + Étude et mise en œuvre de la migration des échanges actuellement gérés par le socle WebMethods vers Kafka.

Missions à réaliser

• Architecture Kafka et Confluent ;
• Installation et administration de plateformes Kafka ;
• Sécurisation des échanges ;
• Performance et tuning ;
• Mise en œuvre de connecteurs Kafka Connect ;
• Industrialisation et automatisation des déploiements ;
• Supervision et exploitation ;
• Accompagnement des équipes projet et transfert de compétences.
• Rédaction de dossiers d’architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...;

Modalités

• Date de démarrage : dès que possible
• Date de fin : non spécifiée
• Candidats recherchés : 1
• Expérience : 5+ ans
• Type de contrat : Freelance / Indépendant, Temps complet
• Rémunération : 350 € - 540 € par jour selon expérience
• Mode de facturation : Assistance technique
• Localisation : 33170 Gradignan, France
• Télétravail partiel

Le profil recherché

Compétences requises

• Kafka, Python, PostreSQL, Kafka Confluente

Description Du Profil

• Architecture Kafka et Confluent ;
• Installation et administration de plateformes Kafka ;
• Sécurisation des échanges ;
• Performance et tuning ;
• Mise en œuvre de connecteurs Kafka Connect ;
• Industrialisation et automatisation des déploiements ;
• Supervision et exploitation ;
• Accompagnement des équipes projet et transfert de compétences.
• Rédaction de dossiers d’architecture, de normes et bonnes pratiques, de dossiers d'exploitation, ...;

L'expert intégrera l'équipe projet pour contribuer à la conception, à la mise en œuvre et à l'industrialisation du futur socle d'échange de données de l'entreprise.

Langues

Français

À propos de l'entreprise

Les secteurs d'activité

Banque & Assurance

Taille de l'entreprise

Entre 15 et 50 salariés