Python Flink Data ingénieur informatique (IT)

Profil: Ingénieurie Data expérimenté pour concepion, construction et maintenance d' une infrastructure de données robuste et performance dans un environnement entièrement on-premise. Étroite collaboration avec les équipes Data pour garantir des pipelines fiables et de haute qualité sur notre infrastructure autogérée.

• Expertise Python en contexte professionnel et en production
• Maîtrise des paradigmes avancés : décorateurs, générateurs, context managers, métaclasses, typage statique avec mypy
• Conception de packages Python structurés et réutilisables, gestion de dépendances
• Écriture de tests robustes : pytest, mocking, fixtures, tests paramétrés, couverture de code
• Développement de clients Kafka en Python (confluent-kafka, kafka-python) : producteurs, consommateurs, gestion des offsets et des erreurs
• Expérience avec les clients Elasticsearch en Python (elasticsearch-py) pour l'indexation et la recherche
• Développement d'opérateurs et de hooks Airflow custom en Python
• Manipulation de données avec pandas et Py

Arrow pour les formats colonnaires (Parquet, ORC)

• Maîtrise des outils de qualité de code : black, ruff, pylint, pre-commit
• Bonne connaissance de la programmation asynchrone (asyncio, aiohttp) pour les pipelines I/O-bound
• Maitrise kubernetes et CI/CD (gitops, etc ) Profil candidat:
• Conception et construction des pipelines de données scalables pour le traitement batch et temps réel
• Dévelopement et maintenance des workflows avec Apache Airflow (orchestration) et Apache Flink (traitement de flux)
• Mise en place et opération des clusters Apache Kafka pour le streaming d'événements à haut débit
• Déployement et administration la stack ELK (Elasticsearch, Logstash, Kibana) pour l'ingestion de logs, l'indexation, la recherche et l'observabilité
• Écriture du code Python propre, efficacité et test pour la logique ETL/ELT et les outils internes
• Garantie de la qualité des données, la fiabilité des pipelines et la résilience de l'infrastructure
• Collaboration avec les équipes Dev

Ops sur la planification de capacité et les opérations cluster - Accompagnement et augmentation en compétences des ingénieurs moins expérimentés