Data Engineer / Big Data Engineer Hadoop Cloudera CDP (h/f) (IT) / Freelance

Résumé

Le poste de Data Engineer est axé sur le développement et la maintenance de l'infrastructure Big Data , avec un accent sur l'expertise Hadoop pour assurer la gestion, l'optimisation et la disponibilité de la plateforme Hadoop.

Responsabilités

• Participer aux task forces pour résoudre des problématiques techniques complexes.

• Évoluer l'infrastructure et déployer de nouvelles fonctionnalités à forte valeur ajoutée.

• Gérer les montées de versions majeures des composants Hadoop.

• Mettre en place et maintenir la documentation technique destinée aux entités internes et utilisateurs.

• Gérer la collaboration avec l’éditeur Cloudera et les entités internes.

• Suivre le planning global de production.

Must Haves

• Expertise en Ansible.

• Expérience avec Apache NiFi.

• Compétence en Hadoop (Big Data).

• Maîtrise de Kafka.

• Connaissances en Scripting (GitHub, Ansible, AWX, shell, VBA).

• Compétence en Spark.

Nice to Have

• Certifications Cloud spécifiques (par exemple, Cloudera Certified Professional).

• Connaissances en Terraform et Terragrunt.

Autres Détails

• Catégorie: Environnement technique.

• Détails: Ingestion avec Kafka et Nifi, moteur : CDP 7.1.9, automatisation avec Ansible.

• Livrables attendus : installation et maintenance des clusters Hadoop, sécurité et performances de la plateforme.

• Type de prestation : Data Engineering Level 8.4.