Stage Data Engineer - plateforme de données

Intégré(e) à laSquad Connect et managé(e) par un Data Engineer expérimenté, tu seras amené(e) à réaliser des développements sur notre plateforme de données.

Tu interviens avec trois objectifs clés.

Développement de connecteurs

• Gérer la transformation et l’intégration de sources et formats de données variées (Bases de données, CSV, Pdf, Images, JSON) vers notre stockage centralisé
• Optimiser les performances des connecteurs existants pour réduire les temps de traitement et les coûts
• Réaliser des QA afin de s’assurer que les nouveaux développements fonctionnent bien sur notre environnement de test

S’assurer de la fiabilité de la plateforme

• Mettre en place des tests automatisés de qualité pour détecter les anomalies avant qu’elles n’impactent la production
• Participer à la résolution d’incidents (debugging de scripts, optimisation du code) aux côtés de l’équipe
• Assurer le monitoring et résoudre les bugs arrivant sur nos environnements de production
• Participer aux releases, processus de déploiement des nouvelles versions

Post-traitements et valorisation de la données

• Développer les scripts de post-traitement indispensables à la structuration des données (Statistique, indexation OpenSearch)
• Collaborer avec l’équipe Produit et Applicative pour s’assurer que la donnée livrée correspond parfaitement aux attentes de notre application et aux cas d’usage de nos clients.

Tech skills

• Très bonne maîtrise de Python notamment des packages Polars et/ou Pandas pour le développement de pipelines. Tu sais écrire un code propre, lisible et documenté.
• Bonne pratiques en SQL pour l’investigation, l’analyse et la manipulation de bases de données relationnelles.
• Notions de GIT pour versionner ton code et collaborer proprement (Branches, Merge Requests).

Soft skills

• Proactif(ve), motivé(e) et force de proposition
• Curieux(se) avec une forte envie d’apprendre
• Structuré(e), rigoureux(se), capable d’investiguer en profondeur

Bonus appréciés

• Connaissances des environnements Linux et des outils de conteneurisation (Docker)
• Connaissance de Django, pour le développement d’API
• Connaissance d’OpenSearch ou Elasticsearch
• Expérience avec un orchestrateur de workflows (Airflow ou équivalent)

Stack & environnement

• Python avec Polars
• SQL
• S3 bucket
• OpenSearch
• Airflow
• Docker / Docker Compose