Data Engineer Maitrisant - Python (Flask, appel API, kafka)/GCP (Big Query, GCS, Cloud Run ...), DBT (H/F)

ASFOTEC - Make IT Simple
Nous sommes une entreprise de services numériques Lilloise créée en 2017, à taille humaine et qui met l'humain au centre de sa préoccupation.
Grâce aux compétences et à l'expérience de notre équipe, nous accompagnons aujourd'hui nos clients grands comptes et PME de la région Lilloise dans leurs défis numériques et nous créons également nos propres solutions BtoB et BtoC dans notre pôle de Recherche et Développement.
Compétences techniques :
* Python (Flask, appel API, kafka) - Confirmé - Impératif
* GCP (Big Query, GCS, Cloud Run ...), DBT - Confirmé - Impératif
* Github (CI/CD, versioning) - Confirmé - Important
* Scrum, Kanban - Confirmé - Important
Connaissances linguistiques : Anglais Courant (Impératif)
Lien du test : https://candidate.evalil.com/test/673bce6a479e8a95a59714bf
"Le passage de ce test est impératif pour l'évaluation de votre profil. Nous vous invitons également à postuler sur Indeed. Merci pour votre compréhension."
Description détaillée :
-> Créer des pipelines pour mettre à dispo de la data de manière efficace et avec un bas coût de finops
-> Maintenir les produits data créés dans les périmètres connaissance client et commerce animation performance.
Merci de ne pas me proposer un DATA SCIENTIST
Profil recherché :
SA MISSION :
Il est garant de l'accès qualitatif aux sources de données.
Il s'assure de la maîtrise de la donnée et est garant de la qualité de son utilisation (référencement, normalisation, et qualification) afin d'en faciliter l'exploitation par les équipes (Data Analysts et Data Scientists).
Il contribue également à la définition de la politique de la donnée et à la structuration de son cycle de vie dans le respect des réglementations en vigueur, en collaboration avec le Chief Data Officer.
Son périmètre d'intervention est axé sur les systèmes applicatifs autour de la gestion de la donnée et du traitement, et sur les plateformes Big Data, IoT,
Il assure la supervision et l'intégration des données de diverse nature qui proviennent de ces sources multiples et vérifie la qualité des données qui entrent dans le Data Lake (il recette de la donnée, supprime les doublons, ).
SON ACTIVITE :
QUALIFICATION ET GESTION DES DONNÉES :
* Capte les données (structurées et non structurées) produites dans les différentes applications ou à l'extérieur de l'entité
* Intègre les éléments
* Structure la donnée (sémantique, etc.)
* Cartographie les éléments à disposition
* Nettoie la donnée (élimination des doublons, )
* Valide la donnée
* Éventuellement, il crée le référentiel de données
SES LIVRABLES :
* Data Lake approprié et partagé et son dimensionnement
* Cartographie des données
* Les éléments permettant de garantir la qualité de la donnée
Lieu : Lille Fr
Type d'emploi : Temps plein, CDI
Statut : Cadre
Avantages :
* Flextime
* Intéressement et participation
* Prise en charge du transport quotidien
* RTT
* Travail à domicile occasionnel