POT9141 - Un Data Ingénieur DevOps / AWS sur Plaisir (IT) / Freelance

Almatek recherche pour l'un de ses clients Un Data Ingénieur DevOps / AWS sur Plaisir.

Contexte de la mission

Dans le cadre de la mise en place d’une dataplateforme d’entreprise, la DSI du client souhaite intégrer un expert Data Ingénieur & DevOps AWS afin de :

• Mettre en place l’ingestion de différents types de données (structurées, semi?structurées, non structurées)
• Industrialiser l’ingestion des données depuis un datalake existant vers la nouvelle dataplateforme
• Automatiser l’intégration des données dans la couche standardisée AWS (RAW DATA vers STANDARDIZED)
• Réaliser la documentation et assurer le transfert de connaissances

L’objectif principal est de finaliser un premier use case incluant l’ingestion de plus de 100 tables issues d’un ERP, tout en accompagnant la montée en compétences des équipes internes (équipe data et Data Engineer).

Environnement Technique

Data Engineering & Cloud AWS

• Services AWS Data : S3, Glue, Redshift, Athena, EMR, Lambda
• Pipelines et orchestration : Step Functions, Airflow, Lambda Python
• Patterns d’architecture data : Data Lake, ETL / ELT, Data Mesh
• Transformation data : dbt

DevOps & Industrialisation

• Infrastructure as Code : Terraform
• CI/CD : GitLab CI/CD
• Gestion des environnements DEV / PREPROD / PROD
• Versionning du code et de la data : Git, DVC, LakeFS

Sécurité & Gouvernance

• IAM, gestion des accès, chiffrement
• Gouvernance et catalogage : Glue Data Catalog, Collibra ou équivalent