Manufacturing Data Engineer AWS H/F

Ingestion & Intégration des données

• Connecter les sources de données (MES, ERP SAP, PLM, capteurs IoT, APIs tierces) vers la plateforme AWS
• Concevoir et développer des pipelines d'ingestion temps réel (Kinesis Data Streams, MSK/Kafka) et batch (AWS Glue, Lambda, Step Functions)
• Intégrer de nouveaux flux dans l'écosystème data en respectant les standards de qualité et de traçabilité
• Gérer les schémas d'import/export et les moteurs de contrôle qualité à l'entrée des données

Transformation & Enrichissement des données (couche Transformed & Enriched)

• Mettre en œuvre une architecture médaillon (Bronze / Silver / Gold) sur Amazon S3
• Développer les transformations AWS Glue (PySpark) pour enrichir, nettoyer et réconcilier les données
• Garantir la cohérence des modèles de données entre les différentes couches du Lakehouse
• Implémenter des règles de qualité des données et monitorer les anomalies

Construction & Maintenance du Lakehouse AWS

• Concevoir et opérer l'architecture Lakehouse : S3 (format Parquet/Iceberg), AWS Glue, Redshift Spectrum / Athena
• Administrer et optimiser le data warehouse Redshift (distribution keys, sort keys, WLM)
• Mettre en place le catalogage des données via AWS Glue Data Catalog et/ou Apache Atlas
• Gérer les politiques d'accès et de sécurité des données (Lake Formation, IAM, chiffrement KMS)
• Assurer la performance, la scalabilité et la maîtrise des coûts de l'infrastructure data

Gouvernance & Catalogage

• Maintenir et enrichir le catalogue de données (métadonnées techniques et métier, lignage, glossaire)
• Contribuer à la mise en place des Data Contracts entre les producteurs et consommateurs de données
• Performer et faire évoluer les besoins de données avec l'équipe de gouvernance data
• Documenter les modèles de données, les flux et les décisions d'architecture

Accompagnement des clients internes & Animation Data

• Recueillir et formaliser les besoins des équipes métier (production, méthodes, direction)
• Organiser et animer des ateliers de co-construction de dashboards Power BI et des présentations
• Être force de proposition pour standardiser et industrialiser les pratiques data au sein de l'entreprise
• Former les utilisateurs à l'exploitation des données et des outils BI

Industrialisation & Représentation

• Rédiger les spécifications fonctionnelles et le plan de recettage des livrables data
• Être le référent du service pour la gestion des prestataires (centre de service d'industrialisation)
• Contrôler et valider les livrables des sous-traitants
• Représenter le service dans les échanges de données entre nos applications et les autres systèmes de la continuité numérique (ERP, PLM, MES, industrie étendue)

Cloud AWS (cœur du poste)

• Amazon S3 + Parquet/Iceberg
• AWS Glue (ETL + Catalog)
• Amazon Redshift
• Amazon Athena
• Kinesis / MSK (Kafka)
• AWS Step Functions / Lambda
• AWS Lake Formation + IAM
• CloudWatch + Cost Explorer

Langages & Frameworks

• Python (PySpark, Pandas)
• SQL avancé
• Terraform / CloudFormation

Visualisation & Outils Métier

• Git / CI-CD