Data Engineer Python
LYON, 69
il y a 11 jours
DGTL / Signe + est le facilitateur pour tous les acteurs qui recherchent des ressources ou des missions DATA. Spécialiste du marché Data et BI, nous intervenons dans toute la France comme à l'étranger ; en sous-traitance, pré-embauche, recrutement, portage commercial, portage salarial, etc. Depuis 2018, nous accompagnons nos clients avec proximité, juste prix et préoccupation éthique de tous les instants.
POSTE / MISSIONS
Missions
- Développer et maintenir des produits data avec des contrats clairement définis.
- Concevoir et maintenir des pipelines de données batch et event‑based.
- Construire des pipelines Polars hautement performants.
- Supporter et optimiser des workflows à grande échelle sur Databricks.
- Mettre en place des processus robustes d'ingestion, de transformation et de validation des données, en visant performance, scalabilité et résilience.
- Garantir une haute qualité de données grâce à des validations et des tests automatisés.
- Gérer les composants de stockage et data lake de Azure Cloud conformément aux standards internes.
- Contribuer à l'automatisation CI/CD GitLab et assurer une haute qualité du code Python produit.
Compétences
- Forte expertise en Python (clean architecture, performance, tests).
- Expérience dans la création de data pipelines en Python.
- Expérience avec des bibliothèques de traitement de données : Polars, Pandas, Databricks, DBT, etc.
- Maîtrise d'outils d'orchestration de workflows : Prefect, Airflow, Dagster… Solide compréhension du data modeling et du design de schémas.
- Connaissance des bonnes pratiques d'ingénierie logicielle : CI/CD, code review, tests automatisés…
Soft Skills
- Excellentes compétences en résolution de problèmes, autonomie, envie d'apprendre.
- Forte attention portée à la qualité et à la fiabilité des données.
- Aisance dans des environnements d'ingénierie collaboratifs.
- Capacité à documenter et communiquer clairement des concepts techniques.
- Les compétences techniques priment sur le nombre d'années d'expérience.
2J TT/semaine
PROFIL RECHERCHÉ
Compétences Techniques Requises
- Python
- Azure Databricks
- CICD
- Pandas
- GitLab
AVANTAGES
Selon profil
#J-18808-Ljbffr
Entreprise
DGTL Performance
Plateforme de publication
WHATJOBS
Offres pouvant vous intéresser
LYON, 69
il y a 2 jours
architecte informatique Data Azure / Databricks / Snowflake — Part-time puis Full-time (IT) / F[...]
PUTEAUX, 92
il y a 23 heures
LYON 1ER, 69
il y a 21 jours
LYON, 69
il y a 10 jours