Data Engineer Databricks - Lyon

Responsabilités

• Concevoir et déployer des architectures de données robustes et évolutives , alignées sur les enjeux stratégiques.
• Développer, automatiser et maintenir des pipelines de données pour la collecte, la transformation et la mise à disposition des données.
• Optimiser les performances, la sécurité et les coûts des infrastructures cloud.
• Implémenter des solutions de stockage et d’ingestion performantes et conformes à l’architecture cible.
• Définir les standards et bonnes pratiques pour les déploiements, y compris les connecteurs de collecte de données.
• Collaborer avec les équipes de développement pour faciliter l’adoption du cloud et garantir la cohérence technique.
• Assurer une veille technologique sur les innovations cloud et les bonnes pratiques en data engineering.

Qualifications et expérience

• Expérience : 3 ans en data engineering, dont une année sur Databricks.
• Compétences techniques :
  • Expérience dans la gestion et la transformation de données
  • Maîtrise de Databricks et de ses bonnes pratiques
  • Niveau avancé en Python, Spark et SQL
  • Connaissance d’un ETL/ELT appréciée
  • Connaissance des outils de développement continu et d’industrialisation : CI/CD, Terraform, Git

    Hub, Azure Dev

    Ops
• Qualités personnelles : Autonomie, esprit analytique, sens de l’initiative, forte capacité à résoudre les problèmes. Excellentes capacités de communication et de travail en équipe.