DATA ENGINEER DATABRICKS F/H - Système, réseaux, données (H/F)

DATA ENGINEER DATABRICKS F/H - Système, réseaux, données (H/F)

Descriptif du poste: Notre client développe une nouvelle génération d’assistants virtuels basés sur l’IA, destinés à accompagner les professionnels dans leurs activités quotidiennes. Ces assistants ne sont pas de simples chatbots, mais des systèmes IA orientés action capables de :

• Comprendre le contexte métier spécifique de chaque client
• Répondre à des questions de manière fiable et contextualisée
• Exécuter des actions réelles telles que le paiement de factures, la planification de rendez-vous ou l’interaction avec des outils internes

La plateforme combine :

• Des LLM pour l’interaction en langage naturel (texte et voix)
• Des graphes de connaissance pour représenter les données métier nombreuses et hétérogènes de façon structurée et exploitable
• Des systèmes de données robustes garantissant exactitude, fraîcheur, sécurité et traçabilité

Environnement de travail :

• Solution SaaS avec multiples applications
• Stack technique : Databricks, Azure, Python, SQL, Spark
• Collaboration étroite avec les ingénieurs IA, Data Scientists, Data Analysts et équipes produit
• Équipe incluant un docteur en immunologie
• Forte autonomie et responsabilité technique

Mission principale

Au quotidien, vous serez en charge de :

• Concevoir, développer et maintenir des pipelines de données de bout en bout (batch et quasi temps réel)
• Développer des workflows data avec Databricks et devenir référent sur cette technologie
• Modéliser des domaines métier sous forme de graphes de connaissance (entités, relations, permissions)
• Synchroniser les systèmes sources et les graphes (CDC, événements, jobs planifiés)
• Exposer les données et la connaissance via des services FastAPI
• Supporter des architectures IA hybrides (graphes de connaissance + recherche vectorielle + LLM)
• Garantir la qualité des données, l’observabilité, la sécurité et l’isolation multi‑tenant
• Développer un assistant virtuel avec IA pour les clients (au-delà d’un simple chatbot)
• Permettre aux clients d’obtenir des réponses instantanées et automatisées (ex: retrouver des factures, documents spécifiques)
• Gérer le cycle complet des données : extraction, traitement, réalimentation

Responsabilité

Prendre en charge un système de bout en bout (design → déploiement → monitoring) avec une forte autonomie. Accent mis sur des systèmes robustes en production plutôt que des prototypes.

Profil recherché

Expérience requise :

• 5 ans + d’expérience en tant que Data Engineer en environnement de production
• Expérience prouvée avec Azure et Databricks

Compétences techniques impératives

• Expertise Databricks (pas juste Data Scientist) – référent sur cette technologie
• Excellente maîtrise de Python, SQL et Spark
• Conception et exploitation de pipelines data (ETL, architectures en médaillons)
• Expérience avec FastAPI ou frameworks similaires
• Compréhension des environnements Linux et des déploiements cloud (Docker, Kubernetes)
• Maîtrise avancée de Git et des méthodes de CI/CD
• Capacité à interagir au quotidien avec les profils Data/IA/métiers en comprenant les enjeux et contraintes liés à ces typologies de projets

Atouts appréciés

• Expérience concrète avec les graphes de connaissance (Neo4j, Neptune, ArangoDB, etc.)
• Modélisation de graphes et langages de requête (Cypher, SPARQL)
• Expérience avec des systèmes IA basés sur des LLM ou des architectures RAG
• Connaissance des bases de données vectorielles et de la recherche sémantique
• Expérience en environnement SaaS ou multi‑tenant
• Expérience avec l’IA est un plus

Soft skills et personnalité

• Autonome, capable de prendre en main une technologie et devenir référent
• Quelqu’un qui va jusqu’au bout du projet, pas uniquement de l’ETL
• Capacité à prendre en charge un système de bout en bout

Type de contrat

CDI – Contrat de travail.

Salaire

45 - 55 k€ brut annuel