Ingénieur(e) LLMOps / MLOps / Observabilité

Ingénieur(e) LLMOps / MLOps / Observabilité

Nous recherchons l'ingénieur(e) clé qui prendra en main l'infrastructure d'observabilité, d'évaluation et de contrôle des coûts de nos applications IA.

Garantir la fiabilité, la qualité et la maîtrise des coûts de tous les cas d'usage LLM en production sur l'ensemble de l'organisation.

Ce que vous ferez au quotidien :

• Infrastructures d'observabilité : Déployer et gérer le tracing distribué, le suivi de la latence, des coûts et de la qualité des LLM (évaluation du stack actuel avec Langfuse vs alternatives comme Langsmith).
• Pipelines d'évaluation : Concevoir les outils permettant d'exécuter et de versionner des suites de tests en continu (offline & online evals).
• Versioning & Data : Structurer le versioning des prompts, des modèles et la gestion des datasets de test.
• Alerting & Qualité : Mettre en place la détection automatique des dégradations de qualité en production et la gestion du registre de modèles.

Le profil idéal :

• Expertise Observabilité & LLMOps : Expérience concrète sur du tracing distribué, métriques, alerting (idéalement appliqués aux LLM) et le déploiement d'outils d'observabilité dans de grandes entreprises.
• Cloud & Tools : À l'aise avec les déploiements sur AWS et la manipulation d'outils du paysage LLMOps (Langfuse, Langsmith, Braintrust...).