AI Product Specialist (H/F/Nb)

En tant que AI Product Specialist, vous êtes responsable de la qualité et de la performance de nos agents IA en production. Votre mission : faire en sorte que ce que nos agents répondent à nos clients soit juste, utile et fiable, et étendre ces agents à de nouvelles lignes d’assurance, dans un contexte exigeant : données sensibles et marché réglementé.

Vous évoluez au sein de l’équipe Produit, en binôme étroit avec le senior software engineer de l’équipe IA, qui construit le socle technique et l’architecture de nos agents. Il construit et intègre, vous améliorez et garantissez la qualité de ce qui est livré. Vous faites aussi de l’IA une compétence partagée dans l’équipe.

Missions

Améliorer la qualité et la performance de nos agents IA

• Itération sur les prompts : concevoir, tester et améliorer les prompts, le contexte fourni et les garde-fous de nos agents, avec une démarche d’expérimentation rigoureuse et mesurée.

• Optimisation du RAG : analyser et améliorer la pertinence des informations récupérées et du contexte fourni aux agents, afin de garantir des réponses fiables, précises et fondées sur les bonnes sources.

• Analyse des conversations : exploiter les traces de nos agents (via LangSmith) pour comprendre ce qui fonctionne, ce qui échoue et pourquoi, du point de vue du client.

• Jeux de tests et critères de qualité : construire et faire évoluer les jeux de tests et les évaluateurs automatisés (notamment LLM-as-a-Judge) pour mesurer objectivement la qualité des réponses, identifier les axes d’amélioration et détecter les régressions.

• Suivi de la qualité : définir et suivre les indicateurs de qualité de nos agents (exactitude, pertinence, satisfaction etc), et animer des revues régulières.

• Gestion de l’incertitude : définir avec les équipes concernées les cas où l’agent doit s’abstenir ou passer la main à un humain, et les cas critiques à ne jamais manquer.

Étendre nos agents à de nouveaux périmètres

• Nouvelles lignes d’assurance : préparer l’extension de nos agents à de nouveaux produits. Exemple concret : passer de l’agent qui répond aux questions de nos clients en assurance auto à l’assurance santé, puis à d’autres lignes (moto, emprunteur, MRH).

• Connaissance métier : travailler avec les experts métier pour fournir les contenus, les cas d’usage et les cas limites propres à chaque périmètre.

• Critères de mise en production : définir les critères de qualité à atteindre avant chaque ouverture, et s’assurer qu’ils sont respectés.

• Ouverture progressive : accompagner les phases pilotes (mode shadow, ouverture progressive) et analyser les résultats pour décider de la suite.

Diffuser la compétence IA dans l’équipe

• Transmission : former l’équipe Produit à lire les conversations, comprendre les évaluations et itérer sur les prompts, pour que cette compétence ne repose pas sur une seule personne.

• Documentation : documenter les bonnes pratiques, les jeux de tests et les décisions, pour qu’elles soient réutilisables.

Travailler au cœur d’une équipe

• Binôme avec la Tech : travailler au quotidien avec le senior software engineer de l’équipe IA.

• Partenaire du Produit et des métiers : collaborer avec les PM et les équipes commerciales et marketing.

• Conformité : respecter notre gouvernance IA et la réglementation applicable (RGPD, AI Act, devoir de conseil).

Expérience : Expérience concrète sur des produits basés sur des LLM avec une pratique avérée de l’itération sur les prompts et de l’évaluation de la qualité des réponses. Une expérience dans un contexte régulé ou sensible (assurance, finance, santé) est un plus. Hardskills Prompting et optimisation : maîtrise des techniques d’amélioration d’un agent (rédaction et structuration de prompts, contexte, garde-fous), avec une démarche de test comparatif. Évaluation de la qualité : expérience concrète de conception de jeux de tests et de critères d’évaluation d’un assistant IA. Lecture des traces : capacité à analyser des conversations et des traces (LangSmith) pour diagnostiquer les problèmes et les prioriser. Compréhension des LLM : bonne compréhension de leur fonctionnement et de leurs limites (hallucinations, RAG, variabilité des réponses). Analyse de données : capacité à tirer des conclusions fiables de données d’usage et à relier la qualité d’une réponse à un résultat business. Conformité : sensibilité aux enjeux de données personnelles et de réglementation IA Softskills Rigueur et honnêteté intellectuelle : capacité à dire qu’un agent n’est pas prêt, preuves à l’appui, même sous pression de calendrier. Culture produit et orientation business : comprendre ce qu’est une bonne réponse pour un client et pour le business, et pas seulement pour un modèle. Communication : rendre des résultats techniques lisibles pour des équipes non techniques et pour des décideurs. Pédagogie : goût pour la transmission, capacité à rendre l’IA accessible à des équipes non expertes. Collaboration : étroite collaboration avec la Tech et les métiers (équipes commerciales et marketing) Curiosité : appétence pour un domaine qui évolue très vite.

Rejoindre lesfurets c’est… Rejoindre une entreprise où la bienveillance et la cohésion prime et dans laquelle tu pourras évoluer dans un environnement sain et productif en développant tes capacités et répondre à des challenges au quotidien. Mais puisque le travail ne fait pas tout et que nous aimons penser qu’il est possible de lier performance et plaisir, tu auras aussi l’occasion de participer à nos tournois, nos évènements RSE, nos after-work, nos petits-déjeuners, nos team-buildings et bien d’autres évènements internes qui animent et enrichissent nos journées. De plus tu auras aussi accès à : Le télétravail n’est pas une option chez lesfurets, c’est un savoir vivre jusqu’à 3 jours de télétravail par semaine autorisés, autrement dit, 8 jours minimum de présence au bureau par mois à répartir selon les préférences de chacun + la possibilité de télétravailler à l’étranger. Développement professionnel un onboarding complet et un budget formation et conférence alloué. Equilibre vie pro/perso 2 jours de Care Days en plus de tes congés payés et RTT RSE 2 jours offerts par an pour s’investir sur les projets RSE/associatifs de son choix Des bureaux au coeur de Paris et bien + encore Ces missions t’intéressent et tu te reconnais dans ce profil ?