Ingénieur•e expert•e évaluation de LLM

Niveau de diplôme exigé : Bac + 5 ou équivalent

Fonction : Personnel des fonctions support (IT)

Niveau d'expérience souhaité : De 5 à 12 ans

Contexte et atouts du poste

Suite aux priorités établies en mai 2024 par la Déclaration de Séoul pour une IA sûre, novatrice et inclusive, dont la France est signataire, le gouvernement a décidé de créer l'INESIA, un institut dont la mission est de fédérer les acteurs nationaux de l’évaluation et de la sécurité, et tout particulièrement :

Dans ce cadre, Inria contribue principalement à l’analyse des risques systémiques dans le champ de la sécurité nationale et à l’évaluation de la performance et de la fiabilité des modèles d'IA.

Ce travail se coordonne stratégiquement avec le programme de recherche d’Évaluation de l'IA, porté par Inria, et se matérialise par la conception et le développement d'une plateforme d'évaluation de l'IA , notamment pour les systèmes basés sur les LLM.

Cette plateforme vise à fournir un environnement intégré, sécurisé et robuste pour soutenir les projets de recherche du programme et développer des applications d’évaluation, telles que des campagnes de benchmarks, des exercices de red teaming, etc. Elle s’appuie sur des outils open source de l'écosystème IA et des développements internes.

Vous rejoindrez une équipe dans une dynamique de développement rapide et itérative : la plateforme évoluera progressivement, avec des livrables opérationnels réguliers. Nous recherchons des profils capables de proposer, d’arbitrer et de transformer des besoins techniques en solutions opérationnelles.

En tant qu'expert de l'évaluation de LLM, vous jouerez un rôle central dans la définition des méthodologies d'évaluation.

Ce poste offre l’opportunité de participer à un projet stratégique et ambitieux, au cœur des enjeux liés à la sécurité, la transparence et la gouvernance de l’IA, avec des dimensions techniques, scientifiques et sociétales.

Mission confiée

Concevoir, structurer et implémenter les protocoles d'évaluation des modèles et systèmes basés sur des LLM et les intégrer dans l'architecture modulaire de la plateforme.

Principales activités

Définir et implémenter des protocoles d'évaluation, des benchmarks et des métriques

Analyser et interpréter les résultats d'évaluation afin d'en dégager des recommandations méthodologiques

Participer à la définition de l'architecture logicielle de la plateforme

Documenter la méthodologie

Compétences nécessaires

Expérience en évaluation de modèles d'IA (métriques, protocoles expérimentaux) avec une bonne culture scientifique du domaine

Solide maîtrise du fonctionnement des LLMs

Très bonne maîtrise de Python et de l'écosystème ML

Bonnes pratiques de développement (versionnage Git, CI/CD, documentation)

Capacité à rédiger une documentation technique

Compétences souhaitées

Expérience avec des frameworks d'évaluation (Inspect, Lighteval, …)

Connaissances générales sur le domaine de conception de logiciels pour l’IA, notamment en expérimentation scientifique.

Connaissance d'outils de déploiement d'applications Web (Docker, docker‑compose, CI/CD)

Compétences appréciées

Maîtrise de l’anglais technique oral et écrit

Sensibilité aux enjeux de confiance et de sécurité de l’IA

Nous vous invitons à postuler même si vous ne répondez pas à tous les critères : nous apprécions les personnes prêtes à acquérir de nouvelles compétences.

Avantages

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail (après 6 mois d'ancienneté) et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Date de prise de fonction souhaitée :
• Durée de contrat : 2 ans
• Date limite pour postuler :

Attention : Les candidatures doivent être déposées en ligne sur le site Inria. Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.

Consignes pour postuler

Sécurité défense : Ce poste est susceptible d’être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n° relatif à la protection du potentiel scientifique et technique de la nation (PPST). L’autorisation d’accès à une zone est délivrée par le chef d’établissement, après avis ministériel favorable, tel que défini dans l’arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l’annulation du recrutement.

Politique de recrutement : Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.