Thèse Tests Dirigés par l'Explicabilité de Modèles de Langages Llm H/F

Contexte et objectifs du projet

Établissement : Université Grenoble Alpes, École doctorale : MSTII - Mathématiques, Sciences et technologies de l'information, Informatique. Laboratoire de recherche : Laboratoire d'Informatique de Grenoble. Direction de la thèse : Lydie DU BOUSQUET ORCID . Début de la thèse : . Date limite de candidature : T23:59:59.

Ce projet étudie comment les méthodes de test logiciel peuvent être adaptées et appliquées aux grands modèles de langage (LLM), qui sont de plus en plus utilisés comme composants essentiels des systèmes logiciels modernes. Alors que le test logiciel traditionnel permet la vérification et la validation à différents niveaux de maturité, les pratiques actuelles d'évaluation des LLM restent principalement limitées à des métriques de performance. Elles ne permettent pas d'assurer une vérification systématique des propriétés attendues ni une validation du comportement des systèmes dans des contextes réels. Cette limite est renforcée par le caractère de boîte noire des modèles neuronaux, qui rend le débogage difficile et limite les approches actuelles à des stratégies de mitigation externes, sans traiter les causes profondes des erreurs.

Pour répondre à ces défis, cette recherche propose un cadre de test basé sur l'explicabilité, qui intègre l'intelligence artificielle explicable (IAx) dans le processus de test afin de permettre à la fois la vérification et la validation des systèmes basés sur les LLM. L'idée principale est d'utiliser les représentations internes des modèles pour soutenir l'évaluation systématique du logiciel et la construction de suites de tests. La méthodologie combine des techniques de test logiciel, telles que le test métamorphique, la partition de catégories et le test par mutation, avec de nouveaux critères de couverture définis sur plusieurs dimensions des représentations internes des modèles.

Les contributions attendues incluent de nouvelles définitions de l'adéquation des tests, de la localisation des fautes et de la vérification basée sur les propriétés pour les systèmes neuronaux, ainsi qu'un cadre unifié pour tester les applications d'IA. Dans l'ensemble, ce travail vise à améliorer la fiabilité et la sécurité des systèmes basés sur les LLM, en rapprochant le test logiciel et l'IAx, et en permettant la vérification et la validation des applications d'IA.

Le cadre proposé sera évalué par des études de cas impliquant des systèmes de chatbot, des pipelines de génération de tests et des applications d'agent IA, afin de démontrer son applicabilité à travers différentes catégories de systèmes LLM et niveaux de complexité.

Responsabilités

• Proposer et mettre en œuvre une méthodologie de test logiciel adaptée aux LLM, intégrant l'IAx pour la vérification et la validation des systèmes.
• Développer des cas de test et des suites de tests basés sur le test métamorphique, la partition de catégories et le test par mutation, en étendant l'espace d'entrée aux représentations internes des modèles.
• Évaluer l'adéquation des suites de tests en introduisant de nouveaux critères de couverture multidimensionnels (couv. d'entrée, d'exécution, de neurones, de flux d'attention).
• Appliquer des techniques de mutation pour tester la capacité de détection d'erreurs des suites de tests, et analyser la corrélation entre couverture, représentations explicables et détection de défauts.
• Utiliser l'IAx pour localiser les erreurs en relation avec les violations de propriétés attendues, telles que la consistance sous transformations métamorphiques ou la stabilité des représentations internes.
• Évaluer et valider le cadre via des études de cas comparées sur des systèmes LLM d'applications variées.

Qualifications requises

• Master en informatique ou en mathématiques appliquées.
• Expérience dans les modèles neuronaux et/ou en test logiciel.