PhD 'Mechanistic interpretability from LLM usage logs' F/H
L'ambition de la Division Innovation est de porter plus loin l'innovation d'Orange et de renforcer son leadership technologique, en mobilisant nos capacités de recherche pour nourrir une innovation responsable au service de l'humain, éclairer les choix stratégiques du Groupe à long terme et influencer l'écosystème digital mondial.
Nous formons les expertes et les experts des technologies d'aujourd'hui et de demain, et veillons à une amélioration continue de la performance de nos services et de notre efficacité. La division Innovation rassemble, dans le monde, 6000 salariés dédiés à la recherche et l'innovation dont 740 chercheurs. Porteurs d'une vision globale avec une grande diversité de profils (chercheurs, ingénieurs, designers, développeurs, data scientists, sociologues, graphistes, marketeurs, experts en cybersécurité...), les femmes et les hommes de Innovation sont à l'écoute et au service des pays, des régions et des business units pour faire d'Orange un opérateur multiservices de confiance.
Au sein d'Innovation, vous serez intégré(e) à deux équipes de recherche à la pointe spécialisées en traitement automatique des langues. Vous bénéficierez d'un environnement stimulant : présence de nombreux chercheurs, doctorants et data scientists ; connexions avec des problématiques applicatives stratégiques du Groupe ; disponibilité d'infrastructures de calcul ; collaborations académiques et projets européens.
L'interprétabilité mécanistique vise à comprendre le fonctionnement interne des modèles de machine learning, notamment des LLMs, en étudiant la circulation de l'information dans leurs couches. Elle peut permettre d'optimiser le fine-tuning, limiter les interférences lors de l'adaptation ou de la fusion de modèles, et améliorer la compression tout en conservant des capacités. La thèse propose de passer d'une approche centrée sur des tâches en laboratoire à une analyse basée sur les usages réels, en utilisant des logs d'usage variés.
La problématique est ...