Optimisation d'architecture neuronale post-entraînement pour petit modèles de langage
Description du sujet de thèse
Domaine
Défis technologiques
Sujets de thèse
Optimisation d'architecture neuronale post-entraînement pour petit modèles de langage
Contrat
Thèse
Description de l'offre
L'IA générative, et en particulier les modèles de langage (LLM), ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLM sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, difficiles à mettre en œuvre sur des systèmes embarqués autonomes. Les LLM peuvent être optimisés en modifiant leur architecture, pour remplacer les opérations de Transformer coûteuses par des alternatives moins coûteuses. Etant donné la difficulté d'entraîner des LLM " from scratch ", cette thèse vise à développer des méthodes d'optimisation d'architecture neuronale post-entraînement, applicable à des petits LLM (SLM). De plus, la thèse vise à proposer un modèle de performance des différentes opérations d'un SLM et leurs alternatives, afin de guider le remplacement des opérations, et ainsi proposer une méthodologie complète d'optimisation de SLM en prenant en compte les contraintes matérielles. Le travail sera valorisé par des publications dans des conférences et journaux de rang majeur en IA, et les codes et méthodes développés pourront être intégrés dans les outils développés au CEA.
Site
Grenoble
Critères candidat
Formation recommandée
Master 2 ou diplôme d'ingénieur en informatique ou IA ou systèmes embarqués
Disponibilité du poste
01/10/2026
Personne à contacter par le candidat
DAMPFHOFFER Manon CEADRT/DSCIN/DSCIN/LIIMCentre de Grenoble17, rue des Martyrs38054 GRENOBLE Cedex 9