Optimisation d'architecture neuronale post-entraînement pour petit modèles de langage
Description du sujet de thèse
L'IA générative, et en particulier les modèles de langage (LLM), ont conduit à une nouvelle révolution de l'IA avec des applications dans tous les domaines. Cependant, les LLM sont très gourmands en ressources (énergie, calculs, etc.) et, par conséquent, difficiles à mettre en œuvre sur des systèmes embarqués autonomes. Les LLM peuvent être optimisés en modifiant leur architecture, pour remplacer les opérations de Transformer coûteuses par des alternatives moins coûteuses. Étant donné la difficulté d'entraîner des LLM "from scratch", cette thèse vise à développer des méthodes d'optimisation d'architecture neuronale post-entraînement, applicable à des petits LLM (SLM). De plus, la thèse vise à proposer un modèle de performance des différentes opérations d'un SLM et leurs alternatives, afin de guider le remplacement des opérations, et ainsi proposer une méthodologie complète d'optimisation de SLM en prenant en compte les contraintes matérielles. Le travail sera valorisé par des publications dans des conférences et journaux de rang majeur en IA, et les codes et méthodes développés pourront être intégrés dans les outils développés au CEA.
Domaine
Défis technologiques
Sujets de thèse
Optimisation d'architecture neuronale post-entraînement pour petits modèles de langage
Contrat
Thèse
Université / école doctorale
Interfaces (INTERFACES) Paris-Saclay
Site
Grenoble
Critères candidat
Formation recommandée
Master 2 ou diplôme d'ingénieur en informatique ou IA ou systèmes embarqués
Disponibilité du poste
01/10/2026
Personne à contacter par le candidat
DAMPFHOFFER Manon
CEA DRT/DSCIN/DSCIN/LIIM Centre de Grenoble 17, rue des Martyrs 38054 GRENOBLE Cedex 9
Tuteur / Responsable de thèse
HUDELOT Céline
CentraleSupelec Laboratoire MICS Centrale-Supélec Campus de Châtenay-Malabry