Doctorant F/H Interprétabilité et sûreté des modèles de langage (LLMs)

Doctorant F/H Interprétabilité et sûreté des modèles de langage (LLMs)

Niveau de diplôme exigé : Bac + 5 ou équivalent

Niveau d'expérience souhaité : Jeune diplômé

Contexte et atouts du poste

Les grands modèles de langage (Large Language Models, LLMs) sont aujourd’hui utilisés dans de nombreux domaines tels que la traduction automatique, la génération de code ou l’aide à la décision. Malgré leurs performances remarquables, ces modèles restent largement opaques et peuvent produire des comportements indésirables (hallucinations, backdoors, génération de code vulnérable). Comprendre leurs mécanismes internes constitue donc un enjeu majeur pour améliorer leur fiabilité et leur sécurité.

Cette thèse s’inscrit dans le domaine de l'interprétabilité mécaniste des modèles de langage et vise à analyser les circuits internes des LLMs afin de mieux comprendre comment leurs capacités émergent et comment ces connaissances peuvent être utilisées pour améliorer et sécuriser ces systèmes.

Principales activités

Le ou la doctorant·e sera amené·e à :

Étudier les mécanismes internes des modèles de langage et les circuits responsables de leurs capacités.

Analyser l’émergence et l’évolution de ces circuits au cours de l’entraînement et du fine-tuning.

Développer et appliquer des méthodes d’interprétabilité (analyse d’activations, attribution causale, autoencodeurs parcimonieux, etc.).

Identifier les liens entre circuits internes et comportements indésirables (ex. backdoors, génération de code malveillant).

Proposer des méthodes pour surveiller, corriger ou améliorer les comportements des modèles.

Dissémination

Publier les résultats dans des conférences internationales majeures en IA et NLP

Compétences

Compétences techniques et niveau requis :

Langue de programmation: Python, TypeScript, Scala, Java, C, R, SQL, etc.

Langues : Français, anglais scientifique.

• Restauration subventionnée
• Transports publics remboursés partiellement
• Congés: 7 semaines de congés annuels + 10 jours de RTT (base temps plein) + possibilité d'autorisations d'absence exceptionnelle (ex : enfants malades, déménagement)
• Possibilité de télétravail et aménagement du temps de travail
• Équipements professionnels à disposition (visioconférence, prêts de matériels informatiques, etc.)
• Prestations sociales, culturelles et sportives (Association de gestion des œuvres sociales d'Inria)
• Date de prise de fonction souhaitée :
• Durée de contrat : 3 ans
• Date limite pour postuler :

Attention : Les candidatures doivent être déposées en ligne sur le site Inria. Le traitement des candidatures adressées par d'autres canaux n'est pas garanti.

Consignes pour postuler

Sécurité défense : Ce poste est susceptible d’être affecté dans une zone à régime restrictif (ZRR), telle que définie dans le décret n° relatif à la protection du potentiel scientifique et technique de la nation (PPST). L’autorisation d’accès à une zone est délivrée par le chef d’établissement, après avis ministériel favorable, tel que défini dans l’arrêté du 03 juillet 2012, relatif à la PPST. Un avis ministériel défavorable pour un poste affecté dans une ZRR aurait pour conséquence l’annulation du recrutement.

Politique de recrutement : Dans le cadre de sa politique diversité, tous les postes Inria sont accessibles aux personnes en situation de handicap.

L'étudiant devra (i) avoir une curiosité scientifique frolant la passion pour ce domaine en constante ébulition, (ii) être autonome, (iii) une apétance pourle travail en équipe et (iv) témoigner d'une rigueur expérimentale à toute épreuve.

Inria est l’institut national de recherche dédié aux sciences et technologies du numérique. Il emploie 2600 personnes. Ses 215 équipes-projets agiles, en général communes avec des partenaires académiques, impliquent plus de 3900 scientifiques pour relever les défis du numérique, souvent à l’interface d’autres disciplines. L’institut fait appel à de nombreux talents dans plus d’une quarantaine de métiers différents. 900 personnels d’appui à la recherche et à l’innovation contribuent à faire émerger et grandir des projets scientifiques ou entrepreneuriaux qui impactent le monde. Inria travaille avec de nombreuses entreprises et a accompagné la création de plus de 200 start-up. L'institut s'efforce ainsi de répondre aux enjeux de la transformation numérique de la science, de la société et de l'économie.