Ingénieur / Ingénieure de recherche scientifique (H/F)
Mission : Dans le cadre de cette mission, vous participerez à des travaux de recherche qui correspondent à deux axes complémentaires: les représentation de textes et l'intelligence artificielle frugale. Vos activités releveront à la fois de l'analyse de l'état de l'art et du prototypage de nouvelles représentations textuelles hierarchiques. L'approche du traitement automatique des langues (TAL) par apprentissage profond suppose en effet de représenter la langue sous forme de vecteurs. Cependant, l'essor du TAL et de l'intelligence artificielle, à travers le déploiement d'agents, notamment conversationnels ou de programmation, impose de prendre en charge des textes toujours plus longs, que cette longueur tienne à leur nature conversationnelle ou à leur traitement en corpus (bases de code, ensembles de documents techniques). Les modèles transformeurs actuels ne prennent en compteles textes que de manière séquentielle et, le plus souvent, auto-régressive : un texte y est simplement compris comme l'ensemble des tokens qui le composent, dont le traitement produit une collection de vecteurs. Si ces collections offrent une représentation utile et performante des textes, leur traitement se révèle d'autant plus coûteux en calcul que la taille des textes, dont la complexité croît de façon quadratique, et celle des modèles augmentent. D'une part, vous serez chargé d'étudier la littérature consacrée à la construction de représentations d'unités de textes au delà des mots. Vous tiendrez compte de hiérarchiser les représentations en distinguant différents niveaux de découpe du texte. Vous analyserez en particulier les apports et les limites des représentations d'ordre supérieur, comme proposées par les modèles Hi
BERT, Sentence-BERT ou Next
Level
BERT, afin d'en dégager les motivations, les performances et les limitations. À partir de ce travail, vous élaborerez un état de l'art des représentations hiérarchiques et de l'intelligence artificielle frugale. D'autre part, vous proposerez et prototyperez des systèmes de représentation opérant à l'échelle de la phrase, du texte et du corpus, conçus pour s'inscrire dans une démarche d'intelligence artificielle frugale, dans le but maîtriser les coûts de calcul. Vous serez associé aux publications et valorisations scientifiques des travaux conduitsBERT, Sentence-BERT, Next
Level
BERT).
- Proposer et prototyper des systèmes de représentation de la phrase, du texte et du corpus dans un cadre frugal.
- Élaborer un état de l'art efficace des représentations non plates et de l'IA frugale.
- Participer activement aux travaux de recherche en collaboration avec les équipes de l'unité d'accueil.
