Stage en data science - Traitement Automatique des Langues F/H

votre rôle

Sujet de stage : Combinaison de modèles de langue pour l'apprentissage modulaire

Les modèles de langue les plus performants aujourd’hui sont capables de réaliser de très nombreuses tâches avec une très bonne qualité. Cependant, ces modèles sont très volumineux (on parle alors de Large Language Models, ou LLM) et leur entraînement et leur utilisation à l’inférence nécessitent des ressources qui demeurent un frein pour un usage responsable de l’intelligence artificielle. À l’autre bout du spectre, il existe des modèles dédiés à des tâches élémentaires et qui, pour ces tâches,
obtiennent des performances comparables aux gros modèles tout en étant beaucoup plus petits. La combinaison de tels modèles (ou model merging) constitue une piste de recherche avec de nombreux enjeux à la fois scientifiques et opérationnels.

Dans des travaux précédents nous avons montré qu’il est possible de combiner des modèles dédiés à des tâches pour créer un modèle capable de réaliser toutes les tâches couvertes par ces
modèles sans réapprentissage, et ce avec des garanties théoriques. Cela nous amène naturellement à la question suivante: Est-il possible de combiner des modèles dédiés de manière à créer un modèle capable de réaliser une nouvelle tâche jusqu’ici alors inconnue ? Ce problème  est référencé aujourd’hui dans la littérature sous la notion d’apprentissage modulaire et certains
résultats préliminaires semblent répondre positivement à cette problématique. Cependant où sont les limites de cette approche ? Quelles conditions doivent remplir deux modèles donnés pour que
leur combinaison permette de faire émerger de nouvelles compétences ?

Répondre à cette problématique nécessitera de mieux comprendre la géométrie de l’espace dans lequel vivent ces modèles de plusieurs milliards de paramètres. Une problématique complexe à laquelle peu de réponses concrètes ont été apportées aujourd’hui.

votre profil

Stage de fin d’études de master ou d’école d’ingénieur (Bac+5) en informatique ou mathématiques appliquées

• Appétence pour une démarche orientée recherche
• Compétences en deep learning
• Appétence pour le traitement automatique des langues
• Compétences Linux, Shell, Python, Slurm

le plus de l'offre

Ce sujet de stage est au cœur d'un sujet actuellement stratégique : le fonctionnement des modèles de langue. Dans le cadre d'un environnement pointu tel que les laboratoire de recherche d'Orange, il ouvre ainsi beaucoup de perspectives de carrière.

entité

La direction Data & IA, au sein de l’entité Orange Innovation, a pour ambition de développer l’usage de la Data et de l’Intelligence Artificielle, en étroite collaboration avec les pays sur leurs cas d’usages et leurs besoins métier, tout en maintenant son niveau d’expertise élevé grâce à la recherche.

Dans cette direction, l’équipe DESKIN développe des produits et des services à base de technologies d’Intelligence Artificielle (IA), et d’IA Générative pour le traitement automatique du langage naturel.

Plus précisément, les missions de l’équipe DESKIN sont :

1.    Développer des outils d’IA multilingues, concevoir des solutions complètes de traitement, de manipulation, d’évaluation et visualisation de données textuelles à destination des directions métiers d’Orange, en utilisant les dernières technologies et modèles d’IA Génératives,

2.    Accompagner les équipes métiers pays dans l’analyse de données textuelles et conversationnelles, pour des besoins Orange ou des besoins de clients externes,

3.    Mener des travaux de recherche et d’anticipation pour développer ou adapter de nouvelles technologies d’IA adaptées aux contenus textuels.

L’équipe rassemble des compétences et métiers complémentaires : chercheur.e, doctorant.e, architecte, ingénieur.e logiciel, data scientist, intégrateur.