Développement de solutions avancées d'intégration de connaissances a priori dans des modèles VLA pour la robotique

Context

Dans le cadre du projet BPI Logie-IA (impliquant les partenaires industriels: Enchanted tools et NXP; et les partenaires académiques : le laboratoire ISIR de Sorbonne Université, le laboratoire LIA de l'Université d'Avignon, le Centre INRIA d'Université Côte d'Azur), l'ingénieur.e recruté.e développera des solutions avancées d'intégration de connaissances a priori dans des modèles VLA pour la robotique. L’ objectif est de développer de nouvelles solutions pour intégrer des connaissances riches et structurées dans des VLA pour de la robotique augmentée. Ces solutions devront s'articuler avec les contributions des autres partenaires du projet Logie-IA pour améliorer en particulier l'approche HARMONI de l'ISIR et favoriser des modèles d'IA plus frugaux pour faciliter l'embarquement dans les robots d'Enchanted Tools. Des déplacements pourront être organisés sur les sites des autres partenaires. Les frais de déplacements seront pris en charge par le projet comme prévu dans le budget.

Assignment

Missions :

Avec l'aide des membres permanents de l'équipe Maasai impliqués dans le projet, la personne recrutée sera amenée à :

• développer et implémenter des algorithmes d'IA.
• présenter ses avancées au sein de l'équipe Maasai et une fois par mois au consortium
• accompagner les partenaires du projet à intégrer ses solutions dans leurs propres approches

Collaboration :

La personne recrutée sera en lien avec toutes les équipes des partenaires du projet qui développent leurs propres approches en vision par ordinateur, traitement de la parole, robotique, et optimisation des modèles pour l'embarquer afin d'y intégrer ses approches.

Responsabilités :

La personne recrutée a la charge des solutions d'intégration de connaissances a priori dans des modèles de type VLA et prendra des initiatives pour échanger avec les différents partenaires du projet .

Pilotage/Management :

La personne recrutée aura la responsabilité de documenter ses développements et de rapporter régulièrement sur ses avancées au reste du consortium. L'encadrement de stages étudiants est envisagé.

Main activities

Principales activités :

• Proposer des solutions pour intégrer des connaissances a priori dans des Vision Language Action models
• Tester, modifier jusqu’à valider
• Rédiger la documentation
• Rédiger les rapports

Activités complémentaires :

• Présenter l’avancée des travaux aux partenaires
• Collaborer avec les partenaires pour l'intégration des solutions développées dans les approches de chacun des partenaires

Skills

Compétences techniques et niveau requis :

Le candidat ou la candidate devra maitriser Python et l'implémentation des réseaux de neurones profonds en Pytorch. De bonnes connaissances techniques sur l'implémentation de Large Language Models (LLMs) sera un plus.

Langues :

Maîtrise du français et/ou de l'anglais nécessaire

Compétences relationnelles :

Expérience du travail en équipe