Intern, Distributed Inference for Multi-Modal Large Language Models

About InterDigital

InterDigital is a global research and development company focused primarily on wireless, video, artificial intelligence ("AI"), and related technologies. We design and develop foundational technologies that enable connected, immersive experiences in a broad range of communications and entertainment products and services. We license our innovations worldwide to companies providing such products and services, including makers of wireless communications devices, consumer electronics, IoT devices, cars and other motor vehicles, and providers of cloud-based services such as video streaming. As a leader in wireless technology, our engineers have designed and developed a wide range of innovations that are used in wireless products and networks, from the earliest digital cellular systems to 5G and today's most advanced Wi-Fi technologies. We are also a leader in video processing and video encoding/decoding technology, with a significant AI research effort that intersects with both wireless and video technologies. Founded in 1972, InterDigital is listed on Nasdaq.

InterDigital is a registered trademark of InterDigital, Inc.

For more information, visit: 

Summary

Multi-Modal Large Language Models (MLLMs) are increasingly capable of processing and reasoning over diverse input modalities such as text, images, audio, and video. However, running such models in real-time or resource-constrained environments poses significant challenges in terms of bandwidth and compute requirements.

Distributing the processing of models between client and server (a "distributed computing" approach) is a promising solution. While traditional distributed inferencing has been applied successfully to DNN models, extending this paradigm to MLLMs is a novel and impactful use case.

This internship aims to demonstrate the feasibility of distributed MLLMs inference approach, where MLLM components are distributed across two endpoints, coordinated through an agentic orchestration.

Responsibilities

The internship will be involved in the following tasks:

• Survey the recent advances in MLLMs,

• Select representative models, and a representative agentic architecture in collaboration with the Team

• Implement the selected models as a reference platform,

• Propose one or more distributed inference strategies,

• Implement and adapt these strategies in Python,

• Conduct experiments to measure key performance metrics such as latency, data size, and energy consumption

Qualifications

Education: Master's student in Computer Science, Artificial Intelligence, Data Science, or related field.

Skills:

• Background in AI/ML, particularly large language models.

• Knowledge of multi-modal systems (text, vision, speech).

• Proficiency in Python programming and ML frameworks (PyTorch).

• Ability to conduct research and prototype efficiently.

 Nice to have: familiarity with distributed systems, networking, bandwidth concepts, ONNX framework

Keywords:

MLLM (Multi-Modal Large Language Model), Distributed inference, Python prototyping

Expected Outcomes:

• Hands-on experience with state-of-the-art MLLMs

• Development of agentic based proof of concept

• Potential participation in one scientific paper, publications and patents

Location: Rennes, France

InterDigital is an equal employment opportunity employer. InterDigital will not engage in or tolerate unlawful discrimination with regard to any employment decision, policy or practice based on a person's sex, gender, pregnancy (including childbirth, breastfeeding and related medical conditions), age, race, color, religion, creed, national origin, ancestry, citizenship, military status, veteran status, mental or physical disability, medical condition, genetic information, sexual orientation, gender identity or expression, or any other factor protected by applicable federal, state or local  law. This policy applies to all terms and conditions of employment, including, but not limited to, recruiting, hiring, compensation, benefits, training, assignments, evaluations, coaching, promotion, discipline, discharge and layoff.

______________________________________________________________________________

À propos d'InterDigital

InterDigital est une entreprise mondiale de recherche et de développement qui se concentre principalement sur les technologies sans fil, vidéo, d'intelligence artificielle ("AI") et les autres technologies connexes. Nous concevons et développons des technologies fondamentales qui permettent des expériences connectées et immersives dans une large gamme de produits et de services de communication et de divertissement. Nous concédons des licences sur nos innovations dans le monde entier à des entreprises qui fournissent de tels produits et services, notamment des fabricants d'appareils de communication sans fil, d'appareils électroniques grand public, d'appareils IoT, de voitures et d'autres véhicules à moteur, ainsi que des fournisseurs de services basés sur le cloud, tels que la diffusion vidéo. En tant que leader de la technologie sans fil, nos ingénieurs ont conçu et développé un large éventail d'innovations utilisées dans les produits et les réseaux sans fil, depuis les premiers systèmes cellulaires numériques jusqu'à la technologie 5G et les technologies Wi-Fi les plus avancées d'aujourd'hui. Nous sommes également un leader dans le domaine du traitement vidéo et de la technologie de codage/décodage vidéo, avec un important effort de recherche en matière d'IA qui recoupe à la fois les technologies sans fil et les technologies vidéo. Fondée en 1972, InterDigital est une société cotée au NASDAQ.

InterDigital est une marque déposée d'InterDigital, Inc.

Pour plus d'informations, n'hésitez pas à consulter le site

Résumé

Les grands modèles de langage multimodaux (MLLM) sont de plus en plus capables de traiter et de raisonner à partir de différentes modalités d'entrée telles que le texte, les images, l'audio et la vidéo. Cependant, l'exécution de tels modèles en temps réel ou dans des environnements à ressources limitées pose des défis majeurs en matière de bande passante et de puissance de calcul.

La répartition du traitement des modèles entre le client et le serveur — selon une approche de « calcul distribué » — constitue une solution prometteuse. Si l'inférence distribuée traditionnelle a déjà été appliquée avec succès aux modèles de réseaux de neurones profonds (DNN), son extension aux MLLM représente un cas d'usage à la fois novateur et à fort impact.

Ce stage a pour objectif de démontrer la faisabilité d'une approche d'inférence distribuée pour les MLLM, dans laquelle les composants du modèle sont répartis entre deux points d'exécution et coordonnés au moyen d'une orchestration agentique.

Responsabilités

Le stage portera sur les activités suivantes :

• Effectuer un état de l'art sur les avancées récentes en matière de MLLM ;
• Sélectionner des modèles représentatifs ainsi qu'une architecture agentique de référence, en collaboration avec l'équipe ;
• Implémenter les modèles sélectionnés au sein d'une plateforme de référence ;
• Proposer une ou plusieurs stratégies d'inférence distribuée ;
• Implémenter et adapter ces stratégies en Python ;
• Mener des expérimentations afin de mesurer des indicateurs clés de performance tels que la latence, le volume de données et la consommation d'énergie ;

Qualifications

Education :

• Étudiant en master en informatique, intelligence artificielle, science des données ou dans un domaine connexe.

Compétences:

• Expérience en IA/ML, en particulier dans les grands modèles linguistiques.
• Connaissance des systèmes multimodaux (texte, vision, parole).
• Maîtrise de la programmation Python et des frameworks ML (PyTorch).
• Capacité à mener efficacement des recherches et à créer des prototypes.
• Atouts appréciés : connaissance des systèmes distribués, des réseaux, des concepts de bande passante et du framework ONNX.

Mots clés:

MLLM (modèle linguistique multimodal à grande échelle), inférence distribuée, prototypage Python

Résultats attendus :

• Expérience pratique avec les MLLM de pointe
• Développement d'une preuve de concept reposant sur une architecture agentique ;
• Participation potentielle à la rédaction d'un article scientifique, ainsi qu'à des publications et dépôts de brevets.

Lieu: Rennes

InterDigital est un employeur offrant l'égalité des chances en matière d'emploi. InterDigital s'interdit de toute discrimination illégale et ne tolère aucune décision, politique ou pratique prise en matière d'emploi basée sur le sexe, le genre, la grossesse (y compris l'accouchement, l'allaitement et l'état de santé), l'âge, la race, la couleur, la religion, la croyance, l'origine nationale, l'ascendance, la citoyenneté, le statut militaire, le statut de vétéran, le handicap mental ou physique, l'état de santé, les informations génétiques, l'orientation sexuelle, l'identité ou l'expression de genre, ou tout autre facteur protégé par la loi fédérale, nationale ou locale applicable. Cette politique s'applique à toutes les conditions d'emploi, y compris, de façon non limitative, au recrutement, à l'embauche, à la rémunération, aux avantages sociaux, à la formation, aux affectations, aux évaluations, au coaching, à la promotion, à la discipline, au licenciement et à la mise à pied.