Méthodes à noyau efficaces avec attributs binaires // Memory-Efficient Kernel Methods using Bin[...]

Overview

Réf ABG- • ADUM-74925 — Sujet de Thèse

Université Grenoble Alpes

Lieu de travail: Saint Martin d'Hères cedex - Auvergne-Rhône-Alpes - France

Intitulé du sujet: Méthodes à noyau efficaces avec attributs binaires // Memory-Efficient Kernel Methods using Binary Features

Champs scientifiques:

• Informatique

Mots clés: Machine Learning, Kernel Methods, Statistical Learning Theory

Description du sujet (français et anglais)

L'apprentissage automatique est entré dans une période caractérisée par un changement d'échelle sans précédent. Les modèles modernes d'apprentissage profond comportent des milliards de paramètres, et sont entraînés sur des jeux de données colossaux. Si ce changement d'échelle a permis des avancées remarquables d'un point de vue empirique, les systèmes de calcul actuels touchent à leurs limites, notamment en termes de mémoire et de consommation énergétique, incitant au développement de représentations plus compactes des données. Dans ce contexte, les représentations binaires et, plus généralement, de faible précision constituent une voie prometteuse, car elles permettent de réduire les coûts de stockage d'un à deux ordres de grandeur, tout en permettant l'utilisation d'opérations matérielles efficaces (arithmétique binaire).

Au-delà des modèles d'apprentissage profond paramétriques, nous soutenons que l'utilisation de telles représentations pour l'approximation de modèles non paramétriques à noyau est particulièrement pertinente: ces approches ont une complexité élevée et pourraient grandement bénéficier d'approximations basées sur des représentations binaires, tout en offrant une grande flexibilité (permettant notamment de travailler sur des espaces non euclidiens), tout en s'inscrivant dans un cadre théorique riche permettant leur analyse. On peut ainsi espérer introduire des représentations binaires ou de faible précision dans ce contexte sans sacrifier les garanties théoriques existantes. De plus, l'étude de représentations à faible précision dans le cadre non paramétriques pourrait fournir de nouveaux outils conceptuels et algorithmiques pour mieux comprendre et approximer les réseaux de neurones eux-mêmes.

L'objectif de ce sujet est d'explorer le potentiel des descripteurs aléatoires construits à l'aide de fonctions de hachage et de mécanismes de quantification, afin de développer des algorithmes économes en ressources pour l'apprentissage automatique non paramétrique et l'inférence statistique. Malgré une littérature abondante sur les approximations de rang faible des méthodes à noyau, très peu de travaux ont envisagé l'utilisation d'approximations fondées sur des plongements binaires, et en particulier pas dans un contexte d'apprentissage automatique. Nous développerons de nouveaux algorithmes combinant de telles approximations avec des procédures d'optimisation itératives, et établirons des garanties d'apprentissage statistique pour les algorithmes proposés. L'extension de ces idées à des problèmes d'apprentissage sur des espaces structurés sera également étudiée.

Début de la thèse : 01/10/2026

Financement

Concours pour un contrat doctoral

Présentation établissement et labo d'accueil

Université Grenoble Alpes

Etablissement délivrant le doctorat

Université Grenoble Alpes

Ecole doctorale

220 EEATS - Electronique, Electrotechnique, Automatique, Traitement du Signal

Profil du candidat

- M2 en Mathématiques Appliquées, Statistique ou une discipline associée- Niveau solide en algèbre linéaire- Connaissances en théorie de l'apprentissage et/ou analyse fonctionnelle- Des connaissances sur l'architecture des CPU/GPU seraient appréciées

- Master’s degree in Applied Maths or Statistics- Solid background in Linear Algebra- Familiarity with Statistical Learning Theory and/or Functional Analysis- Some knowledge of low-level programming on CPUs/GPUs would be appreciated