SHARP
Principes théoriques et algorithmiques de l’apprentissage frugal
Aperçu
Concentrer la recherche sur les architectures, les principes d’apprentissage et les données afin de définir les méthodes d’apprentissage les plus frugales tout en préservant la performance des modèles.
Rémi Gribonval, Directeur de recherche Inria
Le défi majeur du projet SHARP est de concevoir, d’analyser et de déployer des modèles intrinsèquement frugaux (neuronaux ou non) capables d’atteindre la polyvalence et les performances des meilleurs modèles tout en ne nécessitant qu’une fraction infime des ressources actuellement nécessaires.
Mots clefs : Frugalité, rationalisation, ressources, réduction, architectures
Site internet du projet : https://project.inria.fr/sharp/
Les missions
Nos recherches
Faire évoluer les architectures
Etudier les fondements mathématiques et algorithmiques de l’apprentissage profond parcimonieux (réseaux avec peu de connexions), en explorant plusieurs pistes :
– Techniques spectrales issues des progrès récents en factorisation parcimonieuse ;
– Apprentissage distribué parcimonieux optimal ;
– Architectures binarisées compactes avec des garanties PAC-Bayes ;
– Réduction de dimensionnalité polyvalente pour les vecteurs, les gradients et même les ensembles de données ;
– Principes de quantification solides basés sur la théorie de l’information et l’algèbre linéaire numérique.
Faire évoluer les principes théoriques et les fondements de l’apprentissage
Combiner intelligemment l’apprentissage traditionnel avec les connaissances en termes de symétries, de modèles probabilistes a priori, et de représentations apprises, afin de réduire la taille des modèles et la quantité de données requises. Un défi clé sera de redéfinir une approche structurée pour la vision par ordinateur, en exploitant les lois physiques de la formation d’images (3D, matériaux, éclairage…).
Faire évoluer les quantités de données utilisées
Développer des modèles frugaux qui apprennent de façon similaire aux systèmes biologiques, à partir de données limitées, hétérogènes, incomplètes voire corrompues.
Exploiter la structure cachée des données en développant des algorithmes capables de déceler des relations entre les éléments d’un ensemble d’apprentissage, afin de tirer parti des informations contenues dans des données « réelles » et imparfaites
Le consortium
Inria, Université Paris Dauphine-PSL, École des Ponts ParisTech, CNRS, CEA, Sorbonne Université, ENS Lyon, ESPCI Paris
SHARP proposera un cadre théorique et algorithmique pour exploiter les connaissances préexistantes et les concepts modernes de parcimonie des prédicteurs et/ou des algorithmes. Ce nouveau paradigme d’apprentissage de représentations vise à contourner les limitations techniques et informatiques actuelles.
Deux applications concrètes de SHARP seront explorées :
- Entrainement frugal de transformeurs compacts : SHARP permettra de former des transformeurs compacts avec une perte de performance négligeable, réduisant ainsi les besoins en ressources computationnelles.
- Apprentissage de représentations sur de petits ensembles de données non étiquetés : SHARP permettra de développer des modèles d’apprentissage de représentations efficaces sur de petits ensembles de données annotés parcimonieusement, ouvrant la voie à de nouvelles applications dans des domaines où les données sont rares.
Grâce à des avancées fondamentales vers des principes plus forts, des modèles plus petits, des jeux de données plus réduits, SHARP permettra aux meilleurs systèmes d’IA de demain de fonctionner sur les appareils d’hier, offrant ainsi un remède contre l’obsolescence.
Une communauté d’une vingtaine de chercheurs, enseignants chercheurs et ingénieurs permanents, mobilisant en outre 20 doctorants, 4 post-doctorants et des ingénieurs de recherche contractuels au fur et à mesure du projet.
Publications
Autres projets
