SHARP

Principes théoriques et algorithmiques de l’apprentissage frugal

Aperçu

Concentrer la recherche sur les architectures, les principes d’apprentissage et les données afin de définir les méthodes d’apprentissage les plus frugales tout en préservant la performance des modèles.

Rémi Gribonval, Directeur de recherche Inria

Le défi majeur du projet SHARP est de concevoir, d’analyser et de déployer des modèles intrinsèquement frugaux (neuronaux ou non) capables d’atteindre la polyvalence et les performances des meilleurs modèles tout en ne nécessitant qu’une fraction infime des ressources actuellement nécessaires.

Mots clefs : Frugalité, rationalisation, ressources, réduction, architectures

Site internet du projet : https://project.inria.fr/sharp/

Les missions

Nos recherches


Faire évoluer les architectures

Etudier les fondements mathématiques et algorithmiques de l’apprentissage profond parcimonieux (réseaux avec peu de connexions), en explorant plusieurs pistes :
– Techniques spectrales issues des progrès récents en factorisation parcimonieuse ;
– Apprentissage distribué parcimonieux optimal ;
– Architectures binarisées compactes avec des garanties PAC-Bayes ;
– Réduction de dimensionnalité polyvalente pour les vecteurs, les gradients et même les ensembles de données ;
– Principes de quantification solides basés sur la théorie de l’information et l’algèbre linéaire numérique.


Faire évoluer les principes théoriques et les fondements de l’apprentissage

Combiner intelligemment l’apprentissage traditionnel avec les connaissances en termes de symétries, de modèles probabilistes a priori, et de représentations apprises, afin de réduire la taille des modèles et la quantité de données requises. Un défi clé sera de redéfinir une approche structurée pour la vision par ordinateur, en exploitant les lois physiques de la formation d’images (3D, matériaux, éclairage…).


Faire évoluer les quantités de données utilisées

Développer des modèles frugaux qui apprennent de façon similaire aux systèmes biologiques, à partir de données limitées, hétérogènes, incomplètes voire corrompues.

Exploiter la structure cachée des données en développant des algorithmes capables de déceler des relations entre les éléments d’un ensemble d’apprentissage, afin de tirer parti des informations contenues dans des données « réelles » et imparfaites

Le consortium

Inria, Université Paris Dauphine-PSL, École des Ponts ParisTech, CNRS, CEA, Sorbonne Université, ENS Lyon, ESPCI Paris

Implantation du consortium

Publications


Autres projets

 NNawaQ
NNawaQ
NNawaQ (Neural Network Adequate Hardware Architecture for Quantization)
Voir plus
 Package Python Keops
Package Python Keops
Package Python Keops pour les calculs tensoriels en (très) grande dimension (projet PDE-AI)
Voir plus
 MPTorch
MPTorch
MPTorch, framework d’encapsulation construit sur PyTorch
Voir plus
 CaBRNeT
CaBRNeT
CaBRNeT, une bibliothèque pour le développement et l'évaluation de modèles de raisonnement basé sur des cas simplifiés (projet SAIF)
Voir plus
 SNN Software
SNN Software
SNN Software, un outil open-source pour le design SNN (projet EMERGENCES)
Voir plus
 SDOT
SDOT
SDOT, logiciel pour le transport optimal semi-discret
Voir plus
 FloPoCo
FloPoCo
FloPoCo (Floating-Point Cores), générateur de noyaux arithmétiques majoritairement pour les FPGA (projet HOLIGRAIL)
Voir plus
 Lazylinop
Lazylinop
Lazylinop (Lazy Linear Operator), un opérateur linéaire paresseux de haut niveau basé en Python (projet SHARP)
Voir plus
 CAISAR
CAISAR
CAISAR, une plateforme de caractérisation de la sécurité et de l’intelligence artificielle robuste (projet SAIF)
Voir plus
 P16
P16
P16 ou développer, diffuser et maintenir un ensemble de bibliothèques souveraines pour l'IA
Voir plus
 AIDGE
AIDGE
AIDGE ou la plateforme ouverte de développement en embarqué du projet DEEPGREEN
Voir plus
 Jean-Zay
Jean-Zay
Jean Zay ou l'infrastructure nationale pour la communauté de recherche en IA
Voir plus
 ADAPTING
ADAPTING
Architectures adaptatives pour l'intelligence artificielle embarquée
Voir plus
 Appel à chaires Attractivité
Appel à chaires Attractivité
Le PEPR IA offre aux chercheurs en IA l’opportunité d’établir et de diriger un programme de recherche et une équipe en France pour une durée de 4 ans.
Voir plus
 CAUSALI-T-AI
CAUSALI-T-AI
La causalité au service de la robustesse et de l’explicabilité des algorithmes d’IA
Voir plus
 EMERGENCES
EMERGENCES
Modèles émergents proche physique pour l'IA embarquée
Voir plus
 FOUNDRY
FOUNDRY
Les fondements de la robustesse et de la fiabilité en intelligence artificielle
Voir plus
 HOLIGRAIL
HOLIGRAIL
Approches holistiques pour les architectures plus efficaces pour l'inférence et l'apprentissage
Voir plus
 PDE-AI
PDE-AI
Nouvelles architectures pour l’apprentissage automatique
Voir plus
 REDEEM
REDEEM
Apprentissage automatique résilient, décentralisé et respectueux de la vie privée
Voir plus
 SAIF
SAIF
Sûreté de l’intelligence artificielle investiguée par les méthodes formelles
Voir plus