TENSOR4ML

Aperçu

Libérer tout le potentiel des méthodes tensorielles pour la compression et l’entraînement efficace des modèles d’IA modernes.

Konstantin Usevich, chargé de recherche, CNRS

Le projet TENSOR4ML vise à revisiter les fondements des méthodes tensorielles pour l’apprentissage profond moderne dans le contexte des modèles génératifs et de l’IA scientifique. Le projet développera de nouveaux modèles d’IA frugaux basés sur l’approximation de rang faible des tenseurs dans des formats tensoriels novateurs, en tenant compte des particularités des applications, de la mise en œuvre et des contraintes matérielles. Le projet rassemble des experts en apprentissage automatique, en théorie de l’approximation, en analyse matricielle et tensorielle, en optimisation et en calcul haute performance.

Mots clefs : réseaux de neurones, décompositions tensorielles, approximation de rang faible, géométrie, frugalité

Les missions

Nos recherches

Revisiter l’utilisation des modèles de rang faible pour la compression et l’entraînement

Proposer de nouveaux algorithmes d’apprentissage et d’inférence basés sur des mécanismes tensoriels bien maîtrisés, avec une faible complexité et des exigences en matière de données. Notre objectif est de comprendre l’interaction entre la compression de rang faible et les performances des réseaux neuronaux afin de choisir les meilleures architectures et stratégies d’apprentissage.

Développer des formats tensoriels avancés

Développer de nouveaux formats de tenseurs et de nouvelles architectures de réseaux neuronaux, telles que des compositions de cartes non linéaires dans des formats de tenseurs. Ceux-ci nécessiteront de nouvelles approches pour étudier leurs propriétés (telles que l’identifiabilité, la généralisation, la robustesse, les propriétés d’approximation).

Développer des techniques d’apprentissage et d’optimisation efficaces

Exploiter la géométrie des formats tensoriels et des espaces fonctionnels, et tirerons parti de l’accès aux évaluations dérivées des représentations pré-entraînées.

Accélérer l’apprentissage et l’inférence

Utiliser des calculs haute performance pour répondre aux besoins des applications à haute dimension dans les domaines scientifiques et de l’IA générative.