PDE-AI

Analyse numérique, contrôle optimal et transport optimal pour l’IA : nouvelles architectures pour l’apprentissage automatique

Aperçu

L’objet est le développement de méthodes d’analyse mathématique (analyse numérique, contrôle, transport optimal) pour l’étude et l’amélioration des systèmes d’intelligence artificielle, et le développement d’une IA rigoureuse et fiable pour l’analyse et la simulation numérique.

Antonin Chambolle, Directeur de recherche CNRS

L’objectif principal du projet PDE-AI est de soutenir la création d’un groupe de mathématiciens appliqués spécialisés dans les questions d’apprentissage automatique et de stimuler le croisement entre l’analyse mathématique, le contrôle optimal et le transport optimal, conduisant à de nouvelles architectures des modèles apprentissage automatique. Trois thématiques principales sont étudiées : un premier thème porte sur l’analyse des méthodes d’apprentissage, un second sur les nouvelles architectures profondes (où seront étudiées en particulier des architectures spécifiques pour la simulation numérique), et un dernier angle de recherche se concentrant sur les méthodes génératives et la diffusion d’un point de vue analytique.

Mots clefs : Analyse non-linéaire, équations aux dérivées partielles (EDP), analyse numérique, contrôle, optimisation, apprentissage automatique, réseaux de neurones

Site internet du projet : https://pde-ai.math.cnrs.fr/

Les missions

Nos recherches


Etudier et mieux comprendre la dynamique de l’entraînement des réseaux de neurones et les schémas d’optimisation par gradient descendant

Etudier les différents réseaux (par exemple, résiduels, transformers) vus comme des approximations d’Equations aux Dérivées Partielles (EDP) qui émergent en tant qu’équation de champ moyen pour les réseaux de neurones avec un grand nombre de neurones. Mieux comprendre la dynamique de l’apprentissage, basée sur des flots de gradient.


Concevoir de nouvelles architectures profondes, basées sur l’analyse des EDPs, y compris en développant/analysant les techniques d’IA pour la simulation et l’analyse numérique

Analyser les propriétés d’approximation et de stabilité des réseaux avec des techniques tirées de l’analyse des schémas de discrétisation des EDP, tout en développant l’usage de l’IA pour la simulation numérique.


Etudier les méthodes génératives et la diffusion d’un point de vue analytique en exploitant l’analogie avec les systèmes dynamiques et les équations aux dérivées partielles

Comprendre la capacité des réseaux génératifs à modéliser des distributions déconnectées ou multimodales, afin de définir des limites statistiques sur la distance de transport optimal vers la distribution cible. En complément des garanties théoriques, de nouvelles stratégies d’échantillonnage pourront être développées en se basant sur la théorie des flots de gradients pour des ensembles de particules, dans les métriques de transport optimal.

Le consortium

Université Paris Sciences et Lettres, Université Paris-Dauphine, CNRS, INRIA (Nice), Université Paris-Cité, Sorbonne Université, Université Paris-Saclay, Institut National Polytechnique de Toulouse, Université de Bordeaux, CREST-GENEST (ENSAE), Université de Strasbourg, Université Paris 1 Panthéon-Sorbonne, Ecole Nationale de l’aviation civile, Université Toulouse Capitole, Université Toulouse 3 Paul Sabatier, Université de Lyon 1, INSA Lyon, Université de Côte d’Azur

Implantation du consortium

Autres projets

 SHARP
SHARP
Principes théoriques et algorithmiques de l’apprentissage frugal
Voir plus
 HOLIGRAIL
HOLIGRAIL
Approches holistiques pour les architectures plus efficaces pour l'inférence et l'apprentissage
Voir plus
 ADAPTING
ADAPTING
Architectures adaptatives pour l'intelligence artificielle embarquée
Voir plus
 EMERGENCES
EMERGENCES
Modèles émergents proche physique pour l'IA embarquée
Voir plus
 REDEEM
REDEEM
Apprentissage automatique résilient, décentralisé et respectueux de la vie privée
Voir plus
 CAUSALI-T-AI
CAUSALI-T-AI
La causalité au service de la robustesse et de l’explicabilité des algorithmes d’IA
Voir plus
 FOUNDRY
FOUNDRY
Les fondements de la robustesse et de la fiabilité en intelligence artificielle
Voir plus
 SAIF
SAIF
Sûreté de l’intelligence artificielle investiguée par les méthodes formelles
Voir plus