PDE-AI
Analyse numérique, contrôle optimal et transport optimal pour l’IA : nouvelles architectures pour l’apprentissage automatique
Aperçu
L’objet est le développement de méthodes d’analyse mathématique (analyse numérique, contrôle, transport optimal) pour l’étude et l’amélioration des systèmes d’intelligence artificielle, et le développement d’une IA rigoureuse et fiable pour l’analyse et la simulation numérique.
Antonin Chambolle, Directeur de recherche CNRS
L’objectif principal du projet PDE-AI est de soutenir la création d’un groupe de mathématiciens appliqués spécialisés dans les questions d’apprentissage automatique et de stimuler le croisement entre l’analyse mathématique, le contrôle optimal et le transport optimal, conduisant à de nouvelles architectures des modèles apprentissage automatique. Trois thématiques principales sont étudiées : un premier thème porte sur l’analyse des méthodes d’apprentissage, un second sur les nouvelles architectures profondes (où seront étudiées en particulier des architectures spécifiques pour la simulation numérique), et un dernier angle de recherche se concentrant sur les méthodes génératives et la diffusion d’un point de vue analytique.
Mots clefs : Analyse non-linéaire, équations aux dérivées partielles (EDP), analyse numérique, contrôle, optimisation, apprentissage automatique, réseaux de neurones
Site internet du projet : https://pde-ai.math.cnrs.fr/
Les missions
Nos recherches
Etudier et mieux comprendre la dynamique de l’entraînement des réseaux de neurones et les schémas d’optimisation par gradient descendant
Etudier les différents réseaux (par exemple, résiduels, transformers) vus comme des approximations d’Equations aux Dérivées Partielles (EDP) qui émergent en tant qu’équation de champ moyen pour les réseaux de neurones avec un grand nombre de neurones. Mieux comprendre la dynamique de l’apprentissage, basée sur des flots de gradient.
Concevoir de nouvelles architectures profondes, basées sur l’analyse des EDPs, y compris en développant/analysant les techniques d’IA pour la simulation et l’analyse numérique
Analyser les propriétés d’approximation et de stabilité des réseaux avec des techniques tirées de l’analyse des schémas de discrétisation des EDP, tout en développant l’usage de l’IA pour la simulation numérique.
Etudier les méthodes génératives et la diffusion d’un point de vue analytique en exploitant l’analogie avec les systèmes dynamiques et les équations aux dérivées partielles
Comprendre la capacité des réseaux génératifs à modéliser des distributions déconnectées ou multimodales, afin de définir des limites statistiques sur la distance de transport optimal vers la distribution cible. En complément des garanties théoriques, de nouvelles stratégies d’échantillonnage pourront être développées en se basant sur la théorie des flots de gradients pour des ensembles de particules, dans les métriques de transport optimal.
Le consortium
Université Paris Sciences et Lettres, Université Paris-Dauphine, CNRS, INRIA (Nice), Université Paris-Cité, Sorbonne Université, Université Paris-Saclay, Institut National Polytechnique de Toulouse, Université de Bordeaux, CREST-GENEST (ENSAE), Université de Strasbourg, Université Paris 1 Panthéon-Sorbonne, Ecole Nationale de l’aviation civile, Université Toulouse Capitole, Université Toulouse 3 Paul Sabatier, Université de Lyon 1, INSA Lyon, Université de Côte d’Azur
Ce projet est de nature transversale : il développera des outils théoriques et algorithmiques qui trouveront des applications dans d’autres domaines couverts par le PEPR IA. En effet, l’objectif est de construire de nouvelles approches mathématiques à l’interface entre l’analyse numérique, le transport optimal et le contrôle optimal pour étudier la dynamique des réseaux neuronaux pour l’apprentissage et l’échantillonnage. Ces avancées théoriques conduiront également à la conception de nouvelles architectures avec des garanties mathématiques. Le projet a également pour but, plus généralement, de développer l’usage et l’intérêt pour l’IA dans la communauté française d’analyse mathématique, et faciliter les échanges sur les thèmes de l’IA au sein de cette communauté.
La communauté française d’analyse mathématique est une des plus fortes et reconnues au monde. Il paraît donc important qu’elle ne reste pas à l’écart des progrès de l’IA et de l’apprentissage automatique. Ainsi, le projet vise à ce que les techniques d’IA fassent partie de la culture générale des spécialistes de l’analyse et de la simulation numérique et qu’ils puissent ainsi mettre une part de leurs capacités au service du développement de ces techniques. Cela permettra en particulier de développer des systèmes d’IA plus sûrs et plus fiables dans tous les domaines (vision par ordinateur, traitement du langage naturel, robotique mais aussi physique, chimie ou biologie).
Une communauté de 54 chercheurs, enseignements chercheurs et ingénieurs permanents, mobilisant en outre une quinzaine de doctorants, une vingtaine de post-doctorants et deux ingénieurs de recherche contractuels.