MAGICALL

Aperçu

MAGICALL est un projet de recherche théorique visant à comprendre en profondeur les modèles génératifs modernes et l’inférence variationnelle, en combinant mathématiques, physique statistique et optimisation.

Giulio Biroli, professeur, Ecole normale supérieure (ENS-PSL) – Laboratoire de Physique de l’ENS (LPENS)

Le projet MAGICALL s’intéresse aux fondements théoriques des modèles génératifs modernes, tels que les modèles de diffusion et l’inférence variationnelle. Il vise à analyser les paysages de fonctions de perte, les dynamiques d’apprentissage et les propriétés de généralisation dans des contextes de grande dimension. En utilisant des outils issus de la physique statistique, de la statistique et de l’optimisation, le projet vise à fournir des cadres théoriques sur l’efficacité, la stabilité et la fiabilité de ces méthodes.

Mots clefs : Generative models, Loss landscapes, Diffusion

Les missions

Nos recherches

Comprendre les mécanismes de généralisation des modèles de diffusion

Le projet analysera théoriquement la transition entre mémorisation et généralisation à l’aide de modèles probabilistes contrôlés (mélanges gaussiens, structures hiérarchiques), en étudiant l’impact de la taille des données, de la dimension et des dynamiques d’apprentissage.

Analyser les dynamiques d’apprentissage et la géométrie des paysages de perte

Des outils issus de la physique statistique et de l’optimisation seront utilisés pour caractériser les paysages de fonctions de perte des modèles génératifs et relier leur structure aux propriétés de convergence, de stabilité et de performance des algorithmes d’entraînement.

Caractériser la formation des structures de données au cours de l’apprentissage

Le projet étudiera comment les structures latentes des données (modes, hiérarchies, sous-espaces pertinents) émergent progressivement durant l’entraînement des modèles génératifs, en reliant ces phénomènes aux échelles de temps de l’optimisation et à la complexité des données.

Analyser et développer des méthodes pour limiter le phénomène de “mode collapse”

Des stratégies basées sur des chemins de distributions guidés, l’annealing et la sur-paramétrisation seront étudiées théoriquement et numériquement afin d’identifier des conditions garantissant une exploration robuste de distributions multimodales.

Structurer et animer une communauté interdisciplinaire autour des mathématiques de l’IA générative

Le projet organisera séminaires, groupes de travail PEPR IA, collaborations internationales et une école d’été, afin de favoriser les échanges entre mathématiciens, physiciens et chercheurs en apprentissage automatique.