PRODIGE-AI

Aperçu

Développer des fondements mathématiques rigoureux pour le problème de généralisation dans l’IA générative

Amaury Habrard, Professeur, Université Jean Monnet Saint-Etienne

Le projet PRODIGE-AI vise à concevoir de nouveaux modèles théoriques pour une IA générative plus fiable, plus efficace et plus transparente, autour de trois axes principaux. Le premier axe a pour objectif de développer de nouveaux cadres théoriques permettant de mieux comprendre les capacités de généralisation des modèles d’IA générative. Le deuxième axe porte sur l’élaboration de stratégies innovantes pour des modèles d’IA générative à la fois efficaces et explicables. Le troisième et dernier axe vise à concevoir des cadres géométriques pour l’IA générative, en mettant un accent particulier sur les graphes.

Le projet s’appuie sur des outils mathématiques avancés, incluant la théorie des probabilités, les matrices aléatoires et la géométrie, et se concentre sur les modèles de diffusion, le flow matching, les transformers et les state-space models. Le projet vise également à étudier l’intrication dans les représentations apprises, ainsi que les phénomènes de collapse et d’hallucination, afin de mieux comprendre les biais et limites des modèles génératifs.

Mots clefs : IA générative, généralisation, apprentissage statistique, théorie des probabilités, théorie des matrices aléatoires, théorie de l’information, théorie des graphes, géométrie.

Les missions

Nos recherches

Mieux comprendre la problématique de généralisation en IA générative

Dériver des garanties de généralisation notamment sous la forme de bornes en généralisation à l’aide de cadres mathématiques relevant de la théorie de la concentration, des matrices aléatoires ou des tenseurs aléatoires.

Identifier les éléments de “complexité” clés caractérisant le processus de généralisation et modélisant la capacité de créativité.

Dériver des algorithmes auto-certifiés, c’est-à-dire minimisant directement une borne en généralisation, en tirant partie de la théorie PAC-Bayes avec étude des schémas de compression.

Revisiter les modèles de diffusion et flow matching sous l’angle de la formulation variationnelle de la théorie des filtres, du filtrage continu et des propriétés des champs de vitesse.

Améliorer l’explicabilité et l’efficacité des modèles d’IA générative

Utiliser la théorie de l’information et l’analyse de sensibilité pour désintriquer les facteurs générateurs et explorer leurs relations causales.

Exploiter la théorie de l’information quantique et les tenseurs aléatoires pour caractériser les phénomènes d’effondrement (mode collapse) et développer des techniques de réglages fins efficaces des paramètres.

Tirer parti de la théorie des matrices aléatoires et de la théorie des probabilités libres afin de mieux comprendre et expliquer le fonctionnement des modèles d’IA générative.

Utiliser le cadre de l’algèbre C* pour définir de nouveaux modèles expressifs et économes en données.

Développer des approches géométriques pour l’IA générative

Tirer parti de la théorie des invariants pour construire des plongements de graphes et améliorer les réseaux neuronaux équivariants pour l’IA générative.

Étudier les capacités de génération en fonction de propriétés métriques des espaces latents, notamment à l’aide de la conception de nouvelles distances permettant de mieux capturer des propriétés géométriques pertinentes pour le processus d’apprentissage.

Concevoir de nouvelles approches d’estimation de distribution sur des espaces de graphes pour développer de nouveaux modèles génératifs de graphes basés sur les cadres de diffusion, flow matching, ou transport optimal.