THEOREM

Aperçu

Vers une meilleure compréhension des modèles génératifs afin de guider leur ajustement, leur spécialisation et leur équité, grâce à un cadre mathématique unifié fondé sur le contrôle optimal stochastique.

Alain Oliviero Durmus, Professeur, Ecole polytechnique

Les modèles génératifs ont transformé la génération d’images, de textes ou de structures scientifiques, mais leur conception reste souvent empirique et difficile à contrôler.
Le projet THEOREM propose de « repartir des fondations » en développant un cadre mathématique unifié pour expliquer ce qui fait la performance de ces modèles, et ce qui cause leurs échecs (instabilité, biais, mémorisation, manque de robustesse).
L’objectif est de traduire des recettes pratiques (schedules, pas de temps, choix d’objectifs) en principes de conception, avec des garanties de stabilité et de précision.
Le projet vise aussi à mieux comprendre comment adapter un modèle à une tâche ou un domaine (spécialisation), tout en surveillant la fiabilité et l’équité.
Enfin, il s’agit de passer d’une IA générative « artisanale » à une IA générative plus auditable et responsable.

Mots clefs : modèles génératifs, diffusion models, normalizing flows, energy-based models, contrôle optimal stochastique, stabilité, convergence, fine-tuning, spécialisation, robustesse, équité/fairness, incertitude, biais, IA pour les sciences.

Les missions

Nos recherches

Unifier les modèles génératifs dans un langage commun

Proposer un cadre théorique qui relie diffusion et flows via une formulation en contrôle optimal stochastique, afin de comparer, expliquer et combiner les approches de façon cohérente

Transformer l’heuristique en méthode

Dériver des règles de conception pour les choix clés (objectifs d’entraînement, schedules, discrétisation, solveurs) et établir des critères pratiques pour guider le réglage fin (fine-tuning).

Garantir et diagnostiquer la fiabilité

Développer des outils d’analyse et des garanties (stabilité, erreurs, sensibilité) pour comprendre quand un modèle déraille, pourquoi, et comment le corriger de manière robuste.

Rendre la spécialisation plus sûre et plus efficace

Etudier des stratégies de spécialisation (adaptation à un domaine, à un type de données, à une contrainte physique) tout en contrôlant la généralisation, l’incertitude et les risques de surapprentissage/mémorisation.

Mettre l’équité au cœur de l’ingénierie générative

Analyser comment les biais apparaissent et se propagent dans l’entraînement et l’échantillonnage, et proposer des mécanismes de régularisation/diagnostic pour améliorer la fairness sans sacrifier la qualité.