SAIF
Sûreté de l’intelligence Artificielle Investiguée par les méthodes Formelles
Aperçu
Utiliser la vaste connaissance accumulée au fil des décennies dans les méthodes formelles pour les repenser et aborder les nouvelles préoccupations en matière de fiabilité soulevées par le renouveau de l’IA.
Caterina Urban, Chargée de recherche Inria
Zakaria Chihani, Directeur adjoint LAB, CEA List
Le projet SAIF a pour objectif de spécifier les comportements des systèmes basés sur le machine learning, de développer des méthodologies pour valider leur fonctionnement à grande échelle, et de guider leur conception en utilisant des approches formelles, afin de garantir leur sécurité, leur fiabilité, et leur explicabilité.
Mots clefs : Apprentissage automatique, réseaux de neurones, apprentissage par renforcement, réseaux récurrents, réseaux de graphe, transformers, interprétabilité, robustesse, satisfaction de contraintes, stabilité, équité, explicabilité, fiabilité
Site internet du projet : SaifProject.inria.fr
Les missions
Nos recherches
Faire évoluer la spécification des systèmes basés sur le machine learning.
Développer des méthodes formelles pour spécifier le comportement des systèmes, incluant l’exploration de spécifications « par extension » (en définissant des propriétés de robustesse globales), et « par intention » (en identifiant les motifs récurrents).
Faire évoluer la validation des systèmes basés sur le machine learning.
Concevoir des méthodologies pour étendre la vérification formelle aux systèmes à grande échelle, en améliorant l’efficacité et la précision de la vérification tout en étudiant des architectures plus complexes (e.g. inférer des invariants d’architectures complexes telles que les réseaux neuronaux récurrents).
Faire évoluer la conception des systèmes basés sur le machine learning.
Utiliser des méthodes formelles pour synthétiser automatiquement des composants ML à partir de spécifications éprouvées, en élaborant des approches de monitoring pour maintenir leur fiabilité et faciliter leur validation a posteriori.
Le consortium
CEA, CNRS, Inria, Université de Bordeaux, Université Paris-Saclay, Institut Polytechnique de Paris, CentraleSupelec, Ecole Nationale Supérieure de Paris-Saclay, Institut National Polytechnique de Bordeaux
SAIF aspire à révolutionner l’ensemble du processus de développement des systèmes basés sur l’apprentissage automatique, de leur conception à leur déploiement. Cela implique l’intégration de solutions pratiques de méthodes formelles pour garantir leur sécurité et leur fiabilité. Une attention particulière est portée au développement d’approches explicatives afin de faciliter le dialogue avec les experts en apprentissage automatique qui n’ont pas de formation en méthodes formelles.
En plus des publications et des rapports techniques, le projet vise à rendre les logiciels et démonstrateurs développés accessibles en Open Source pour la communauté. Des collaborations scientifiques et interdisciplinaires seront établies aux niveaux national et international afin de promouvoir la diffusion et l’adoption des résultats.
SAIF aura un impact sociétal important en assurant rigoureusement la sûreté de l’IA, nécessaire pour réaliser son potentiel positif dans la société tout en minimisant les risques potentiels. En développant des méthodologies et des outils Open Source pour évaluer et garantir la fiabilité des systèmes de machine learning, notamment dans des domaines critiques comme la santé ou la sécurité, le projet contribuera à normaliser et rationaliser les processus de vérification et de validation, nécessaires à l’acceptation sociale de l’IA.
Sur le plan économique, SAIF offrira des méthodologies novatrices pour la conception de systèmes de machine learning, plus adaptées à la vérification, sans compromettre la précision des modèles. Cela ouvrira de nouvelles perspectives pour l’utilisation de l’IA dans des secteurs à haut niveau d’exigence technique.
Une communauté de 25 chercheurs, enseignants chercheurs et ingénieurs permanents, mobilisant en outre 17 doctorants, 8 post-doctorants et 3 ingénieurs de recherche contractuels au fur et à mesure du projet.
Publications
Autres projets
