Présentation de la proposition de projet de thèse (IFT-8004)
de
Sokhna Diarra Mbacke
Le mardi 19 décembre 2023 à 13 h
Local PLT-3904
« Garanties statistiques pour les modèles génératifs:
une approche PAC-bayésienne »
Membres du comité d’encadrement
Pascal Germain, Ph.D. (Directeur de recherche)
Département d’informatique et de génie logiciel
Josée Desharnais, Ph.D. (Examinatrice)
Département d’informatique et de génie logiciel
Mario Marchand, Ph.D. (Examinateur)
Département d’informatique et de génie logiciel
Résumé
Le but de cette recherche est d’étudier les propriétés statistiques des modèles génératifs et de dériver des garanties formelles sur leur performance.
Les modèles génératifs sont devenus un domaine de recherche central en apprentissage automatique, avec des applications dans de nombreux domaines différents. L’objectif d’un modèle génératif est de répliquer une distribution génératrice de données inconnue, à partir de laquelle seul un nombre fini d’échantillons est disponible. Intuitivement, une bonne mesure de performance devrait mesurer l’écart entre la vraie distribution génératrice de données et la distribution apprise par le modèle. Il s’agit d’une tâche très difficile, non seulement parce que la vraie distribution est généralement inconnue, mais également parce que les différentes mesures d’écart entre les distributions de probabilité ont des comportements et des interprétations différents.
Dans cette recherche, nous proposons d’utiliser la théorie PAC-Bayésienne pour étudier les propriétés théoriques des modèles génératifs. PAC-Bayes fournit des garanties statistiques sur la capacité de généralisation de divers modèles d’apprentissage automatique. La première partie de cette recherche se concentre sur les modèles génératifs adversariaux, tels que le Wasserstein Generative Adversarial Network, pour lequel nous avons dérivé des bornes de généralisation non vides. La deuxième partie de cette recherche est consacrée aux auto-encodeurs variationnels (VAE). Nous avons dérivé les premières garanties statistiques pour les VAEs, et nos résultats couvrent la reconstruction, la régénération et les propriétés génératives des VAE.
Abstract
Title: Statistical Guarantees for Deep Generative Models: A PAC-Bayesian Approach
The goal of this research is to study the statistical properties of deep generative models, and derive formal guarantees on their performance.
Generative models have become a central research area in machine learning, with applications in many different areas. The goal of a generative model is to replicate an unknown data-generating distribution, from which only a finite number of samples is available. Intuitively, a good performance metric should measure the discrepancy between the true data-generating distribution and the distribution learned by the model. This is a very challenging task, not only because the true distribution is unknown in general, but also because different discrepancy measures between probability distributions have different behaviours and interpretations.
In this research, we propose to use PAC-Bayesian theory to study the theoretical properties of deep generative models. PAC-Bayes provides statistical guarantees on the generalization ability of various machine learning models. The first part of this research focuses on adversarial generative models, such as the Wasserstein Generative Adversarial Network, for which we derived non-vacuous generalization bounds. The second part of this research is devoted to Variational Autoencoders (VAEs). We derived the first statistical guarantees for VAEs, and our results cover the reconstruction, regeneration and generative properties of VAEs.
Note: La présentation sera donnée en français; une partie sera donnée en anglais.
Bienvenue à tous !