Programme de doctorat
Département d’informatique et de génie logiciel
Faculté des sciences et de génie
SOUTENANCE DE THÈSE
de
Sokhna Diarra Mbacke
Le lundi 23 septembre 2024 à 10 h
Local 1204, Pavillon Ferdinand-Vandry
“Statistical Guarantees for Deep Generative Models :
a PAC-Bayesian Approach”
Membres du jury
Président
Monsieur Pascal Tesson, Ph.D.
Directeur des programmes gradués
Département d’informatique et de génie logiciel
Université Laval
Examinateurs
Monsieur Pascal Germain, Ph.D. (Directeur de recherche)
Département d’informatique et de génie logiciel
Université Laval
Madame Josée Desharnais, Ph.D. (Examinatrice)
Département d’informatique et de génie logiciel
Université Laval
Monsieur Mario Marchand, Ph.D. (Examinateur)
Département d’informatique et de génie logiciel
Université Laval
Monsieur Benjamin Guedj, Ph.D. (Examinateur externe)
Department of Computer Science
University College London
Le sujet de cette thèse est l’analyse théorique des modèles génératifs profonds. Les modèles génératifs profonds sont des réseaux de neurones dont le but est d’apprendre une distribution de probabilité́ à partir d’un échantillon fini. Malgré́ leurs performances empiriques impressionnantes, les modèles génératifs profonds sont difficiles à analyser et il est difficile d’obtenir des garanties formelles sur leur comportement. Pour résoudre ce problème, nous utilisons la théorie PAC-Bayésienne, un outil fondamental en théorie de l’apprentissage statistique offrant des bornes de généralisation avec haute probabilité́ pour les modèles d’apprentissage automatique. Nous étendons la théorie PAC- Bayésienne et développons diverses bornes et techniques adaptées à l’étude des modèles génératifs profonds. Tout d’abord, nous étudions les réseaux adversariaux génératifs et obtenons des bornes supérieures quantitatives sur l’erreur de généralisation de la perte du critique, ainsi que des bornes supérieures sur la distance entre la distribution génératrice de données et la distribution apprise par le modèle. Ensuite, nous développons des garanties statistiques pour les autoencodeurs vibrationnels (VAEs). Nous commençons par dériver les premières bornes PAC-Bayésiennes pour les distributions postérieures conditionnelles, et montrons que ces bornes peuvent être utilisées pour déduire des garanties de généralisation pour la perte de reconstruction du VAE. Nous dérivons également les premières bornes supérieures sur la distance entre la distribution génératrice de données et la distribution apprise par le modelé génératif du VAE. Enfin, nous étendons nos résultats aux modèles de débruitage par diffusion et dérivons une borne supérieure empirique pour la distribution apprise par un modèle de diffusion.
Abstract:
The subject of this thesis is the theoretical analysis of deep generative models. Deep generative models are neural networks that aim to learn a probability distribution from a finite sample. Despite their impressive empirical performance, deep generative models are difficult to analyze, and obtaining formal guarantees about their behavior is challenging. To address this issue, we use PAC-Bayesian theory, a fundamental tool in statistical learning theory that provides high-probability generalization bounds for machine learning models. We extend PAC-Bayesian theory and develop various bounds and techniques tailored to the study of deep generative models.
First, we study generative adversarial networks (GANs) and obtain quantitative upper bounds on the generalization error of the critic’s loss, as well as upper bounds on the distance between the data-generating distribution and the distribution learned by the model. Next, we develop statistical guarantees for variational autoencoders (VAEs). We start by deriving the first PAC-Bayesian bound for conditional posterior distributions and show that this bound can be used to deduce generalization guarantees for the VAE’s reconstruction loss. We also derive the first upper bounds on the distance between the data-generating distribution and the distribution learned by the VAE’s generative model. Finally, we extend our results to denoising diffusion models and derive an empirical upper bound for the distribution learned by a diffusion model.
Note: La présentation sera donnée en anglais.
Bienvenue à tous !
