Programme de Doctorat en informatique
Département d’informatique et de génie logiciel
Faculté des sciences et de génie
Présentation orale de la proposition de projet de thèse
De
Sokhna Diarra Mbacke
Mercredi 8 mars 2023 à 10h00
À la salle PLT-3904
« Analyse PAC-Bayésienne des
Méthodes Génératives»
PAC-Bayesian Analysis of Generative Models
Membres du comité d’encadrement
Pr. Pascal Germain, Ph.D. (Directeur de recherche)
Département d’informatique et de génie logiciel
Pr. Josée Desharnais, Ph.D.
Département d’informatique et de génie logiciel
Pr. Mario Marchand, Ph.D.
Département d’informatique et de génie logiciel
Résumé
(en français)
L’objectif de cette recherche est d’étendre la théorie PAC-Bayesienne à l’analyse statistique des modèles génératifs.
Les modèles génératifs sont devenus un domaine de recherche central dans l’apprentissage automatique, avec des applications dans de nombreux domaines. Malgré leur utilisation répandue, la capacité de généralisation des modèles génératifs reste un problème difficile et non résolu. En fait, malgré les diverses contributions dans ce domaine, il n’y a pas de consensus sur la définition quantitative de la généralisation, lorsqu’il s’agit de modèles génératifs. En revanche, un modèle discriminatif généralise bien s’il peut classer correctement de nouveaux exemples, par conséquent, la perte sur l’ensemble de test fournit un score objectif et interprétable. Cependant, puisque la capacité de généralisation d’un modèle génératif est sa capacité à générer de nouveaux échantillons au-delà de l’ensemble d’apprentissage, la définition d’une métrique quantitative est plus compliquée. En pratique, de nombreuses métriques différentes sont utilisées, y compris les estimations de log-vraisemblance, les scores Inception et FID, et les métriques de rappel de précision.
Dans cette recherche, nous proposons d’utiliser la théorie PAC-Bayesienne pour évaluer les capacités de généralisation des modèles génératifs. PAC-Bayes fournit des garanties statistiques sur la capacité de généralisation de divers modèles d’apprentissage automatique. C’est l’un des outils les plus utiles de la théorie de l’apprentissage statistique, fournissant des bornes serrées pour les problèmes de classification. De plus, même lorsque les bornes fournies par PAC-Bayes ne sont pas serrées en pratique, elles peuvent inspirer la création de nouveaux algorithmes ou une justification du succès de ceux existants. Nous nous concentrons sur les modèles génératifs aversariales, tels que le Wasserstein Generative Adversarial Network et le Energy-Based Generative Adversarial Network. Nos bornes sont un premier pas vers l’établissement de PAC-Bayes comme outil d’analyse statistique de modèles génératifs.
Abstract
(résumé en anglais)
The goal of this research is to extend PAC-Bayesian theory to the statistical analysis of generative models.
Generative models have become a central research area in machine learning, with applications in many different areas. Despite their widespread use, the generative models’ ability to generalize remains a difficult and unresolved problem. In fact, despite the various contributions in that area, there is no consensus on the quantitative definition of generalization when it comes to generative models. In contrast, a discriminative model generalizes well if it can properly classify unseen examples, therefore, the accuracy on the test set provides an objective and interpretable score. However, since the generalization capacity of a generative model is its ability to generate new samples beyond the training set, the definition of a quantitative metric is more complicated. In practice, many different metrics are used, including log-likelihood estimates, Inception and FID scores, and precision-recall metrics.
In this research, we propose to use PAC-Bayesian theory to evaluate the generalization capabilities of generative models. PAC-Bayes provides statistical guarantees on the generalization ability of various machine learning models. It is one of the most useful tools in statistical learning theory, providing tight bounds for classification problems. Moreover, even when the bounds provided by PAC-Bayes are not tight in practice, they can inspire the creation of new algorithms or a justification for the success of existing ones. We focus on adversarial generative models, such as the Wasserstein Generative Adversarial Network and the Energy-Based Generative Adversarial Network. Our bounds are a first step towards establishing PAC-Bayes as a tool for the statistical analysis of generative models.
Note: La présentation sera donnée en français.
Bienvenue à tous!
