Programme de Doctorat en informatique
Département d’informatique et de génie logiciel
Faculté des sciences et de génie
Présentation orale de soutenance de thèse de doctorat
De
Fan Zhou
Vendredi 10 décembre 2021 à 8h30mn
Par vidéoconférence zoom (voir lien ci-dessous)
https://ulaval.zoom.us/j/68010467714?pwd=U00zSmdsZ1RyUkNYbkJWVDQ0b3haQT09
Meeting ID: 680 1046 7714
Passcode: 123355
«Apprentissage de caractéristiques transférables à partir de différents domaines»
Learning Transferable Features From Different Domains
Jury
Brahim Chaib-draa, Ph.D. (Directeur de recherche)
Département d’informatique et de génie logiciel
Audrey Durand, Ph.D. (Examinatrice)
Département d’informatique et de génie logiciel
Pascal Germain, Ph.D. (Examinateur)
Département d’informatique et de génie logiciel
Boyu Wang, Ph.D. (Examinateur)
Département d’informatique
Université de Western Ontario
Jingjing Li Ph.D. (Examinateur)
Université des sciences et technologies électroniques de Chine,
Qingshuihe, Chine
Claude-Guy Quimper, PhD (Président du jury)
Département d’informatique et de génie logiciel
Résumé
Les progrès récents en matière d’apprentissage automatique supposent généralement que les données d’apprentissage et de test proviennent de la même distribution de données. Cependant, dans la pratique, les données peuvent être collectées séparément comme des ensembles de données différents. Apprendre à partir de données provenant de plusieurs domaines sources et les généraliser à un autre domaine est un problème crucial de l’apprentissage automatique. Dans cette thèse, nous abordons ce type de problème dans le contexte de l’apprentissage par transfert (TL), notamment l’adaptation de domaine (DA), la généralisation de domaine (DG) et l’apprentissage multi-tâches (MTL), et ce dans le but de transférer les caractéristiques invariantes communes à de nouveaux domaines.
Concrètement, nous explorons d’abord les problèmes de décalage conditionnel (P(y|x), où y est l’étiquette et x est la donnée) dans l’adaptation de domaine avec une stratégie d’apprentissage actif pour interroger les instances les plus informatives dans le domaine cible afin de faire migrer le terme de désaccord entre les fonctions d’étiquetage des domaines source et cible. Nous explorons ensuite les similitudes de catégories dans les problèmes liés à la généralisation de domaine (DG) via l’entraînement adversariel basé sur le transport optimal avec un objectif d’apprentissage de similarité métrique afin d’améliorer la correspondance au niveau du domaine et de la classe pour les problèmes du type DG. Nous étudions ensuite, plus en détail les relations entre les distributions (P(y)) et (P(y|x)) dans le MTL, où nous fournissons une compréhension théorique de la manière de contrôler les divergences entre (P(y)) et (P(y|x)). Enfin, nous étendons l’analyse théorique sur la façon d’exploiter les étiquettes P(y) et (P(y|x)) au niveau de la généralisation de domaine.
Pour chaque travail reflété dans cette thèse, nous avons mené des expériences approfondies afin de confirmer les méthodes et algorithmes adoptés au niveau de la thèse, validant ainsi nos contributions.
Abstract
Recent machine learning progresses usually assume the data for training and testing are from the same data distribution. In practice however, the data might be gathered separately as different datasets. To learn data from several source domains and generalize to another domain is a crucial problem in machine learning. We tackle this kind of problem in the context of Transfer Learning (TL), including Domain Adaptation (DA), Domain Generalization (DG) and Multi-task Learning (MTL), with the sake of transferring the common invariant features to new domains.
Concretely, we first explore the conditional (P(y|x)) shift problems DA with an active learning strategy to query the most informative instances in the target domain to migrate the disagreement term between the source and target domain labelling functions. We then explore the category similarities in the DG problems via optimal transport-based adversarial training with a metric similarity learning objective to enhance both the domain-level and class-level matching for DG problems. After that, we further investigate the distributions (P(y)) and (P(y|x)) in MTL, where we provide the first theoretical understanding of how to control the divergences of these two distributions. Lastly, we extend the theoretical analysis on how to leverage the information sustaining (P(y)) and (P(y|x)) in DG, providing the first analysis to understand the generalization properties on controlling the distribution divergences.
For each work reflected in this thesis, we also conducted intensive experiments to demonstrate the effectiveness and learning objectives. We explain how the experimental results confirm that our methods achieve the desired performance indicated by the analysis and learning principles, thus confirming the contributions of this thesis.
Note : La présentation sera donnée en anglais.
Bienvenue à tous!
