Programme de Doctorat en informatique
Département d’informatique et de génie logiciel
Faculté des sciences et de génie
Présentation orale de la proposition de thèse et de recherche doctorale
de
Qi Chen
Mercredi 22 décembre 2021 à 10h30
Par vidéoconférence (voir lien ci-dessous)
https://ulaval.zoom.us/j/62223590260?pwd=V0RhZW1UaTdyeW0wVS9EYkZsR0lnUT09
Meeting ID : 622 2359 0260
Passcode : 500530
« Transfert de connaissances préalables en profondeur via le méta-apprentissage »
Deep Prior Knowledge Transfer Through Meta-learning
Membres du comité d’encadrement
Pr. Mario Marchand, Ph.D. (Directeur de recherche)
Département d’informatique et de génie logiciel
Pr. Audrey Durand, Ph.D.
Département d’informatique et de génie logiciel
Pr. Pascal Germain, Ph.D.
Département d’informatique et de génie logiciel
Résumé
Le méta-apprentissage a été largement appliqué dans les pratiques d’apprentissage par petits coups et d’apprentissage par renforcement. Cependant, il existait un écart entre les théories de méta-apprentissage existantes (basées sur une formation conjointe qui exploite l’ensemble des données) et la pratique de méta-apprentissage (basée sur une formation alternative avec une séparation train-validation des données) dans l’apprentissage en profondeur. De plus, les recherches de méta-apprentissage sont menées dans des directions et des cadres divers. De sorte que leurs relations, avantages et inconvénients sont rarement étudiés. De plus, il existe de nombreux types de connaissances préalables transférables, bien que toutes ne soient pas étudiées dans un cadre de méta-apprentissage. Enfin, le méta-apprentissage en tant que principe générique de transfert de connaissances peut offrir une nouvelle perspective pour des sujets de recherche connexes, par exemple, l’adaptation de domaine (DA), l’adaptation de domaine multi-source, la généralisation de domaine (DG) et l’apprentissage de multitâche (MLT) .
Par conséquent, nous prévoyons d’atteindre les trois principaux objectifs suivants pour un transfert approfondi des connaissances préalables avec le méta-apprentissage :
Construire un cadre théorique de l’information unifié pour le méta-apprentissage. Pour cet objectif, nous visons d’abord à proposer des bornes de généralisation de la théorie de l’information à la fois pour la formation conjointe et la formation en alternance. Ensuite, nous prévoyons d’obtenir une borne non vide pour les algorithmes d’apprentissage en profondeur à quelques coups. Enfin, nous procéderons à l’analyse de sur-risque pour la formation conjointe et la formation en alternance, ce qui peut offrir une comparaison directe entre ces deux dispositifs.
Explorer différents types de transfert de connaissances préalables avec le méta-apprentissage. Nous nous concentrerons sur des cibles moins étudiées mais plus attrayantes, l’apprentissage de la méta-représentation et la méta recherche d’architecture neurone (NAS). Les deux formes de connaissances préalables à transférer sont respectivement la représentation des caractéristiques et la structure du modèle.
Étendre le méta-apprentissage à des sujets de recherche connexes tels que l’adaptation de domaine. Nous prévoyons d’appliquer les théories du méta-apprentissage à l’adaptation de domaine et d’essayer d’aborder les difficultés de l’DA sous un autre angle.
.
Abstract
Meta-learning has been widely applied in few-shot learning and reinforcement learning. However, there existed a gap between existed meta-learning theories (based on joint training that exploits the whole data set) and meta-learning practice (based on alternate training with train-validation split) in deep learning. Moreover, the researches of meta-learning are conducted in diverse directions and settings. So that their relations, pros, and cons are rarely investigated. Furthermore, there are many types of transferable prior knowledge, while not all of them are studied under a meta-learning setting. Finally, meta-learning as a generic knowledge transfer principle can provide a new perspective for related research topics, e.g. Domain Adaptation(DA), Multi-source Domain Adaptation, Domain Generalization(DG), and Multi-task Learning(MLT).
Therefore, we plan to achieve the following three main objectives for deep prior knowledge transfer with meta-learning:
Build unified information-theoretic framework for meta-learning. For this objective, we first aim to offer information-theoretic generalization bounds for both joint training and alternate training. Then we plan to obtain a non-vacuous bound for deep few-shot learning algorithms. Finally, we will conduct the excess risk analysis for joint training and alternate training, which can offer a straightforward comparison between these two schemes.
Explore different types of prior knowledge transfer with meta-learning. We will focus on less-studied but more appealing targets, the meta representation learning and meta Neural Architecture Search(NAS). The two prior knowledge forms to transfer are feature representation and model structure, respectively.
Extend meta-learning to related research topics such as Domain Adaptation. We plan to apply meta-learning theories to Domain Adaptation and try to tackle the difficulties in DA through another angle.
The fourth objective concerns fast charging stations for electric vehicles. It consists of developing unsupervised models to detect breakage in fast-charging stations from historical charging data.
Finally, the fifth objective consists of developing models to automatically detect vehicle types from historical charging data. The historical charging data does not contain directly the electric vehicle model, but information contained within a charging session will allow to identify signature representing a specific electric vehicle. .
Note: La présentation sera donnée en français.
Bienvenue à tous!
