Membres du jury

François Laviolette, Ph.D. (Directeur de recherche)

Département d’informatique et de génie logiciel

Luc Lamontagne, Ph.D. (Co-directeur)

Département d’informatique et de génie logiciel

Philippe Giguère, Ph.D. (Examinateur)

Département d’informatique et de génie logiciel

Jean-François Lalonde, Ph.D. (Examinateur)

Département de génie électrique et de génie informatique

Résumé

Les réseaux de neurones profonds sont des modèles puissants capables de réaliser de grands exploits dans de nombreux domaines tels que la vision numérique et le traitement automatique de la langue naturelle. Bien que très populaires, ils sont très peu interprétables car ils comportent souvent des millions de paramètres et sont constitués de couches empilées les unes sur les autres. En général, un modèle d’apprentissage automatique est interprétable s’il est possible de comprendre comment les décisions sont prises par le modèle. Dans cette proposition, nous considérons les mécanismes d’attention comme une méthode intrinsèque pour expliquer les décisions d’un réseau de neurones. Dans le cas d’un exemple d’apprentissage constitué d’un ensemble d’éléments comme une phrase en langue naturelle, l’attention est un moyen d’apprendre des poids spécifiques à l’exemple qui sont utilisés pour donner plus d’importance à certains éléments qu’à d’autres. Divers travaux montrent que les explications données par les mécanismes d’attention ont un sens dans le contexte de la tâche et que l’attention permet d’améliorer les performances. C’est pourquoi, dans cette proposition, nous décrivons trois pistes de recherche pour améliorer l’explicabilité donnée par les mécanismes d’attention. Cette proposition s’inscrit dans le contexte des exigences en matière d’interprétabilité dans le secteur des assurances. Nous travaillons avec un partenaire industriel qui nous donne accès à des données télématiques pour l’assurance basée sur l’utilisation.

Abstract

Title: Interpretability of Deep Neural Networks: How Attention Can Be Used to Explain a Neural Network’s Decisions

Deep neural networks are powerful models able to achieve great feats in many fields such as computer vision and natural language processing. While hugely popular, they are highly non-interpretable as they often have millions of parameters and they are made of layers stacked one onto the others. Generally speaking, a machine learning model is interpretable if it is possible to understand how decisions are taken by the model. In this proposal, we consider attention mechanisms as an intrinsic way to explain a neural network’s decisions. Given an example consisting of a set of elements such as a sentence in a natural language, attention is a way to learn example-specific weights that are used to give more importance to some elements than others. Various works show that explanations given by attention mechanisms make sense in the context of the task and that attention helps improve performances. Hence, in this proposal, we describe three research avenues to enhance the explainability given by attention mechanisms. This proposal is in the context of interpretability requirements in the insurance industry. We work with an industry partner that gives us access to telematics data for usage-based insurance.

Note: la présentation sera donnée en français.

Veuillez utiliser le lien Zoom suivant: https://zoom.us/j/94601368275?pwd=aTlkNzZIMzRDenFTd1ZpYUhhRkhBUT09

Bienvenue à tous !