Betting on Sparsity: Leveraging Hidden Linear Features through Regularisation for Supervised Learning
Miser sur la Parcimonie : Exploitation des Dépendances Linéaires Cachées via la Régularisation pour l’Apprentissage Supervisé
Résumé
We tackle the challenge of supervised learning with hidden data structures, focusing on cases where a few relevant linear features explain the relationship between response and covariates, as in the multi-index model. We aim to develop methods that leverage these hidden structures to improve learning. Many existing approaches rely on strong assumptions about data generation and struggle with the curse of dimensionality, often exhibiting exponential dependency on data dimension. We explore multi-index models through regularised empirical risk minimisation (ERM), as this flexible framework is applicable to any problem where a risk can be defined. Throughout this thesis, we explore three innovative methods for joint feature learning and function estimation in nonparametric learning. Each method integrates elements from reproducing kernel Hilbert spaces (RKHS), contains sparsity-inducing penalties for feature learning which are adaptable to the variable selection setting, uses optimisation procedures based on reweighting for efficient computation and relies on limited assumptions on the data-generating mechanism. We ensured the usability of the developed code and the reproducibility of the experiments. The first method, \textsc{KTNGrad}, considers ERM within an RKHS, augmented by a trace norm penalty on the sample matrix of gradients. Theoretical analysis shows that \textsc{KTNGrad} achieves convergence rates that do not depend exponentially on the dimension for the expected risk in well-specified settings while recovering the underlying feature space in a safe-filter manner. The second method, \textsc{RegFeaL}, leverages Hermite polynomials' orthogonality and rotation invariance properties. This method iteratively rotates the data to align with leading directions. The expected risk converges to the minimal risk with explicit rates without strong assumptions on the true regression function. Finally, the third method, \textsc{BKerNN}, introduces a novel framework that combines kernel methods and neural networks. This method optimises the first layer's weights via gradient descent while explicitly adjusting the non-linearity and weights of the second layer. The optimisation leverages the positive homogeneity of the Brownian kernel, and Rademacher complexity analysis shows that \textsc{BKerNN} achieves favourable convergence rates that are dimension-independent without strong assumptions on the true regression function or the data.
Nous considérons le problème de l'apprentissage supervisé lorsqu'il existe des structures de données cachées, en nous concentrant sur les cas où quelques caractéristiques linéaires pertinentes expliquent la relation entre la réponse et les covariables, comme dans le modèle ``multi-index''. Notre objectif est de développer des méthodes qui exploitent ces structures cachées pour améliorer l'apprentissage. De nombreuses approches existantes reposent sur des hypothèses fortes concernant la génération de données et se heurtent à la malédiction de la dimensionnalité, présentant souvent une dépendance exponentielle en la dimension des données. Nous explorons les modèles ``multi-index'' en utilisant la minimisation du risque empirique régularisé (ERM), car ce cadre flexible est applicable à tout problème pour lequel un risque peut être défini. Tout au long de cette thèse, nous explorons trois méthodes innovantes pour simultanément apprendre les caractéristiques et estimer la fonction de prédiction dans un contexte non-paramétrique. Chaque méthode intègre des éléments des espaces de Hilbert à noyau reproduisant (RKHS), contient des pénalités d'apprentissage des caractéristiques qui sont adaptables à la sélection de variables, utilise des procédures d'optimisation basées sur la repondération pour un calcul efficace et s'appuie sur des hypothèses limitées sur le mécanisme de génération des données. Nous avons veillé à la facilité d'utilisation du code développé et à la reproductibilité des expériences. La première méthode, \textsc{KTNGrad}, considère l'ERM dans un RKHS avec une pénalité de norme nucléaire sur la matrice empirique des gradients. L'analyse théorique montre que \textsc{KTNGrad} a des taux de convergence pour le risque attendu dans les contextes bien spécifiés qui ne dépendent pas exponentiellement de la dimension, tout en estimant l'espace des caractéristiques pertinentes d'une manière sûre. La deuxième méthode, \textsc{RegFeaL}, exploite les propriétés d'orthogonalité et d'invariance par rotation des polynômes de Hermite. Cette méthode fait pivoter les données de manière itérative pour les aligner avec les caractéristiques. Le risque attendu converge vers le risque minimal avec des taux explicites, sans hypothèses fortes sur la véritable fonction de régression. Enfin, la troisième méthode, \textsc{BKerNN}, introduit un nouveau modèle qui combine les méthodes à noyaux et les réseaux de neurones. Cette méthode optimise les poids de la première couche par descente de gradient tout en ajustant explicitement la non-linéarité et les poids de la deuxième couche. L'optimisation tire parti de l'homogénéité positive du noyau Brownien, et l'analyse de la complexité de Rademacher montre que le risque attendu de \textsc{BKerNN} atteint des taux de convergence favorables qui sont indépendants de la dimension, sans hypothèses fortes sur la véritable fonction de régression ou sur les données.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|
