Demolition and Reinforcement of memories in Spin Glass-like Neural Networks
Démolition et renforcement des états de mémoire dans Modèles de réseaux de neurones de type Spin Glass
Résumé
Statistical mechanics has made significant contributions to the study of biological neural systems by modeling them as recurrent networks of interconnected units with adjustable interactions. Several algorithms have been proposed to optimize the neural connections to enable network tasks such as information storage (i.e. associative memory) and learning probability distributions from data (i.e. generative modeling). Among these methods, the Unlearning algorithm, aligned with emerging theories of synaptic plasticity, was introduced by John Hopfield and collaborators.
The primary objective of this thesis is to understand the effectiveness of Unlearning in both associative memory models and generative models. Initially, we demonstrate that the Unlearning algorithm can be simplified to a linear perceptron model which learns from noisy examples featuring specific internal correlations. The selection of structured training data enables an associative memory model to retrieve concepts as attractors of a neural dynamics with considerable basins of attraction. Subsequently, a novel regularization technique for Boltzmann Machines is presented, proving to outperform previously developed methods in learning hidden probability distributions from data-sets. The Unlearning rule is derived from this new regularized algorithm and is showed to be comparable, in terms of inferential performance, to traditional
Boltzmann-Machine learning.
La mécanique statistique a apporté des contributions significatives à l'étude des systèmes neuronaux biologiques en les modélisant comme des réseaux récurrents d'unités interconnectées avec des interactions ajustables. Plusieurs algorithmes ont été proposés pour optimiser les connexions neuronales afin de permettre des tâches telles que le stockage d'informations (i.e. la mémoire associative) et l'apprentissage de distributions de probabilités à partir de données (i.e. la modélisation générative). Parmi ces méthodes, l'algorithme du Unlearning, aligné sur les théories émergentes de la plasticité synaptique, a été introduit par John Hopfield et ses collaborateurs. L'objectif principal de cette thèse est de comprendre l'efficacité de l'Unlearning dans les modèles de mémoire associative et les modèles génératifs. Le premier chapitre sert d'introduction à trois types fondamentaux de modélisation : la mémoire associative, la classification et la modélisation générative (en particulier l'apprentissage par Boltzmann Machine). Il analyse également les différences substantielles entre la mémoire et la classification dans les réseaux neuronaux, ainsi que certaines similitudes formelles. Le deuxième chapitre examine un algorithme simple de formation par injection de bruit pour les réseaux neuronaux récurrents, connu sous le nom de Training-with-Noise, dans le contexte du bruit structuré. Alors que l'injection d'une quantité maximale de bruit aléatoire pourrait être préjudiciable dans le scénario standard, l'incorporation de dépendances internes entre les caractéristiques des données d'apprentissage bruyantes améliore considérablement le pouvoir d'associativité du réseau. Nous dérivons une recette analytique pour optimiser la structure du bruit et la validons numériquement. En outre, nous élucidons l'émergence de la règle d'Unlearning de l'algorithme de Training-with-Noise en présence de bruit structuré, en examinant divers types de données d'apprentissage, y compris des chiffres manuscrits et des données corrélés dans l'espace. Le troisième chapitre présente une nouvelle technique de régularisation pour l'apprentissage par Boltzmann Machine. Nous explorons une limite spécifique de cette régularisation, qui conduit à la récupération de l'Unlearning à moyenne thermique. En outre, nous démontrons l'équivalence de la règle d'Unlearning avec une Boltzmann Machine à deux étapes. Enfin, nous établissons une équivalence formelle entre les Boltzmann Machines (i.e. les modèles génératifs), les Support Vector Machines et l'algorithme d'Unlearning (i.e. les modèles à mémoire associative). Dans la discussion qui suit, nous analysons les résultats et donnons un aperçu des orientations potentielles de la recherche future.
Origine | Fichiers produits par l'(les) auteur(s) |
---|---|
licence |