Lors de cette présentation, nous allons analyser des réseaux neuronaux entièrement entraînés, de profondeur arbitraire, dans le cadre bayésien optimal, en nous plaçant dans le régime proportionnel. Dans ce régime, le nombre d’échantillons d’apprentissage ainsi que la largeur de l’entrée et de toutes les couches internes divergent proportionnellement. Nous démontrons une équivalence information-théorique entre un réseau neuronal profond bayésien et un modèle linéaire généralisé, qui est bien plus simple. Cette équivalence nous permet de calculer l’erreur de généralisation optimale pour les réseaux neuronaux profonds dans ce régime. Nous prouvons ainsi le «principe d’équivalence gaussienne profonde» conjecturé par Cui et al. en 2023. Notre résultat met en évidence que, pour échapper à cette «trivialisation» des réseaux neuronaux profonds (dans le sens d’une réduction à un modèle linéaire) qui se produit dans le régime fortement surparamétré proportionnel, il est nécessaire de considérer des modèles entraînés avec un volume de données bien plus important.
