Dinamiche Disordinate in Alte Dimensioni: Connessioni con Matrici Casuali e Machine Learning
Un nuovo studio esplora le dinamiche dei sistemi ad alta dimensionalità, guidati da matrici casuali, con particolare attenzione alle applicazioni nei modelli di apprendimento e generalizzazione nel machine learning. L’articolo, pubblicato su arXiv (arXiv:2601.01010v2), utilizza metodi come la teoria del campo medio dinamico (DMFT) e gli integrali di percorso per analizzare il comportamento di questi sistemi complessi.
La ricerca si concentra su come caratterizzare il comportamento di un sistema ad alta dimensionalità come un processo stocastico per ogni singolo sito del sistema. La DMFT, un framework flessibile, permette di descrivere il sistema attraverso funzioni di correlazione e risposta a due tempi. Vengono esplorate le connessioni tra i risolventi di matrici casuali e la risposta DMFT per sistemi lineari tempo-invarianti. L’applicazione di questi concetti a modelli di machine learning, come il gradient flow, il stochastic gradient descent e le reti neurali lineari profonde, permette di analizzare le decomposizioni di bias e varianza.
Lo studio indaga anche come i sistemi lineari guidati da matrici casuali non hermitiane possono mostrare curve di perdita non monotone durante l’addestramento, a differenza delle matrici hermitiane con spettri simili. Infine, fornisce descrizioni asintotiche delle dinamiche di perdita per reti neurali lineari profonde inizializzate casualmente, addestrate con dati ad alta dimensionalità. In questo caso, la struttura di invarianza temporale si perde e i pesi degli strati nascosti sono caratterizzati come matrici casuali a picchi.
Paper: ArXiv.org