Machine Learning

Dinamiche Disordinate in Alte Dimensioni: Connessioni con Matrici Casuali e Machine Learning

by

Dinamiche Disordinate in Alte Dimensioni: Connessioni con Matrici Casuali e Machine Learning

Un nuovo studio esplora le dinamiche dei sistemi ad alta dimensionalità, guidati da matrici casuali, con particolare attenzione alle applicazioni nei modelli di apprendimento e generalizzazione nel machine learning. L’articolo, pubblicato su arXiv (arXiv:2601.01010v2), utilizza metodi come la teoria del campo medio dinamico (DMFT) e gli integrali di percorso per analizzare il comportamento di questi sistemi complessi.

La ricerca si concentra su come caratterizzare il comportamento di un sistema ad alta dimensionalità come un processo stocastico per ogni singolo sito del sistema. La DMFT, un framework flessibile, permette di descrivere il sistema attraverso funzioni di correlazione e risposta a due tempi. Vengono esplorate le connessioni tra i risolventi di matrici casuali e la risposta DMFT per sistemi lineari tempo-invarianti. L’applicazione di questi concetti a modelli di machine learning, come il gradient flow, il stochastic gradient descent e le reti neurali lineari profonde, permette di analizzare le decomposizioni di bias e varianza.

Lo studio indaga anche come i sistemi lineari guidati da matrici casuali non hermitiane possono mostrare curve di perdita non monotone durante l’addestramento, a differenza delle matrici hermitiane con spettri simili. Infine, fornisce descrizioni asintotiche delle dinamiche di perdita per reti neurali lineari profonde inizializzate casualmente, addestrate con dati ad alta dimensionalità. In questo caso, la struttura di invarianza temporale si perde e i pesi degli strati nascosti sono caratterizzati come matrici casuali a picchi.

Paper: ArXiv.org

Cedalion Tutorial: Un framework Python per l’analisi completa di fNIRS e DOT multimodali, dal laboratorio al mondo reale

by

Cedalion Tutorial: Un framework Python per l’analisi completa di fNIRS e DOT multimodali, dal laboratorio al mondo reale

La spettroscopia funzionale nel vicino infrarosso (fNIRS) e la tomografia ottica diffusa (DOT) stanno evolvendo rapidamente verso la neuroimmagine indossabile, multimodale e basata sui dati, supportata dall’intelligenza artificiale (IA) nel mondo reale. Tuttavia, gli strumenti analitici attuali sono frammentati tra diverse piattaforme, limitando la riproducibilità, l’interoperabilità e l’integrazione con i moderni flussi di lavoro di apprendimento automatico (ML). Cedalion è un framework open-source basato su Python progettato per unificare l’analisi avanzata, basata su modelli e basata sui dati, di dati fNIRS e DOT multimodali, all’interno di un ambiente riproducibile, estensibile e guidato dalla comunità. Cedalion integra modellazione diretta, co-registrazione fotogrammetrica degli optodi, elaborazione del segnale, analisi GLM, ricostruzione di immagini DOT e metodi basati su ML, all’interno di un’unica architettura standardizzata basata sull’ecosistema Python. Aderisce agli standard SNIRF e BIDS, supporta notebook Jupyter eseguibili sul cloud e fornisce flussi di lavoro containerizzati per pipeline di analisi scalabili e completamente riproducibili, che possono essere forniti insieme alle pubblicazioni di ricerca originali. Cedalion collega pipeline consolidate di neuroimmagine ottica con framework ML come scikit-learn e PyTorch, consentendo una fusione multimodale senza soluzione di continuità con EEG, MEG e dati fisiologici. Implementa algoritmi validati per la valutazione della qualità del segnale, la correzione del movimento, la modellazione GLM e la ricostruzione DOT, integrati da moduli per la simulazione, l’aumento dei dati e l’analisi della fisiologia multimodale. La documentazione automatizzata collega ogni metodo alla sua pubblicazione originale e i test di integrazione continua garantiscono la robustezza. Questo tutorial fornisce sette notebook completamente eseguibili che dimostrano le funzionalità principali. Cedalion offre una base aperta, trasparente e estensibile dalla comunità che supporta flussi di lavoro fNIRS/DOT riproducibili, scalabili, pronti per il cloud e per ML, per la neuroimmagine in laboratorio e nel mondo reale.

Paper: ArXiv.org

Compressione Markoviana: Guardare al Passato per Accelerare il Futuro

by

Nuova Ricerca Rivela un Avanzamento nella Compressione dei Dati per l’Ottimizzazione Distribuita

Un nuovo studio pubblicato su arXiv (arXiv:2601.05398v1) presenta un approccio innovativo alla compressione dei dati per l’ottimizzazione distribuita, mirando a migliorare l’efficienza e ridurre i colli di bottiglia nella comunicazione. La ricerca propone una famiglia di schemi di compressione basati su catene di Markov, dove l’aleatorietà dei compressori dipende dalle iterazioni precedenti.

Gli autori hanno implementato questi compressori nell’algoritmo Quantized Stochastic Gradient Descent (QSGD) e, per aumentare ulteriormente l’efficienza e la velocità di convergenza, nella versione QSGD accelerata con momento. I risultati ottenuti offrono una solida base teorica, coprendo casi non convessi, Polyak-Lojasiewicz e fortemente convessi. L’applicazione pratica è stata dimostrata su problemi di ottimizzazione distribuita data-parallel, utilizzando i dataset CIFAR-10 e GLUE con i modelli Resnet-18 e DeBERTaV3.

I risultati sperimentali evidenziano la superiorità dei metodi che utilizzano questa nuova tecnica di compressione rispetto agli schemi esistenti. Questa ricerca potrebbe avere implicazioni significative per l’ottimizzazione di modelli di machine learning distribuiti, aprendo la strada a prestazioni più rapide ed efficienti in una vasta gamma di applicazioni.

Paper: ArXiv.org

Cedalion Tutorial: Un framework Python per l’analisi completa di fNIRS e DOT multimodali, dal laboratorio al mondo reale

by

Cedalion Tutorial: Un framework Python per l’analisi completa di fNIRS e DOT multimodali, dal laboratorio al mondo reale

La spettroscopia funzionale nel vicino infrarosso (fNIRS) e la tomografia ottica diffusa (DOT) stanno evolvendo rapidamente verso la neuroimmagine indossabile, multimodale e basata sui dati, supportata dall’intelligenza artificiale (AI), applicabile nel mondo reale. Tuttavia, gli attuali strumenti di analisi sono frammentati tra diverse piattaforme, limitando la riproducibilità, l’interoperabilità e l’integrazione con i moderni flussi di lavoro di machine learning (ML).

Cedalion è un framework open-source basato su Python progettato per unificare l’analisi avanzata, basata su modelli e sui dati, di dati fNIRS e DOT multimodali, all’interno di un ambiente riproducibile, estensibile e guidato dalla comunità. Cedalion integra modellazione diretta, co-registrazione fotogrammetrica degli optodi, elaborazione del segnale, analisi GLM, ricostruzione di immagini DOT e metodi basati su ML, all’interno di un’unica architettura standardizzata basata sull’ecosistema Python. Aderisce agli standard SNIRF e BIDS, supporta notebook Jupyter eseguibili sul cloud e fornisce flussi di lavoro containerizzati per pipeline di analisi scalabili e completamente riproducibili, da fornire insieme alle pubblicazioni di ricerca originali.

Cedalion collega le consolidate pipeline di neuroimmagine ottica con i framework ML come scikit-learn e PyTorch, consentendo una fusione multimodale senza soluzione di continuità con EEG, MEG e dati fisiologici. Implementa algoritmi validati per la valutazione della qualità del segnale, la correzione del movimento, la modellazione GLM e la ricostruzione DOT, integrati da moduli per la simulazione, l’aumento dei dati e l’analisi della fisiologia multimodale. La documentazione automatica collega ogni metodo alla sua pubblicazione di origine e i test di integrazione continua ne garantiscono la robustezza. Questo tutorial fornisce sette notebook completamente eseguibili che dimostrano le funzionalità principali. Cedalion offre una base aperta, trasparente e comunitariamente estensibile che supporta flussi di lavoro fNIRS/DOT riproducibili, scalabili, pronti per il cloud e per il ML, per la neuroimmagine sia in laboratorio che nel mondo reale.

Paper: ArXiv.org

Valutazione dei modelli di machine learning per la previsione della tossicità dei pesticidi sulle api

by

Nuovi Modelli di Machine Learning per Prevedere la Tossicità dei Pesticidi sulle Api

Un recente studio pubblicato su arXiv (arXiv:2503.24305v4) esplora l’applicazione di modelli di machine learning per prevedere la tossicità dei pesticidi sulle api, un aspetto cruciale per la protezione degli impollinatori e la sostenibilità ambientale. La ricerca si concentra sull’analisi del dataset ApisTox, il più completo database di tossicità chimica convalidata sperimentalmente per l’ape mellifera ( extit{Apis mellifera}).

Lo studio confronta diversi approcci di machine learning, inclusi fingerprint molecolari, graph kernel, graph neural networks e modelli pre-addestrati. L’obiettivo principale è valutare l’efficacia di questi modelli nel prevedere la tossicità dei composti chimici per le api. L’analisi comparativa con dataset biomedici mostra che ApisTox occupa uno spazio chimico distinto, evidenziando i limiti di generalizzazione dei modelli addestrati su dati biomedici per contesti agrochimici. La degradazione delle prestazioni su dataset non biomedici come ApisTox sottolinea la necessità di sviluppare modelli mirati e dataset più diversificati per il settore agrochimico.

I risultati della ricerca sottolineano l’importanza di sviluppare modelli specifici per l’agrochimica, considerando la scarsità di dati e le peculiarità del settore. Questo studio contribuisce a migliorare la comprensione della tossicità dei pesticidi e offre nuove direzioni per lo sviluppo di strumenti di previsione più accurati e affidabili, fondamentali per la protezione delle api e la sicurezza ambientale.

Paper: ArXiv.org

Rilevamento di Audio Deepfake di Ogni Tipo: Wavelet Prompt Tuning per una Migliore Percezione Auditiva

by

Rilevamento di Audio Deepfake di Ogni Tipo: Wavelet Prompt Tuning per una Migliore Percezione Auditiva

L’avanzamento rapido delle tecnologie di generazione audio ha aumentato i rischi di audio deepfake dannosi in discorsi, suoni, voci cantate e musica, minacciando la sicurezza e l’affidabilità multimediale. Mentre le attuali contromisure (CM) funzionano bene nel rilevamento di audio deepfake di un singolo tipo (ADD), le loro prestazioni diminuiscono negli scenari multi-tipo. Questo studio si concentra sul compito di rilevamento di audio deepfake di ogni tipo (all-type ADD).

Gli autori hanno creato un benchmark completo per valutare le attuali CM, incorporando il rilevamento di deepfake cross-type tra discorsi, suoni, voci cantate e musica. È stata introdotta la metodologia di addestramento prompt tuning self-supervised learning (PT-SSL), che ottimizza il front-end SSL attraverso l’apprendimento di token prompt specializzati per ADD, richiedendo 458 volte meno parametri addestrabili rispetto al fine-tuning (FT). Considerando la percezione uditiva dei diversi tipi di audio, è stato proposto il metodo wavelet prompt tuning (WPT)-SSL per catturare informazioni sui deepfake uditivi invarianti al tipo dal dominio della frequenza senza richiedere parametri di addestramento aggiuntivi, migliorando così le prestazioni rispetto a FT nel compito di all-type ADD.

Per raggiungere una CM universale, sono stati utilizzati tutti i tipi di audio deepfake per il co-addestramento. I risultati sperimentali dimostrano che WPT-XLSR-AASIST ha ottenuto le migliori prestazioni, con un EER medio del 3.58% su tutti i set di valutazione. I risultati di questa ricerca sono fondamentali per lo sviluppo di sistemi di sicurezza multimediale robusti e affidabili.

Paper: ArXiv.org

LEKA: Ottimizzazione della conoscenza potenziata da LLM

by

LEKA: Ottimizzazione della conoscenza potenziata da LLM

Un recente studio pubblicato su arXiv (arXiv:2501.17802v3) presenta LEKA, un innovativo metodo di knowledge augmentation progettato per migliorare il trasferimento di conoscenza nei modelli di intelligenza artificiale. A differenza dei metodi tradizionali, LEKA si concentra sull’apprendimento analogico e sull’identificazione autonoma delle fonti di conoscenza più rilevanti.

L’approccio LEKA si basa sull’estrazione di informazioni chiave dal dominio di destinazione, la ricerca di dati pertinenti da librerie esterne e l’armonizzazione dei dati recuperati nello spazio delle caratteristiche e nelle misure di probabilità marginale. Questo processo permette ai modelli di passare dall’acquisizione passiva all’accesso e all’apprendimento attivo dalla conoscenza.

Gli esperimenti condotti su diversi domini hanno dimostrato l’efficacia di LEKA, mostrando miglioramenti significativi rispetto ai metodi tradizionali. Tra i vantaggi principali, la riduzione dei costi computazionali, l’automazione dell’allineamento dei dati e l’ottimizzazione dei risultati del trasferimento di conoscenza.

Questo approccio rappresenta un passo avanti significativo nel campo dell’intelligenza artificiale, aprendo nuove possibilità per lo sviluppo di modelli capaci di apprendere e trasferire la conoscenza in modo più efficiente e accurato.

Paper: ArXiv.org

Utilizzo del deep learning guidato dalla fisica per superare la scarsità di dati

by

Superare la scarsità di dati con il deep learning guidato dalla fisica

Il deep learning (DL) ha rivoluzionato molti campi, ma dipende fortemente dai dati. La qualità e la quantità dei dati influenzano in modo significativo le prestazioni dei modelli di DL. Tuttavia, ottenere set di dati di alta qualità e ben annotati può essere difficile, se non impossibile, in molte applicazioni reali, come la stima del rischio strutturale e la diagnosi medica. Ciò rappresenta una barriera significativa all’implementazione pratica del DL in questi settori.

Il physics-guided deep learning (PGDL) è un nuovo approccio che integra le leggi della fisica per addestrare le reti neurali. Questo metodo può essere applicato a qualsiasi sistema governato da leggi fisiche, come la meccanica, la finanza e le applicazioni mediche. È stato dimostrato che, con l’integrazione delle leggi della fisica, il PGDL raggiunge una maggiore accuratezza e generalizzazione anche in presenza di scarsità di dati.

Questa recensione fornisce un’analisi dettagliata del PGDL e offre una panoramica strutturata del suo utilizzo per affrontare la scarsità di dati in vari campi, tra cui la fisica, l’ingegneria e le applicazioni mediche. La recensione identifica anche le attuali limitazioni e le opportunità del PGDL in relazione alla scarsità di dati, offrendo una discussione approfondita sulle prospettive future del PGDL. L’articolo evidenzia il potenziale del PGDL come strumento potente per superare le sfide poste dalla scarsità di dati, aprendo nuove strade per l’applicazione del deep learning in settori precedentemente inaccessibili.

Paper: ArXiv.org

Cedalion Tutorial: Un framework Python per l’analisi completa di fNIRS e DOT multimodali dal laboratorio al mondo reale

by

Cedalion Tutorial: Un framework Python per l’analisi completa di fNIRS e DOT multimodali dal laboratorio al mondo reale

La spettroscopia funzionale nel vicino infrarosso (fNIRS) e la tomografia ottica diffusa (DOT) stanno rapidamente evolvendo verso neuroimaging indossabile, multimodale e basato sui dati, supportato dall’IA nel mondo reale. Tuttavia, gli strumenti di analisi attuali sono frammentati tra le piattaforme, limitando la riproducibilità, l’interoperabilità e l’integrazione con i moderni flussi di lavoro di machine learning (ML). Cedalion è un framework open-source basato su Python progettato per unificare l’analisi avanzata basata su modelli e basata sui dati di dati fNIRS e DOT multimodali all’interno di un ambiente riproducibile, estensibile e guidato dalla comunità. Cedalion integra modellazione in avanti, co-registrazione fotogrammetrica degli optodi, elaborazione del segnale, analisi GLM, ricostruzione di immagini DOT e metodi basati su ML all’interno di un’unica architettura standardizzata basata sull’ecosistema Python. Aderisce agli standard SNIRF e BIDS, supporta notebook Jupyter eseguibili sul cloud e fornisce flussi di lavoro containerizzati per pipeline di analisi scalabili e completamente riproducibili che possono essere fornite insieme alle pubblicazioni di ricerca originali. Cedalion collega pipeline di optical-neuroimaging consolidate con framework ML come scikit-learn e PyTorch, consentendo una fusione multimodale senza soluzione di continuità con EEG, MEG e dati fisiologici. Implementa algoritmi validati per la valutazione della qualità del segnale, la correzione del movimento, la modellazione GLM e la ricostruzione DOT, integrati da moduli per la simulazione, l’aumento dei dati e l’analisi della fisiologia multimodale. La documentazione automatizzata collega ogni metodo alla sua pubblicazione di origine e i test di integrazione continua ne garantiscono la robustezza. Questo tutorial fornisce sette notebook completamente eseguibili che dimostrano le caratteristiche principali. Cedalion offre una base aperta, trasparente e community-estensibile che supporta flussi di lavoro fNIRS/DOT riproducibili, scalabili, pronti per il cloud e ML per il neuroimaging in laboratorio e nel mondo reale.

Paper: ArXiv.org

Apprendimento per Rinforzo dei Modelli Linguistici di Grandi Dimensioni per il Rilevamento Interpretabile delle Frodi con Carte di Credito

by

Nuovo Approccio per il Rilevamento Frodi tramite LLM e Reinforcement Learning

La crescente sofisticazione delle frodi online, che spaziano dal furto d’identità al riciclaggio di denaro, rappresenta una sfida costante per le piattaforme di e-commerce e i fornitori di servizi di pagamento. Nonostante le potenzialità teoriche dei Large Language Models (LLMs), la loro applicazione pratica nel rilevamento delle frodi in contesti finanziari reali è ancora limitata. Questo studio si propone di colmare questa lacuna, proponendo un approccio innovativo basato sull’apprendimento per rinforzo (RL) per addestrare modelli linguistici leggeri specificamente per il rilevamento delle frodi, utilizzando solo dati grezzi delle transazioni.

Utilizzando l’algoritmo Group Sequence Policy Optimization (GSPO) e un sistema di ricompensa basato su regole, i modelli linguistici sono stati ottimizzati su un dataset di transazioni reali fornito da un’azienda cinese di servizi di pagamento globale. L’obiettivo è incentivare i modelli ad esplorare segnali di fiducia e rischio nascosti nei dati testuali delle transazioni, tra cui informazioni sui clienti, dettagli di spedizione, descrizioni dei prodotti e cronologia degli ordini. I risultati sperimentali mostrano miglioramenti significativi nel punteggio F1 sui dati di test, dimostrando l’efficacia dell’approccio. L’apprendimento per rinforzo, grazie al suo meccanismo di esplorazione, permette ai modelli di scoprire nuovi indicatori di frode, superando i limiti delle tecniche tradizionali basate su feature ingegnerizzate.

Questo approccio rappresenta un importante passo avanti nell’utilizzo degli LLM nel rilevamento delle frodi, offrendo una soluzione più interpretabile e adattabile alle complesse dinamiche del panorama delle frodi online.

Paper: ArXiv.org