LLM

LEKA: Ottimizzazione della conoscenza potenziata da LLM

by

LEKA: Ottimizzazione della conoscenza potenziata da LLM

Un recente studio pubblicato su arXiv (arXiv:2501.17802v3) presenta LEKA, un innovativo metodo di knowledge augmentation progettato per migliorare il trasferimento di conoscenza nei modelli di intelligenza artificiale. A differenza dei metodi tradizionali, LEKA si concentra sull’apprendimento analogico e sull’identificazione autonoma delle fonti di conoscenza più rilevanti.

L’approccio LEKA si basa sull’estrazione di informazioni chiave dal dominio di destinazione, la ricerca di dati pertinenti da librerie esterne e l’armonizzazione dei dati recuperati nello spazio delle caratteristiche e nelle misure di probabilità marginale. Questo processo permette ai modelli di passare dall’acquisizione passiva all’accesso e all’apprendimento attivo dalla conoscenza.

Gli esperimenti condotti su diversi domini hanno dimostrato l’efficacia di LEKA, mostrando miglioramenti significativi rispetto ai metodi tradizionali. Tra i vantaggi principali, la riduzione dei costi computazionali, l’automazione dell’allineamento dei dati e l’ottimizzazione dei risultati del trasferimento di conoscenza.

Questo approccio rappresenta un passo avanti significativo nel campo dell’intelligenza artificiale, aprendo nuove possibilità per lo sviluppo di modelli capaci di apprendere e trasferire la conoscenza in modo più efficiente e accurato.

Paper: ArXiv.org

Simulazione del Processo Decisionale Multi-Stakeholder con Agenti Generativi nella Pianificazione Urbana

by

Nuovo Approccio per la Pianificazione Urbana: Simulazione di Decisioni Multi-Stakeholder

Un recente studio pubblicato su arXiv (2402.11314v2) esplora l’utilizzo di agenti generativi basati su modelli linguistici di grandi dimensioni (LLM) per simulare il processo decisionale multi-stakeholder nella pianificazione urbana. Questo approccio innovativo mira a superare le sfide legate a negoziazioni prolungate, compromessi e dinamiche di potere che spesso caratterizzano la pianificazione urbana.

Lo studio valuta l’impatto di diversi fattori, come dati demografici e valori personali, sull’interazione tra gli agenti, utilizzando due diversi approcci decisionali: altruistico e basato sugli interessi. I risultati mostrano che l’integrazione di dati demografici e valori personali aumenta la diversità e la stabilità dei risultati generati dagli agenti. La comunicazione tra gli agenti generati migliora la qualità del ragionamento collettivo. Questo approccio simula le reazioni degli stakeholder, consentendo di affinare le proposte prima della loro presentazione pubblica. L’obiettivo è quello di promuovere decisioni più eque ed economicamente vantaggiose nella pianificazione urbana.

Tuttavia, lo studio evidenzia anche i rischi associati all’utilizzo di tali sistemi, tra cui problemi di rappresentazione, preoccupazioni sulla privacy e possibili pregiudizi. L’adozione di questo approccio richiede un’attenta considerazione di tali aspetti etici e sociali, garantendo l’affidabilità e l’equità dei risultati.

Paper: ArXiv.org

La struttura molecolare del pensiero: Mappatura della topologia del ragionamento a catena di pensiero lunga

by

La struttura molecolare del pensiero: Mappatura della topologia del ragionamento a catena di pensiero lunga

Un nuovo studio pubblicato su arXiv (2601.06002v1) esplora le sfide poste dai modelli linguistici di grandi dimensioni (LLM) nell’apprendimento del ragionamento a catena di pensiero lunga (Long CoT) efficace. I ricercatori hanno osservato che spesso gli LLM faticano ad apprendere questa forma di ragionamento tramite imitazione, sia da esseri umani che da altri LLM non Long CoT.

Per comprendere meglio questo fenomeno, lo studio propone una nuova prospettiva: le traiettorie Long CoT efficaci e apprendibili presentano strutture stabili simili a molecole, viste in modo unificato. Queste strutture sono formate da tre tipi di interazioni: ‘Deep-Reasoning’ (simile ai legami covalenti), ‘Self-Reflection’ (simile ai legami a idrogeno) e ‘Self-Exploration’ (simile alle forze di van der Waals).

L’analisi delle traiettorie distillate rivela che queste strutture emergono dal fine-tuning Long CoT, e non semplicemente dall’imitazione di parole chiave. I ricercatori introducono il concetto di ‘Isomeri Semantici Efficaci’ e dimostrano che solo i legami che promuovono una rapida convergenza dell’entropia supportano un apprendimento Long CoT stabile, mentre la competizione strutturale compromette l’addestramento. Sulla base di questi risultati, viene presentato ‘Mole-Syn’, un metodo di trasferimento della distribuzione-grafo che guida la sintesi di strutture Long CoT efficaci, migliorando le prestazioni e la stabilità RL attraverso diversi benchmark.

Paper: ArXiv.org

Illusione di fiducia? Diagnosticare l’accuratezza dei modelli linguistici di grandi dimensioni tramite la coerenza del vicinato

by

Nuovo studio valuta l’affidabilità dei modelli linguistici di grandi dimensioni

Un nuovo studio pubblicato su arXiv (2601.05905v1) affronta la crescente preoccupazione per l’affidabilità dei modelli linguistici di grandi dimensioni (LLM) in applicazioni reali. Il documento, intitolato “Illusions of Confidence? Diagnosing LLM Truthfulness via Neighborhood Consistency”, esplora i limiti delle attuali metriche di valutazione e propone un nuovo metodo per valutare la robustezza delle credenze degli LLM.

Gli autori sottolineano che la semplice accuratezza non è sufficiente per un’implementazione affidabile degli LLM. Anche risposte perfettamente coerenti possono crollare sotto lievi perturbazioni contestuali. Per risolvere questo problema, viene introdotto il “Neighbor-Consistency Belief (NCB)”, una misura strutturale della robustezza della credenza che valuta la coerenza delle risposte attraverso un “vicinato concettuale”.

Per validare l’efficacia di NCB, gli studiosi hanno sviluppato un protocollo di stress-testing cognitivo che valuta la stabilità delle risposte sotto interferenza contestuale. I risultati sperimentali mostrano che i dati con alto NCB sono più resistenti all’interferenza. Inoltre, il documento presenta “Structure-Aware Training (SAT)”, una tecnica di addestramento che ottimizza la struttura della credenza invariante al contesto, riducendo la fragilità della conoscenza di circa il 30%.

Il codice sorgente per questo studio sarà disponibile su GitHub, promuovendo la trasparenza e la riproducibilità della ricerca.

Paper: ArXiv.org

LLM come giornalisti scientifici: supporto ai ricercatori alle prime armi nella divulgazione della loro scienza al pubblico

by

LLM come giornalisti scientifici: supporto ai ricercatori alle prime armi nella divulgazione della loro scienza al pubblico

La comunità scientifica necessita di strumenti che aiutino i ricercatori alle prime armi a comunicare efficacemente le loro scoperte e innovazioni al pubblico. Sebbene gli attuali Large Language Models (LLM) generici possano assistere in questo compito, non sono ottimamente allineati per esso. Per affrontare questa situazione, proponiamo un framework per addestrare LLM a emulare il ruolo di un giornalista scientifico, che può essere utilizzato dai ricercatori alle prime armi per imparare a comunicare correttamente i loro articoli al grande pubblico.

Valutiamo l’utilità dei nostri LLM giornalisti addestrati conducendo conversazioni con ricercatori simulati e umani. I nostri esperimenti indicano che gli LLM addestrati utilizzando il nostro framework pongono domande più pertinenti che affrontano l’impatto sociale della ricerca, spingendo i ricercatori a chiarire ed elaborare i loro risultati. Nello studio sull’utente, la maggior parte dei partecipanti che hanno interagito con il nostro LLM giornalista addestrato lo ha apprezzato più dell’interazione con gli LLM generici.

Questo approccio offre una soluzione promettente per migliorare la capacità dei ricercatori di comunicare efficacemente la loro scienza, colmando il divario tra la ricerca accademica e la comprensione pubblica. L’utilizzo di LLM specializzati come giornalisti scientifici rappresenta un passo avanti significativo verso una divulgazione scientifica più accessibile e comprensibile.

Paper: ArXiv.org

Autonomia Modulare con Interazione Conversazionale: Un Framework basato su LLM per il Decision Making nella Guida Autonoma

by

Nuove frontiere nella guida autonoma: un framework basato su LLM

I recenti progressi nei modelli linguistici di grandi dimensioni (LLM) aprono nuove strade per la creazione di interfacce in linguaggio naturale per i sistemi di guida autonoma (ADS). Questo lavoro affronta la sfida di tradurre la complessità del linguaggio umano nello spazio d’azione strutturato del software modulare ADS. Viene proposto un framework che integra un livello di interazione basato su LLM con Autoware, un software open-source ampiamente utilizzato.

Il sistema consente ai passeggeri di impartire comandi di alto livello, dalla richiesta di informazioni sullo stato alla modifica del comportamento di guida. La metodologia si basa su tre componenti chiave: una tassonomia delle categorie di interazione, un linguaggio specifico del dominio (DSL) centrato sull’applicazione per la traduzione dei comandi e un livello di convalida che preserva la sicurezza. Un’architettura LLM a due stadi garantisce un’elevata trasparenza fornendo feedback basato sullo stato di esecuzione definitivo. La valutazione conferma l’efficienza temporale del sistema e la robustezza della traduzione. La simulazione ha convalidato con successo l’esecuzione dei comandi in tutte e cinque le categorie di interazione. Questo lavoro fornisce le basi per un’interazione estensibile, assistita da DSL, in stack di autonomia modulari e attenti alla sicurezza.

Paper: ArXiv.org

GIFT: Giochi come Formazione informale per LLM Generalizzabili

by

GIFT: Giochi come Formazione informale per LLM Generalizzabili

Una nuova ricerca presentata su arXiv (arXiv:2601.05633v1) esplora l’uso dei giochi come ambiente di apprendimento informale per i Large Language Models (LLM). Nonostante i notevoli successi degli LLM in compiti di apprendimento formale come la matematica e la generazione di codice, essi faticano ancora con la “saggezza pratica” e l’intelligenza generalizzabile, come la creatività strategica e il ragionamento sociale, che caratterizzano la cognizione umana. Questa lacuna deriva dalla mancanza di apprendimento informale, che prospera sul feedback interattivo piuttosto che sull’istruzione orientata agli obiettivi. I ricercatori propongono di utilizzare i giochi per colmare questa lacuna, sfruttando i loro segnali di ricompensa intrinseci e la complessità astratta per coltivare diverse competenze.

Per affrontare il degrado delle prestazioni osservato nell’apprendimento multi-task, viene introdotto un “Nested Training Framework”. A differenza della miscelazione di attività naive che ottimizza un obiettivo “OR” implicito, questo framework impiega la composizione sequenziale delle attività per imporre un obiettivo “AND” esplicito, costringendo il modello a padroneggiare più abilità simultaneamente per ottenere le massime ricompense. Utilizzando l’apprendimento per rinforzo basato su GRPO attraverso giochi di Matrix, TicTacToe e “Chi è la spia”, i ricercatori dimostrano che l’integrazione dell’apprendimento informale basato sui giochi non solo previene l’interferenza tra i compiti, ma rafforza significativamente la generalizzazione del modello attraverso ampi benchmark orientati alle abilità. Il framework e l’implementazione sono pubblicamente disponibili.

Questo approccio innovativo apre nuove strade per lo sviluppo di LLM più intelligenti e versatili, capaci di affrontare problemi complessi con maggiore efficacia.

Paper: ArXiv.org

Pre-addestramento continuo su dati sintetici crittografati per LLM che preservano la privacy

by

Nuova ricerca esplora il pre-addestramento continuo per LLM che preservano la privacy

Un nuovo studio pubblicato su arXiv (2601.05635v1) esplora un approccio innovativo per il pre-addestramento continuo di Large Language Models (LLM) su dati sensibili, mantenendo al contempo la privacy. La ricerca, condotta da un team di esperti, affronta la sfida di addestrare modelli linguistici di grandi dimensioni su piccoli corpora specifici del dominio, proteggendo al contempo le informazioni personali identificabili (PII).

L’approccio proposto si basa su un framework basato su entità che sintetizza dati di addestramento crittografati. Questo metodo prevede la costruzione di un grafo di entità ponderato per guidare la sintesi dei dati e l’applicazione di una crittografia deterministica alle entità PII. Ciò consente agli LLM di codificare nuove conoscenze attraverso il pre-addestramento continuo, garantendo al contempo l’accesso autorizzato ai dati sensibili tramite chiavi di decrittazione.

I risultati preliminari dimostrano che i modelli pre-addestrati superano i modelli base e garantiscono la sicurezza delle PII. I ricercatori hanno anche scoperto che l’aumento del numero di entità e l’utilizzo della sintesi basata su grafi migliorano le prestazioni del modello. Inoltre, i modelli crittografati mantengono le capacità di istruzione-following con contesti lunghi recuperati. Questo studio rappresenta un passo importante verso la creazione di LLM che rispettano la privacy, con implicazioni significative per la gestione dei dati sensibili in vari settori.

Il codice sorgente è disponibile su GitHub (https://github.com/DataArcTech/SoE).

Paper: ArXiv.org

La Sfida HumDial ICASSP 2026: Valutare Sistemi di Dialogo Vocale Simili all’Umano nell’Era dei LLM

by

La Sfida HumDial ICASSP 2026: Valutare Sistemi di Dialogo Vocale Simili all’Umano nell’Era dei LLM

L’avanzamento rapido dei Large Language Models (LLM), in particolare Audio-LLM e modelli Omni, ha trasformato i sistemi di dialogo vocale, riducendo le distanze tra le interazioni uomo-macchina e uomo-uomo. Per raggiungere una comunicazione veramente “umana”, è essenziale possedere intelligenza emotiva, per comprendere e rispondere agli stati emotivi degli utenti, e meccanismi di interazione robusti per gestire il flusso naturale delle conversazioni, come la gestione dei turni in tempo reale.

Per questo motivo, è stata lanciata la prima Human-like Spoken Dialogue Systems Challenge (HumDial) all’ICASSP 2026 per valutare queste capacità. Basata su un ampio dataset derivato da conversazioni umane autentiche, questa iniziativa offre una piattaforma di valutazione equa su due percorsi: (1) Intelligenza Emotiva, focalizzata sulla comprensione delle emozioni a lungo termine e sulla generazione empatica; (2) Interazione Full-Duplex, per valutare il processo decisionale in tempo reale in condizioni di “ascolto mentre si parla”. Questo documento riassume il dataset, le configurazioni dei percorsi e i risultati finali.

Paper: ArXiv.org

Safety Not Found (404): Rischi Nascosti nel Decision Making Robotico basato su LLM

by

Safety Not Found (404): Rischi Nascosti nel Decision Making Robotico basato su LLM

Un errore di un sistema di intelligenza artificiale in un contesto critico per la sicurezza può costare vite umane. Con l’integrazione dei Large Language Models (LLM) nel decision-making robotico, la dimensione fisica del rischio cresce; una singola istruzione errata può mettere direttamente in pericolo la sicurezza umana. Questo articolo affronta l’urgente necessità di valutare sistematicamente le prestazioni degli LLM in scenari in cui anche errori minori sono catastrofici.

Attraverso una valutazione qualitativa di uno scenario di evacuazione antincendio, sono stati identificati casi di fallimento critici nel decision-making basato su LLM. Sulla base di questi, sono stati progettati sette compiti per la valutazione quantitativa, suddivisi in: Informazioni Complete, Informazioni Incomplete e Ragionamento Spaziale Orientato alla Sicurezza (SOSR). I compiti di informazioni complete utilizzano mappe ASCII per minimizzare l’ambiguità di interpretazione e isolare il ragionamento spaziale dall’elaborazione visiva. I compiti di informazioni incomplete richiedono ai modelli di dedurre il contesto mancante, testando la continuità spaziale rispetto alle allucinazioni. I compiti SOSR utilizzano il linguaggio naturale per valutare il processo decisionale sicuro in contesti in cui la vita è in pericolo. Sono stati confrontati vari LLM e modelli di linguaggio visivo (VLM) in questi compiti.

I risultati rivelano gravi vulnerabilità: diversi modelli hanno ottenuto un tasso di successo dello 0% nella navigazione ASCII, mentre in una simulazione di esercitazione antincendio, i modelli hanno istruito i robot a muoversi verso aree pericolose invece che verso le uscite di emergenza. La conclusione è che gli attuali LLM non sono pronti per l’implementazione diretta in sistemi critici per la sicurezza. Un tasso di accuratezza del 99% è pericolosamente fuorviante in robotica, poiché implica che un’esecuzione su cento potrebbe causare danni catastrofici.

Paper: ArXiv.org