Modelli linguistici

Continual-learning per la Modellazione di Lingue a Scarsa Risorsa da Grandi Modelli Linguistici

by

Continual-learning per la Modellazione di Lingue a Scarsa Risorsa da Grandi Modelli Linguistici

Un nuovo studio pubblicato su arXiv (arXiv:2601.05874v1) affronta la sfida della modellazione linguistica per lingue a scarsa risorsa, un problema cruciale nell’ambito dell’intelligenza artificiale. L’articolo esplora l’uso del continual-learning per mitigare il fenomeno della ‘catastrofica dimenticanza’ quando si adattano grandi modelli linguistici (LLM) a lingue con poche risorse. La ricerca si concentra su come preservare le conoscenze acquisite durante l’addestramento di modelli linguistici più piccoli (SLM).

Il principale ostacolo nell’addestramento di SLM per lingue a scarsa risorsa è la catastrofica dimenticanza, ovvero la tendenza del modello a dimenticare le informazioni apprese precedentemente quando vengono introdotti nuovi dati o compiti. Per contrastare questo problema, gli autori propongono una strategia di continual learning che utilizza il code-switching basato sulla classificazione delle parti del discorso (POS), combinato con una tecnica di replay adapter. Questo approccio permette al modello di continuare ad apprendere senza perdere le conoscenze pregresse.

Gli esperimenti condotti hanno coinvolto compiti di visione e linguaggio, come il visual question answering e la modellazione del linguaggio. I risultati dimostrano l’efficacia dell’architettura proposta nel mitigare la catastrofica dimenticanza e nel migliorare le prestazioni dei modelli linguistici per lingue a scarsa risorsa. Questo lavoro rappresenta un passo importante verso lo sviluppo di sistemi di intelligenza artificiale più inclusivi e capaci di comprendere e generare linguaggio in diverse lingue.

Paper: ArXiv.org

Analisi delle differenze nel linguaggio persuasivo generato dai modelli linguistici di grandi dimensioni: scoperta di schemi di genere stereotipati

by

Nuovo studio rivela pregiudizi di genere nel linguaggio persuasivo dei modelli linguistici

Un recente studio pubblicato su arXiv (2601.05751v1) ha esaminato come i modelli linguistici di grandi dimensioni (LLM) generino linguaggio persuasivo, con particolare attenzione alle differenze legate al genere. La ricerca, condotta su 13 LLM e 16 lingue, ha rivelato schemi significativi di genere nel linguaggio persuasivo prodotto.

Lo studio ha impiegato un framework per valutare l’impatto del genere del destinatario, dell’intento del mittente e della lingua di output sulla generazione di linguaggio persuasivo. I risultati hanno mostrato che le risposte dei modelli presentano variazioni significative basate sul genere, riflettendo pregiudizi coerenti con le tendenze linguistiche stereotipate di genere documentate in psicologia sociale e sociolinguistica.

L’utilizzo crescente degli LLM nella comunicazione quotidiana, compresa la stesura di messaggi persuasivi, rende cruciale comprendere come le istruzioni degli utenti influenzino la generazione del linguaggio persuasivo e se questo linguaggio differisca a seconda del gruppo target. Questo studio fornisce un’analisi dettagliata di queste dinamiche, evidenziando la necessità di affrontare i pregiudizi di genere nei modelli linguistici.

Paper: ArXiv.org

Possono i modelli linguistici di grandi dimensioni interpretare i dati non strutturati delle chat sui processi decisionali dinamici di gruppo? Evidenze sulla scelta congiunta della destinazione

by

Nuove frontiere nell’analisi dei processi decisionali di gruppo

La ricerca pubblicata su arXiv (arXiv:2601.05582v1) esplora l’utilizzo dei modelli linguistici di grandi dimensioni (LLM) per interpretare i dati non strutturati provenienti dalle chat, con l’obiettivo di comprendere i processi decisionali dinamici all’interno dei gruppi. Lo studio si concentra in particolare sulle scelte congiunte, come la decisione di dove mangiare fuori, prendendo come caso di studio i dati relativi alle attività di ristorazione in Giappone.

Tradizionalmente, l’osservazione dei processi decisionali di gruppo è complessa. L’avvento di nuovi tipi di dati, come le chat non strutturate, offre una nuova prospettiva. Tuttavia, l’interpretazione di questi dati richiede l’inferenza di fattori espliciti e impliciti, un compito che spesso implica l’annotazione manuale dei dialoghi. I ricercatori hanno sviluppato un framework basato su LLM ispirato al processo di acquisizione della conoscenza, che estrae sequenzialmente i fattori decisionali chiave. Questo processo strutturato guida l’LLM nell’interpretazione dei dati delle chat, convertendo i dialoghi non strutturati in dati tabulari strutturati.

I risultati dimostrano che, sebbene gli LLM catturino in modo affidabile i fattori decisionali espliciti, hanno difficoltà a identificare i fattori impliciti e sfumati che gli annotatori umani identificano facilmente. Lo studio evidenzia i contesti specifici in cui l’estrazione basata su LLM può essere considerata affidabile, evidenziando i limiti attuali e suggerendo dove l’intervento umano rimane essenziale. Questi risultati sottolineano sia il potenziale che i limiti dell’analisi basata su LLM nell’incorporare fonti di dati non tradizionali sulle attività sociali.

Paper: ArXiv.org

Tracciare le Fondamenta Morali nei Modelli Linguistici di Grandi Dimensioni

by

Nuova Ricerca su arXiv: Tracing Moral Foundations in Large Language Models

Un recente studio pubblicato su arXiv (2601.05437v1) esplora il modo in cui i modelli linguistici di grandi dimensioni (LLM) processano e rappresentano la moralità. L’indagine, condotta utilizzando la Moral Foundations Theory (MFT) come quadro di riferimento, analizza come i concetti morali sono codificati, organizzati ed espressi all’interno di due LLM istruiti: Llama-3.1-8B-Instruct e Qwen2.5-7B-Instruct.

Gli autori hanno impiegato un approccio multi-livello che include l’analisi layer-wise delle rappresentazioni dei concetti MFT e il loro allineamento con le percezioni morali umane, l’uso di autoencoder sparsi pre-addestrati per identificare caratteristiche sparse che supportano i concetti morali e interventi di causal steering utilizzando vettori MFT densi e caratteristiche SAE sparse. I risultati suggeriscono che entrambi i modelli rappresentano e distinguono le fondamenta morali in modo strutturato e dipendente dal layer, in linea con i giudizi umani.

A una scala più fine, le caratteristiche SAE mostrano chiari collegamenti semantici a fondamenti specifici, suggerendo meccanismi parzialmente disattivati all’interno di rappresentazioni condivise. Gli interventi di steering, sia con vettori densi che con caratteristiche sparse, producono cambiamenti prevedibili nel comportamento rilevante per le fondamenta morali, dimostrando una connessione causale tra le rappresentazioni interne e gli output morali. Questo studio fornisce prove meccanicistiche che i concetti morali negli LLM sono distribuiti, stratificati e in parte disattivati, suggerendo che una struttura morale pluralistica può emergere come un modello latente dalle regolarità statistiche del linguaggio.

Paper: ArXiv.org