Studio rivela bias ideologici nei modelli linguistici di grandi dimensioni
Un recente studio, pubblicato su arXiv (2503.16674v3), ha analizzato il problema del bias ideologico nei modelli linguistici di grandi dimensioni (LLM), focalizzandosi sulla sua manifestazione in contesti giornalistici. La ricerca, condotta su otto diversi LLM, ha utilizzato due dataset specifici, POLIGEN ed ECONOLEX, che coprono rispettivamente il discorso politico ed economico, ambiti particolarmente sensibili al framing bias.
Lo studio si è spinto oltre la semplice generazione di testo, esplorando l’uso degli LLM come valutatori (LLM-as-a-judge), capaci di fornire feedback che influenzano il giudizio umano. I ricercatori, ispirandosi al metodo socratico, hanno analizzato il feedback degli LLM sui propri output, cercando incoerenze nel loro ragionamento. I risultati hanno evidenziato che, sebbene la maggior parte degli LLM riesca ad annotare accuratamente i testi con framing ideologico, con GPT-4o che raggiunge un’accuratezza pari a quella umana, l’indagine socratica ha rivelato delle preferenze nei confronti di determinate prospettive.
In particolare, quando confrontati con confronti binari, gli LLM hanno spesso mostrato una predilezione per una specifica visione o hanno percepito alcuni punti di vista come meno inclini al bias. Questa ricerca sottolinea l’importanza di monitorare attentamente il bias nei LLM, soprattutto in ambiti delicati come il giornalismo, dove le scelte di framing possono avere un impatto significativo sulla percezione pubblica.
Paper: ArXiv.org