Continual-learning per la Modellazione di Lingue a Scarsa Risorsa da Grandi Modelli Linguistici
Un nuovo studio pubblicato su arXiv (arXiv:2601.05874v1) affronta la sfida della modellazione linguistica per lingue a scarsa risorsa, un problema cruciale nell’ambito dell’intelligenza artificiale. L’articolo esplora l’uso del continual-learning per mitigare il fenomeno della ‘catastrofica dimenticanza’ quando si adattano grandi modelli linguistici (LLM) a lingue con poche risorse. La ricerca si concentra su come preservare le conoscenze acquisite durante l’addestramento di modelli linguistici più piccoli (SLM).
Il principale ostacolo nell’addestramento di SLM per lingue a scarsa risorsa è la catastrofica dimenticanza, ovvero la tendenza del modello a dimenticare le informazioni apprese precedentemente quando vengono introdotti nuovi dati o compiti. Per contrastare questo problema, gli autori propongono una strategia di continual learning che utilizza il code-switching basato sulla classificazione delle parti del discorso (POS), combinato con una tecnica di replay adapter. Questo approccio permette al modello di continuare ad apprendere senza perdere le conoscenze pregresse.
Gli esperimenti condotti hanno coinvolto compiti di visione e linguaggio, come il visual question answering e la modellazione del linguaggio. I risultati dimostrano l’efficacia dell’architettura proposta nel mitigare la catastrofica dimenticanza e nel migliorare le prestazioni dei modelli linguistici per lingue a scarsa risorsa. Questo lavoro rappresenta un passo importante verso lo sviluppo di sistemi di intelligenza artificiale più inclusivi e capaci di comprendere e generare linguaggio in diverse lingue.
Paper: ArXiv.org