VIB-Probe: Rilevamento e Mitigazione delle Allucinazioni nei Modelli Vision-Language tramite il Variational Information Bottleneck
I modelli Vision-Language (VLM) hanno dimostrato progressi notevoli nei compiti multimodali, ma rimangono suscettibili alle allucinazioni, dove il testo generato devia dal contenuto visivo sottostante. I metodi esistenti per il rilevamento delle allucinazioni si basano principalmente sui logit di output o su strumenti di verifica esterni, spesso trascurando i loro meccanismi interni. In questo lavoro, si indagano gli output delle teste di attenzione interne, postulando che specifiche teste portino i segnali primari per la generazione veritiera. Tuttavia, sondare direttamente questi stati ad alta dimensionalità è difficile a causa dell’entanglement della sintassi visivo-linguistica e del rumore. Per affrontare questo problema, proponiamo VIB-Probe, un nuovo framework di rilevamento e mitigazione delle allucinazioni che sfrutta la teoria del Variational Information Bottleneck (VIB). Il nostro metodo estrae modelli discriminatori attraverso livelli e teste, filtrando al contempo i disturbi semantici attraverso il principio del bottleneck informativo. Inoltre, sfruttando i gradienti del nostro probe VIB, identifichiamo le teste di attenzione con una forte influenza causale sulle allucinazioni e introduciamo una strategia di intervento in fase di inferenza per la mitigazione delle allucinazioni. Ampie sperimentazioni su diversi benchmark dimostrano che VIB-Probe supera significativamente le baseline esistenti in entrambe le impostazioni. Il nostro codice sarà reso pubblicamente disponibile.
Paper: ArXiv.org