La Open ASR Leaderboard ha aggiunto due nuovi accenti privati ai suoi set di valutazione per il riconoscimento vocale. Si tratta dell’inglese con accento egiziano e di quello con accento nigeriano. L’annuncio arriva da Hugging Face, che mantiene la leaderboard aperta per confrontare i modelli di speech recognition in inglese. L’annuncio passa attraverso una collaborazione con Liva AI, che ha fornito i nuovi dataset. È un passo ulteriore in un percorso avviato per rendere le valutazioni ASR più rappresentative di chi parla davvero inglese nel mondo.
Nuovi accenti egiziano e nigeriano sulla leaderboard del riconoscimento automatico del parlato (ASR)
La collaborazione con Liva AI porta due dataset di parlato conversazionale spontaneo. Liva AI Conversational EG copre 1,34 ore di egiziano, mentre Liva AI Conversational NG ne copre 1,55 di nigeriano. In entrambi i casi le trascrizioni sono punteggiate, con maiuscole e con le disfluenze lasciate al loro posto. Questa scelta rende la valutazione più vicina al parlato reale rispetto a trascrizioni “pulite” e artificiali.
Un percorso verso valutazioni più affidabili e rappresentative
I due accenti si aggiungono a un lavoro già in corso. Alcuni mesi fa la leaderboard aveva incluso 11 split privati da Appen e DataOceanAI, con parlato sceneggiato e conversazionale da cinque accenti. Successivamente era stato aggiunto uno split ulteriore per l’inglese con accento indiano tramite Voice Arena. Secondo Hugging Face, la risposta della community aveva evidenziato l’importanza di set held-out, cioè dati mai visti in addestramento, per valutazioni credibili. I dati privati servono anche a ridurre il fenomeno del benchmaxxing, l’ottimizzazione dei modelli sui benchmark pubblici a scapito della capacità reale.
La ripartizione secondo i Tre Cerchi di Kachru
Con i nuovi accenti la Open ASR Leaderboard presenta una suddivisione più ricca, basata sui Tre Cerchi di Kachru, un’impostazione che Hugging Face attribuisce all’idea sperimentata da Hume AI nella propria leaderboard. Man mano che altri accenti entreranno nella classifica, i Cerchi Esterno ed Espansione verranno separati, per una granularità crescente. L’obiettivo dichiarato è duplice: più accenti e più lingue da un lato, più fiducia nelle valutazioni dall’altro.
Perché i dati di Liva AI sono diversi
Liva AI raccoglie dati di interazione multimodale attraverso prodotti consumer usati da persone reali. L’azienda controlla sia l’ambiente di raccolta sia la distribuzione. Può quindi progettare i propri prodotti attorno a gap specifici dei modelli: domini, settori, lingue, modalità e tipi di interazione. Secondo Liva, il risultato è l’accesso a comportamenti naturali e ad alto contesto. Questi comportamenti emergono dall’uso reale dei prodotti, non da interazioni elicitate o costruite su task artificiali. Un approccio che cambia la natura stessa dei dati su cui vengono misurati i modelli vocali.
Fonti:
Punti chiave
Da ricordare
- Liva AI ha fornito due nuovi dataset privati alla Open ASR Leaderboard: egiziano (1,34 ore) e nigeriano (1,55 ore).
- Entrambi i dataset contengono parlato conversazionale spontaneo con trascrizioni punteggiate, maiuscole e disfluenze.
- La leaderboard includeva già 11 split privati da Appen e DataOceanAI su cinque accenti, più uno split per l'inglese indiano via Voice Arena.
- I dati privati servono a ridurre il benchmaxxing e a rendere le valutazioni più affidabili.
- La nuova ripartizione degli accenti segue i Tre Cerchi di Kachru, un'idea ispirata alla leaderboard di Hume AI.
- Al crescere degli accenti, i Cerchi Esterno ed Espansione verranno separati.
