Decisioni System One: Runoff e Jeva contro l'ordine delle opzioni

I modelli System One rispondono a domande con opzioni multiple in un solo passaggio di calcolo, e promettono la stessa risposta a parità di domanda. Due nuovi lavori pubblicati su arXiv mostrano che questa promessa si rompe per le domande di scelta. La risposta cambia a seconda dell’ordine delle opzioni presentate. Questa dipendenza dall’ordine delle opzioni aumenta al crescere del numero di alternative. Il primo studio propone Runoff, una correzione applicabile a modelli esistenti; il secondo presenta Jeva, un’architettura costruita da zero per risolvere il problema alla radice. Per chi usa questi sistemi nelle decisioni automatizzate, l’affidabilità della risposta non si può più dare per scontata.

Il problema dell’ordine nelle decisioni dei modelli System One

La ricerca sul modello Runoff mostra che il difetto compare soprattutto quando il modello è incerto tra le prime opzioni in classifica. In quei casi la risposta elencata appare sicura, ma l’ordine delle alternative la cambia. Mediare le risposte sui cambiamenti circolari dell’elenco riduce la dipendenza, senza eliminarla.

La tecnica proposta funziona in due fasi. Prima valuta ogni opzione da sola, per isolare alcune candidate. Poi le confronta inserendo ogni candidato in ogni posizione della lista. Non serve alcun addestramento e bastano due passaggi di calcolo. Per costruzione, la risposta non dipende più dall’ordine delle opzioni.

Cosa cambia con Runoff sui modelli esistenti

Gli autori hanno misurato Runoff in due prove. Nella prima, avvolto attorno a otto modelli System One, Runoff ha eliminato la dipendenza dall’ordine su cinque benchmark di test. Il confronto con la media circolare resta netto: il metodo tradizionale lascia fino al 15,4% di risposte ancora sensibili all’ordine, mentre Runoff non ne modifica alcuna sotto rimescolamento.

La seconda prova riguarda due modelli aperti e cinque dataset. Con 20 opzioni disponibili, il metodo mantiene una precisione quasi identica ed è tre o quattro volte più veloce dell’approccio tradizionale. Il quadro è più netto con un solo dato. Il 9,3% delle risposte cambia sotto rimescolamento con la media circolare. Cioè quasi una su dieci.

Jeva: quattro requisiti per un’architettura decisionale

Il secondo lavoro parte da una critica più ampia. Prevedere una risposta a partire da testo serializzato non rispetta, di per sé, la struttura di un problema decisionale. Gli autori di Jeva individuano quattro requisiti strutturali. Il modello deve distinguere l’assenza di una risposta valida dall’incertezza tra candidate. Deve mantenere la decisione stabile al variare dell’ordine. Deve gestire insiemi di opzioni che crescono senza ridefinire lo spazio di output, e deve poter riutilizzare il calcolo sulle opzioni ricorrenti tra richieste diverse.

L’architettura usa un encoder condiviso che rappresenta separatamente la richiesta e ciascuna opzione. Uno stack decisionale compatto raffina solo lo stato della richiesta. Questo avviene contro una memoria immutabile delle opzioni. La valutazione di ogni opzione è indipendente dalla richiesta. Questo consente di riutilizzarla quando le stesse alternative ricompaiono in contesti nuovi. La latenza si riduce senza cambiare le decisioni.

Nei test, Jeva combina prestazioni solide sulle decisioni con un rilevamento quasi perfetto dei casi senza risposta. Nessuna decisione si è invertita sotto nessuna delle permutazioni testate. Il modello scala fino a migliaia di candidate senza ricalcolare tutto da capo. L’architettura elimina completamente i capovolgimenti di decisione nei test eseguiti.

Perché l’affidabilità delle decisioni automatizzate è in gioco

Le due proposte affrontano lo stesso difetto da direzioni opposte, e la differenza conta per chi deve scegliere una soluzione. Runoff è una correzione esterna: si applica a modelli esistenti senza riaddestrarli, al costo di passaggi di calcolo aggiuntivi controllati. Jeva è una riprogettazione: richiede un’architettura dedicata. Ma ottiene l’invarianza all’ordine, la gestione dei casi senza risposta e il riutilizzo del calcolo come proprietà native, non come cerotto.

Restano aperte le domande di adozione. Runoff è stato provato su otto modelli per la dipendenza dall’ordine e su due modelli aperti per precisione e velocità, con risultati misurati e confrontabili. Jeva presenta valutazioni proprie, ma si tratta di un’architettura nuova, non di un componente aggiunto a sistemi già in produzione. In entrambi i casi, il messaggio per chi usa questi modelli nelle decisioni di routine è lo stesso. Oggi la risposta di un modello System One non è garantita essere la stessa se l’elenco delle opzioni viene rimescolato. La ricerca ha ora due strade documentate per chiudere quella lacuna.

Fonti:

• Consider, Then Choose: Order-Invariant Decisions in System One Models | arxiv.org
• Jeva: System One Models from First Principles | arxiv.org