0,8 secondi più lunghi del previsto. È stato questo che mi ha fatto fermare.
La risposta è tornata da Mira, ma non immediatamente. Ero abituato a risposte di modelli singoli che apparivano quasi istantaneamente. Qui c'era questo leggero ritardo. Niente di drammatico. Giusto il tempo necessario per controllare la console due volte per vedere se qualcosa si era bloccato.
Non era così.
Tre validatori avevano risposto. Uno ha segnalato una rivendicazione riguardo a una scadenza normativa. Un altro modello ha contrassegnato la stessa frase come “bassa fiducia.” Il modello originale sembrava completamente sicuro a riguardo. Stile di allucinazione classico. Tono sicuro. Formulazione pulita. Data totalmente sbagliata.
La parte strana non era che l'errore fosse avvenuto. Lo vedo costantemente con modelli più grandi. Ciò che mi ha sorpreso è stato il modo in cui è emersa la disaccordo.
Invece di cercare di “sembrare più intelligente,” il sistema sostanzialmente ha rallentato e ha chiesto ad altri modelli cosa ne pensassero. Non decine. Solo un piccolo quorum. Tre su cinque soglia di accordo su quella rivendicazione. La frase è stata declassata.
Quel piccolo meccanismo cambia il modello di fallimento.
Con modelli autonomi più grandi, le allucinazioni di solito aumentano con la fiducia. Più il modello suona bene, più è difficile rilevare quando ha torto. Qui il tono è diventato effettivamente leggermente imbarazzante quando i modelli non erano d'accordo. Si poteva vedere l'incertezza trapelare nell'output.
È meno elegante.
Ma forse questo è il punto.
L'accuratezza non è arrivata dal rendere il modello più grande. È arrivata dal lasciare che altri modelli discutessero con esso per circa 600 millisecondi prima che la risposta fosse finalizzata. Che non è molto tempo... ma apparentemente abbastanza lungo perché un'allucinazione perdesse la sua autorità.