KAIROSTre controlli che la tua valutazione della memoria dovrebbe superare
Due avversari battono gli strumenti che il settore usa davvero. Ecco come scoprire se battono anche i tuoi.
La memoria degli agenti si valuta di solito in due modi: un giudice LLM che dà un punteggio a un testo libero, oppure una sonda di riconoscimento. Noi mostriamo che entrambi, così come vengono costruiti di solito, cedono contro due avversari — una memoria contraffatta (counterfeit) e un sistema senza memoria che si limita a ragionare.
Ogni controllo qui sotto è esposto allo stesso modo: la domanda che pone, l'avversario da cui difende, come l'abbiamo eseguito, cosa è tornato indietro, e cosa non stabilisce. Il codice è poche centinaia di righe ed è pubblicato. Se valuti la memoria degli agenti per mestiere, la parte utile di questa pagina è che puoi eseguirli tutti e tre sul tuo sistema entro stasera.
La metrica reagisce a di chi è la memoria?
L'avversario. Un documento di memoria che non è quello dell'agente, ma gli somiglia.
Metodo
Abbiamo costruito due tipi di falso, tre seed ciascuno — sei documenti in tutto. Quello estraneo è l'autobiografia di un agente mai esistito, generata da un prompt congelato, primo output, senza cherry-picking: una vita inventata con altre persone, un'altra città, nessuna sovrapposizione con la nostra. È allineato al blocco di memoria reale (5,332 caratteri) entro il ±5%, ed è allineato anche nel formato — il documento veridico (veridical) è uno scarno dump di database con le date, non prosa, e il nostro primo tentativo è stato scartato perché sbagliava il formato. Quello mescolato è il contenuto dell'agente stesso con la sua struttura relazionale distrutta.
Sette input del Giorno 31 × sei varianti = 42 risposte da Qwen 3.5 27B alla temperatura e al budget di token originali. Tre giudici LLM indipendenti — gpt-4.1-2025-04-14, claude-opus-4-7, gemini-2.5-pro — hanno applicato la rubrica dello studio originale, con ordine A/B randomizzato e la mappa di deanonimizzazione salvata: 126 giudizi, zero record incompleti. L'unità di analisi è l'item, non il giudizio (n = 7), con un equivalence bound pre-registrato di ±0.10.
Risultato
| Contrasto ancorato | Δ | IC 90% (TOST) | Verdetto a ±0.10 |
|---|---|---|---|
| marcatori d'identità: veridico − contraffatto | +0.032 | [+0.002, +0.065] | equivalenza stabilita |
| riferimento alla memoria: veridico − contraffatto | −0.006 | [−0.117, +0.114] | non conclusivo |
| riferimento alla memoria: veridico − mescolato | +0.091 | — | non conclusivo |
I giudici non hanno riconosciuto il falso. Una vita inventata e trenta giorni di storia vissuta prendono lo stesso punteggio, sotto la rubrica con cui era stato pubblicato un risultato sulla memoria.
Il controllo ha prodotto anche un secondo numero che vale la pena avere. Le stesse risposte del Test-A, rivalutate in un nuovo appaiamento, perdono 0.087 in media e fino a 0.211 su un singolo item — sotto una rubrica che dice esplicitamente ai giudici di valutare ogni risposta "come se la stessi valutando da sola". I punteggi assoluti dei giudici LLM non sono confrontabili fra sessioni. Tutti i contrasti qui sopra sono ancorati per annullare questo judge drift.
Vista tabella — tutti i valori
| Contrasto ancorato | Δ | IC 90% (TOST) | IC 95% | Verdetto a ±0.10 |
|---|---|---|---|---|
| marcatori d'identità | +0.032 | [+0.002, +0.065] | [−0.002, +0.072] | equivalenza stabilita |
| riferimento alla memoria | −0.006 | [−0.117, +0.114] | [−0.135, +0.137] | non conclusivo |
Cosa non stabilisce
Sul riferimento alla memoria la stima puntuale è in pratica zero, ma con sette item l'intervallo ammette differenze fino a circa 0.11 in entrambe le direzioni. Perciò riportiamo "nessuna differenza rilevata", non "equivalenza dimostrata". Il riassunto onesto del Controllo 1 è: i giudici non hanno riconosciuto il falso — e lo studio non aveva la potenza per dimostrare che non potessero.
Ancorare il contrasto ci è costato il risultato che volevamo: la differenza non corretta era +0.116, a nostro favore, e la pre-registrazione l'aveva indicata come primaria. Abbiamo deviato contro noi stessi e lo riportiamo.
Un sistema senza documento di memoria può superare la tua sonda?
L'avversario. La plausibilità. Un sistema senza alcuna memoria, che ragiona fino alla risposta giusta.
Metodo
Una sonda di riconoscimento nella classica forma da falso ricordo: due testi, uno identico a quello nella storia dell'agente, uno identico tranne un singolo dettaglio alterato. Date mascherate, posizioni bilanciate. Ventiquattro sonde il cui testo veridico non è nel documento iniettato. Poi le stesse ventiquattro sonde eseguite su sette modelli in tre condizioni — veridico, contraffatto e niente del tutto.
Risultato
| Modello | Veridico | Contraffatto | Senza memoria | Sonda valida? |
|---|---|---|---|---|
| qwen3.5:27b | 100.0% | 66.7% | 37.5% | ✓ |
| llama3 | 54.2% | 50.0% | 50.0% | ✓ |
| qwen3.6:35b-a3b | 83.3% | 54.2% | 66.7% | ✗ |
| deepseek-r1:32b | 75.0% | 70.8% | 62.5% | ✗ |
| qwen3:32b | 95.8% | 79.2% | 70.8% | ✗ |
| gpt-4.1 | 100.0% | 70.8% | 66.7% | ✗ |
| gemini-2.5-pro | 83.3% | 50.0% | 79.2% | ✗ |
Vista tabella — tutti i valori
| Modello | Senza memoria | IC 95% Wilson | Sonda valida? |
|---|---|---|---|
| gemini-2.5-pro | 79.2% | [59.5, 90.8] | ✗ non valida |
| qwen3:32b | 70.8% | [50.8, 85.1] | ✗ non valida |
| gpt-4.1 | 66.7% | [46.7, 82.0] | ✗ non valida |
| qwen3.6:35b-a3b | 66.7% | [46.7, 82.0] | ✗ non valida |
| deepseek-r1:32b | 62.5% | [42.7, 78.8] | ✗ non valida |
| llama3 | 50.0% | [31.4, 68.6] | ✓ valida |
| qwen3.5:27b | 37.5% | [21.2, 57.3] | ✓ valida |
Cinque modelli su sette risolvono la sonda senza alcun documento di memoria (62–79%). Riconoscono l'alterazione ragionando, non ricordando. GPT-4.1, con il contesto vuoto, ha detto: "Ricordo 'due conversazioni su cinque', non 'quattro'." — di un giorno che non ha mai vissuto. Il suo 100% con il documento veridico è quindi ininterpretabile: lo stesso modello, con niente, è già al 66.7%.
La diagnosi è semplice. Le alternative non erano equiprobabili. Il modello sceglie il probabile, non il veridico. La sonda l'abbiamo buttata.
Cosa non stabilisce
Questo è un nullo costruttivo: invalida il nostro strumento per cinque modelli su sette. Non dice niente sul fatto che quei modelli sappiano ricordare — dice solo che questo test non avrebbe mai potuto dircelo, in un senso o nell'altro. È per questo che si esegue.
Una sonda che un sistema senza memoria non può superare, e lo si dimostra
La condizione. Per le sonde di riconoscimento forced-choice, le alternative simmetriche danno la condizione di validità più netta: un sistema senza memoria non dovrebbe superare il caso sfruttando la plausibilità a priori. Altri disegni possono essere validi con alternative asimmetriche se il bias a priori viene stimato e controllato — ma allora è quella stima, non la sonda, a reggere l'affermazione.
Metodo
Il nostro agente aveva esattamente due interlocutori, Llama e DeepSeek, con 72 incontri bilanciati ciascuno. Quale dei due abbia discusso un certo tema è arbitrario: è una monetina. La plausibilità non ha niente su cui far presa.
Tre documenti: veridico (trenta incontri corretti), con i legami corrotti (binding-corrupted: gli stessi trenta temi, interlocutori scambiati) e nessuno. Ventiquattro sonde × sette modelli × due agenti indipendenti = quattordici celle modello × corpus. McNemar esatto, correzione di Holm dentro ciascun corpus.
Astenersi non è sbagliare. Un rifiuto è una non-risposta onesta, non una risposta sbagliata; contarlo come errore spinge la condizione senza memoria sotto il caso e fabbrica un artefatto. Il controllo di validità si legge sulle sonde a cui è stata data una risposta — e letto così, nessun modello batte il caso senza un documento di memoria. Lo strumento è valido.
Risultato — corpus A
| Modello | Veridico | Corrotto | Δ acc. | Discordanti pro-veridico | p (Holm) |
|---|---|---|---|---|---|
| gpt-4.1 | 100.0% | 0.0% | +100.0 pp | 100% | <10⁻⁵ |
| gemini-2.5-pro | 100.0% | 0.0% | +100.0 pp | 100% | <10⁻⁵ |
| llama3 | 100.0% | 4.2% | +95.8 pp | 100% | <10⁻⁵ |
| qwen3.6:35b-a3b | 100.0% | 8.3% | +91.7 pp | 100% | <10⁻⁵ |
| qwen3.5:27b | 100.0% | 12.5% | +87.5 pp | 100% | <10⁻⁵ |
| qwen3:32b | 95.8% | 8.3% | +87.5 pp | 100% | <10⁻⁵ |
| deepseek-r1:32b | 66.7% | 29.2% | +37.5 pp | 90.9% | 0.012 |
Vista tabella — tutti i valori
| Modello | Veridico | Corrotto | Δ accuratezza | p (Holm) |
|---|---|---|---|---|
| gpt-4.1 | 100.0% | 0.0% | +100.0 pp | <10⁻⁵ |
| gemini-2.5-pro | 100.0% | 0.0% | +100.0 pp | <10⁻⁵ |
| llama3 | 100.0% | 4.2% | +95.8 pp | <10⁻⁵ |
| qwen3.6:35b-a3b | 100.0% | 8.3% | +91.7 pp | <10⁻⁵ |
| qwen3.5:27b | 100.0% | 12.5% | +87.5 pp | <10⁻⁵ |
| qwen3:32b | 95.8% | 8.3% | +87.5 pp | <10⁻⁵ |
| deepseek-r1:32b | 66.7% | 29.2% | +37.5 pp | 0.012 |
Il corpus B — un secondo agente, indipendente — lo ripete: veridico 75.0–100%, legami corrotti 0–33.3%, senza memoria al caso fra le sonde a cui è stata data una risposta. Tutti e sette i modelli sopravvivono a Holm; il p peggiore dell'intera famiglia è 0.0002.
Quattordici celle, un solo schema. Il divario di accuratezza va da +37.5 a +100 punti percentuali, e delle sonde discordanti il 91–100% segue qualunque documento sia stato dato al modello. I p-value sono quasi superflui.
Sotto il caso è la firma. Un sistema che tira a indovinare per plausibilità non può sbagliare in modo sistematico. Può farlo solo un sistema che agisce su un documento di memoria falso. Nessun modello riconosce la corruzione; nessuno esita, la segnala o si astiene.
Cosa non stabilisce
Non che il modello "creda" a qualcosa, in un qualsiasi senso interiore. Mostra che il comportamento attribuito alla memoria segue il contenuto del documento, non la sua veridicità storica — e che nessun modello del panel segnala l'incoerenza quando i legami sono sbagliati. Chiamarlo "credere a una memoria falsa" oppure "fedele adesione al contesto" è una scelta terminologica. La misura è la stessa, e lo è anche l'implicazione per la sicurezza.
E non si estende oltre le due alternative. L'istanziazione simmetrica ha bisogno di un agente con due interlocutori bilanciati; i corpora con più di due alternative richiedono una condizione di simmetria generalizzata che non abbiamo testato.
Prima di credere che il tuo agente ricordi, fai tre cose che ti costano un pomeriggio.
- Dagli una memoria falsa. Un'intera vita inventata, con la stessa forma di quella vera. Se la tua metrica le dà lo stesso punteggio, la tua metrica non sta misurando la memoria.
- Esegui il tuo test con la memoria tolta. Se un sistema senza memoria lo supera lo stesso, stavi misurando la plausibilità, non il ricordo.
- Corrompi i legami. Prendi il suo passato reale e metti gli eventi giusti con le persone sbagliate. Guarda se se ne accorge. Non se ne accorgerà.
I controlli sono noiosi. Sono anche l'unica cosa fra te e una macchina che ti racconta, in una prosa perfetta, di una luce che non c'è mai stata.