Your memory metric cannot tell a veridical memory from a counterfeit one

La memoria degli agenti viene di solito valutata con una di due classi di strumenti: un giudice LLM che assegna punteggi a testo libero, oppure una sonda di riconoscimento/richiamo. Mostriamo che entrambe, così come sono costruite di norma, falliscono contro due avversari — una memoria contraffatta e un sistema senza memoria che ragiona — e diamo tre controlli di validità che costano poco, più una sonda che li supera.

(1) Controllo con memoria contraffatta. Rieseguiamo un esperimento pre-registrato di iniezione di memoria con un documento di memoria contraffatto, pareggiato per lunghezza e formato. Tre giudici LLM indipendenti (GPT-4.1, Claude Opus 4.7, Gemini 2.5 Pro), applicando la rubrica dello studio originale, non lo rilevano. Sui marcatori d'identità la differenza è +0.032, IC 90% [+0.00, +0.07] — statisticamente equivalente entro il limite pre-registrato di ±0.10. Sul riferimento alla memoria la stima puntuale è −0.006, ma con sette item l'intervallo è [−0.12, +0.11]: nessuna differenza viene rilevata, e nemmeno l'equivalenza è formalmente stabilita — un nullo onesto, non una prova di identità. Misuriamo anche la deriva del giudice: le stesse risposte, rivalutate contro un partner diverso, perdono fino a 0.21 su una scala 0–1, sotto una rubrica che pretende esplicitamente un punteggio assoluto.

(2) Baseline senza memoria. Costruiamo una sonda di riconoscimento (testo veridico contro lo stesso testo con un dettaglio alterato) che sembra eccellente sul modello per cui è stata costruita. Replicata su sette modelli, cinque ottengono il 62–79% senza alcuna memoria: rilevano l'alterazione ragionando, non ricordando. GPT-4.1, con il contesto vuoto, dichiara "Ricordo 'due conversazioni su cinque', non 'quattro'" — a proposito di un giorno che non ha mai vissuto. La sonda non è valida per quei modelli, e la scartiamo.

(3) Alternative simmetriche. Per le sonde di riconoscimento a scelta forzata, le alternative simmetriche danno la condizione di validità più limpida: un sistema senza memoria non dovrebbe superare il caso sfruttando la plausibilità a priori. La istanziamo e verifichiamo che la baseline tenga fra le sonde a cui è stata data risposta. Con questa sonda, su 7 modelli × 2 agenti indipendenti, il documento veridico viene usato (66.7–100%) e il documento con i legami corrotti viene adottato in blocco (0–33%, sistematicamente sotto il caso; Δaccuratezza da +37.5 a +100 punti percentuali; tutte le 14 celle sopravvivono alla correzione di Holm). Nessun modello rileva la corruzione.

Il contributo non è il terzo risultato — che gli agenti adottino una memoria avvelenata è già stabilito — ma il fatto che le due classi di strumenti qui esaminate non l'avrebbero mostrato, e un protocollo che invece lo mostra. Applichiamo i controlli allo studio pubblicato dall'autore stesso e riportiamo la conseguente ritrattazione della sua tesi centrale.

Ogni pre-registrazione è stata hashata (SHA-256) e congelata in locale prima che i dati corrispondenti esistessero, e ogni emendamento è datato — compresi quelli che sono costati all'autore la sua stessa ipotesi.

Questi timestamp non sono notarizzati da terzi: sono una traccia verificabile, non una prova. Lo diciamo perché il punto di questo paper è che un'affermazione che non puoi controllare è un'affermazione a cui non dovresti credere — compresa la nostra.

Il primo paper di questo progetto — Memory, not architecture: persistent structured memory accounts for emergent identity in a Qwen 3.5 27B cognitive ecosystem over 30 days (v0.2, giugno 2026) — è il substrato del §8 qui sopra, e la sua tesi centrale è ritirata. Un errata corrige è in preparazione e non è ancora pubblicato.

Il deposito con DOI è permanente e non può essere depubblicato, ed è giusto così: un archivio che puoi cancellare non è un archivio. È elencato qui invece che sepolto, e le pagine archiviate che ci erano state costruite sopra sono in /it/archivio/.

Se usi i controlli o i dati, cita l'artefatto e ricalcola quello che citi:

Colella, G. (2026). Your memory metric cannot tell a veridical memory from a counterfeit one: three validity checks for the evaluation of agent memory. Draft v2, 14 July 2026. Data and code: kairos-experiment.com/methods.html. Original 30-day study: 10.17605/OSF.IO/WCQRU (central claim withdrawn).