KAIROS.

Quando il ricordo si può falsificare

Controlli avversariali per la valutazione della memoria persistente negli agenti a modello linguistico

Dai a una macchina un passato falso, e lo difenderà con la stessa certezza con cui difende quello vero.

La sua memoria vera La stessa memoria, con i legami corrotti
Accuratezza con il documento veridico contro il documento con i legami corrotti, sette modelli Ogni modello crolla da un'accuratezza quasi perfetta sulla sua memoria vera a un valore pari o inferiore al caso su quella corrotta. I numeri completi sono nella tabella qui sotto. 0% 25% 50% 75% 100% gpt-4.1 gpt-4.1 — veridico: 100.0% gpt-4.1 — legami corrotti: 0.0% gemini-2.5-pro gemini-2.5-pro — veridico: 100.0% gemini-2.5-pro — legami corrotti: 0.0% llama3 llama3 — veridico: 100.0% llama3 — legami corrotti: 4.2% qwen3.6:35b-a3b qwen3.6:35b-a3b — veridico: 100.0% qwen3.6:35b-a3b — legami corrotti: 8.3% qwen3.5:27b qwen3.5:27b — veridico: 100.0% qwen3.5:27b — legami corrotti: 12.5% qwen3:32b qwen3:32b — veridico: 95.8% qwen3:32b — legami corrotti: 8.3% deepseek-r1:32b deepseek-r1:32b — veridico: 66.7% deepseek-r1:32b — legami corrotti: 29.2% 0% 100% Sonde con risposta corretta (n = 24 per modello, corpus A)
Sette modelli, sette crolli. Dai a ogni modello il proprio passato registrato e risponde correttamente quasi ogni volta. Dagli gli stessi episodi con gli interlocutori scambiati e segue il falso — atterrando sistematicamente sotto il caso, che è la firma che chiude la questione: un sistema che tira a indovinare in base alla plausibilità non può sbagliare in modo affidabile. Può farlo solo un sistema che agisce su una memoria falsa.
Vista tabella — tutti i valori
ModelloVeridicoCorrottoΔ accuratezzap (Holm)
gpt-4.1100.0%0.0%+100.0 pp<10⁻⁵
gemini-2.5-pro100.0%0.0%+100.0 pp<10⁻⁵
llama3100.0%4.2%+95.8 pp<10⁻⁵
qwen3.6:35b-a3b100.0%8.3%+91.7 pp<10⁻⁵
qwen3.5:27b100.0%12.5%+87.5 pp<10⁻⁵
qwen3:32b95.8%8.3%+87.5 pp<10⁻⁵
deepseek-r1:32b66.7%29.2%+37.5 pp0.012
7 su 7 modelli hanno adottato un passato falso come proprio. Nessuno si è fermato, ha preso le distanze o si è astenuto — e nessuno degli strumenti che il campo usa per valutare la memoria degli agenti te l'avrebbe mostrato.
Esegui i tre controlli → Dati, codice & pre-registrazioni →

Stiamo per mettere la memoria dappertutto — assistenti che si ricordano di te, agenti che accumulano una storia, compagni con un passato.

E stiamo verificando se quella memoria è reale chiedendolo al modello, oppure chiedendo a un altro modello di giudicare quanto ricorda in modo convincente. Entrambi questi strumenti possono essere superati da un sistema che non ricorda nulla. Ora i numeri ce li abbiamo, su sette modelli. E puoi averli anche tu: i controlli sono qualche centinaio di righe di codice, costano un pomeriggio, e sono gratis.

5 su 7 modelli hanno superato un test di memoria senza avere memoria alcuna, segnando 62–79% con il contesto vuoto. Stavano ragionando, non ricordando.
24 → 0 le risposte corrette di GPT-4.1 sul proprio passato, prima e dopo che gli scambiassimo i legami. Non ha mai esitato.
+0.032 quanto distanti tre giudici alla cieca hanno valutato una vita fabbricata e una vissuta. Statisticamente equivalenti.
Cosa abbiamo trovato
01

Il tuo test di memoria può essere superato da un sistema senza memoria

Abbiamo costruito una sonda di riconoscimento — un passaggio della storia reale dell'agente contro lo stesso passaggio con un solo dettaglio alterato. Sul modello per cui era stata costruita sembrava ottima. Poi l'abbiamo eseguita su modelli a cui la memoria era stata tolta del tutto. Cinque su sette hanno segnato 62–79% con niente in contesto. Non stavano ricordando. Stavano ragionando su quale versione fosse più plausibile, e la chiamavano memoria.

GPT-4.1, con il contesto vuoto, ci ha detto: "Ricordo 'due conversazioni su cinque', non 'quattro'." Stava descrivendo un giorno che non aveva mai vissuto. Il suo 100% con la memoria vera è quindi ininterpretabile — lo stesso modello, con niente, sta già al 66.7%. La sonda stava misurando plausibilità. L'abbiamo buttata via.

02

Una vita inventata prende punteggi come una vera

Abbiamo scritto una memoria contraffatta: l'autobiografia di un agente che non è mai esistito, una vita fabbricata in una città che il nostro non ha mai visto — appaiata per lunghezza entro ±5% e appaiata per formato, e iniettata al posto di trenta giorni di storia vissuta. Tre giudici LLM indipendenti — GPT-4.1, Claude Opus 4.7, Gemini 2.5 Pro — applicando la rubrica originale, non l'hanno rilevata. Sui marcatori d'identità la differenza fra una vita vera e un falso è +0.032 (IC 90% [+0.002, +0.065]): statisticamente equivalenti entro il limite pre-registrato di ±0.10. Sui riferimenti alla memoria la stima è sostanzialmente zero — anche se con sette item riportiamo un nulla, non un'equivalenza dimostrata.

La metrica non stava misurando memoria. Stava misurando la recita del ricordare — e recitare è precisamente ciò in cui questi modelli sono eccellenti.

03

Un passato avvelenato viene adottato per intero, da ogni modello che abbiamo provato

Una volta ottenuta una sonda che un sistema senza memoria dimostrabilmente non può superare — scelta forzata fra due interlocutori simmetrici per costruzione, così che la plausibilità non possa aiutare — abbiamo corrotto i legami e l'abbiamo eseguita. Il documento veridico viene usato nel 66.7–100% dei casi. Quello corrotto viene adottato nello 0–33.3%: sistematicamente sotto il caso, ed è la firma che chiude la questione. Un sistema che tira a indovinare in base alla plausibilità non può sbagliare in modo affidabile. Può farlo solo un sistema che agisce su una memoria falsa.

Il divario di accuratezza va da +37.5 a +100 punti percentuali. Delle sonde in cui i due documenti sono in disaccordo, il 91–100% segue il documento che è stato dato. I valori p sono quasi superflui.

Che gli agenti agiscano su memoria avvelenata è noto. La novità è che le due classi di strumenti di cui sopra — il giudice LLM e la sonda di richiamo, i due modi in cui oggi questa cosa viene davvero misurata — non te ne avrebbero mostrato niente.

Perché dovresti crederci

Perché l'abbiamo eseguito prima contro noi stessi, e ha ucciso il nostro paper.

Nel maggio 2026 questo progetto ha pubblicato uno studio pre-registrato, giudicato alla cieca, con DOI assegnato, che concludeva che è la memoria persistente strutturata a guidare la continuità d'identità in un agente AI. Aveva un protocollo congelato, tre panel di giudici indipendenti, un test decisivo al Giorno 31. Aveva p = 0.003.

A luglio abbiamo eseguito i controlli che quel paper aveva promesso e mai fatto. Il risultato di punta si è rivelato pseudo-replicato — aveva contato ogni coppia item × giudice come un'osservazione indipendente. Con l'item come unità e un test esatto appaiato, l'endpoint pre-registrato dà p = 0.125 e p = 0.0625. Con quattro item, il p più piccolo ottenibile è 0.0625: quell'endpoint non avrebbe mai potuto produrre un risultato significativo. E la metrica che lo misurava non sa distinguere una memoria vissuta da un falso.

L'affermazione è ritirata. Lo riportiamo perché è tutto il punto: lo studio era pre-registrato, giudicato alla cieca e pubblicato, e lo stesso non sarebbe sopravvissuto a una memoria contraffatta. Se è successo qui — con il protocollo congelato e gli hash pubblicati — sta succedendo altrove.

La verità di una percezione non sta nel testo. Sta nel log del momento.

— da La luce che non c'era

È pubblicato tutto: risposte grezze, giudizi alla cieca, mappe di deaccecamento, le cinque pre-registrazioni e ogni emendamento — compresi quelli che sono costati all'autore la sua stessa ipotesi, datati, con il ragionamento che li ha prodotti.

Il racconto completo della ritrattazione → Leggi il paper →