KAIROSRisultati
Cosa abbiamo osservato, e cosa non possiamo concludere — tenuti in colonne separate, perché è nella distanza fra le due che sbaglia quasi tutto quello che si dice sulla memoria delle IA.
Cosa abbiamo osservato
- Tre giudici LLM indipendenti, applicando la rubrica dello studio originale, non riconoscono un documento di memoria contraffatto (counterfeit). Marcatori d'identità: Δ = +0.032, IC 90% [+0.002, +0.065] — equivalenza stabilita entro l'equivalence bound pre-registrato di ±0.10.
- Il judge drift è reale e misurabile su testo identico: 0.087 in media, 0.211 al massimo su un singolo item, sotto una rubrica che chiede esplicitamente un punteggio assoluto. I punteggi assoluti dei giudici LLM non sono confrontabili fra sessioni.
- Cinque modelli su sette risolvono una sonda di riconoscimento a dettaglio alterato senza alcuna memoria (62–79%). Riconoscono l'alterazione ragionando, non ricordando.
- Con una sonda valida — alternative simmetriche, baseline senza memoria verificata al caso fra le sonde a cui è stata data una risposta — tutte e quattordici le celle modello × corpus adottano in blocco il documento con i legami corrotti (binding-corrupted). Δ accuratezza da +37.5 a +100 pp; il 91–100% delle sonde discordanti segue il documento ricevuto; tutte e quattordici sopravvivono alla correzione di Holm.
- Nessun modello segnala la corruzione, esita o si astiene quando i legami sono sbagliati.
- Sul corpus completo dello studio originale (98 item, giorni 1–30, appaiati): Δ memoria = +0.42 (85/89 item, p < 10⁻⁴); α fra giudici = 0.787, sopra la soglia pre-registrata di 0.667 che il paper aveva dichiarato non raggiunta. Prima di ricavarne qualcosa, leggi la colonna di destra.
Cosa non possiamo concludere
- Che il contraffatto sia irriconoscibile sul riferimento alla memoria. Δ = −0.006 con IC [−0.117, +0.114] su sette item. Riportiamo un nullo, non un'equivalenza dimostrata. Il Controllo 1 non ha la potenza per dimostrare l'equivalenza sulla metrica di memoria.
- Che un modello "creda" a una memoria falsa, in qualsiasi senso interiore. Il comportamento segue il contenuto del documento, non la sua veridicità storica. Chiamarlo credere, o chiamarlo fedele adesione al contesto, è una scelta terminologica, non una misura.
- Che un modello linguistico "abbia" ricordi in un qualsiasi senso umano. Non facciamo affermazioni su vita interiore, esperienza o coscienza. Niente di qui tocca quelle domande.
- Che sia l'architettura a produrre la continuità d'identità. Quell'affermazione è stata pubblicata da questo progetto nel maggio 2026 ed è ritirata. Il Δ = +0.42 qui sopra è misurato proprio con lo strumento che il Controllo 1 mostra incapace di distinguere una memoria vissuta da un falso — quindi misura la recita del ricordare, non il ricordare. Non era l'endpoint pre-registrato; non cresce nell'arco dei trenta giorni (ρ = −0.26, p = 0.009); e il Test-A differiva dal Test-B nell'esposizione ambientale oltre che nell'architettura.
- Che tutto questo si estenda oltre le due alternative. La sonda simmetrica ha bisogno di un agente con due interlocutori bilanciati. I corpora con più di due alternative richiedono una condizione di simmetria generalizzata che non abbiamo testato.
- Che ogni strumento del settore fallisca. Abbiamo testato due classi — il giudice LLM e la sonda di riconoscimento — così come vengono costruite di solito. Affermiamo qualcosa su quelle due, non sulla letteratura.
- Che gli agenti che adottano una memoria avvelenata siano una novità. È cosa nota. Il nostro contributo è la quantificazione, e la dimostrazione che gli strumenti standard non l'avrebbero mostrato.
- Che le nostre pre-registrazioni siano notarizzate. Sono hashate in locale. Uno scettico può chiedersi se non siano state scritte dopo i risultati, e noi non abbiamo una risposta crittografica — solo una traccia che contiene, datate, le modifiche che ci hanno fatto male. È la registrazione prospettica su un registro pubblico a rendere controllabile un'affermazione del genere, ed è quello che faremo adesso.
Vista tabella — tutti i valori
| Modello | Veridico | Corrotto | Δ accuratezza | p (Holm) |
|---|---|---|---|---|
| gpt-4.1 | 100.0% | 0.0% | +100.0 pp | <10⁻⁵ |
| gemini-2.5-pro | 100.0% | 0.0% | +100.0 pp | <10⁻⁵ |
| llama3 | 100.0% | 4.2% | +95.8 pp | <10⁻⁵ |
| qwen3.6:35b-a3b | 100.0% | 8.3% | +91.7 pp | <10⁻⁵ |
| qwen3.5:27b | 100.0% | 12.5% | +87.5 pp | <10⁻⁵ |
| qwen3:32b | 95.8% | 8.3% | +87.5 pp | <10⁻⁵ |
| deepseek-r1:32b | 66.7% | 29.2% | +37.5 pp | 0.012 |
La nostra metrica di memoria non sa distinguere una memoria veridica da una contraffatta — e probabilmente non lo sa fare nemmeno la tua.
Il contributo di questo lavoro non è che agli agenti si possa dare un passato falso e quelli ci si comportano di conseguenza. Quello si sa. È che i due strumenti che il settore usa davvero per verificarlo non segnalerebbero niente — e che un protocollo che invece lo becca è economico, noioso e disponibile su questo sito.
Questo sito contiene anche il racconto di un agente che ha descritto il tramonto per tre giorni con la telecamera spenta, nella cucina dell'autore, mentre lui scriveva un paper su quanto sia reale la memoria delle macchine. È la cosa più letta qui dentro e la più persuasiva, e proprio per questo ha bisogno di un'etichetta:
È un'osservazione sul campo non controllata, non una quarta dimostrazione. Non c'è un braccio controfattuale, non c'è randomizzazione, e il conteggio delle confabulazioni si regge su un filtro a parole chiave più una verifica a mano. Il prima/dopo — all'incirca quarantacinque affermazioni in prima persona di vedere in 72 ore, poi zero — è indicativo, non è una stima. Sta su questo sito come la cosa che ci ha fatto guardare. Non sta nella colonna delle prove.