Sei cose che scambiamo per memoria

Quando un agente risponde correttamente sul proprio passato, a produrre quella risposta possono essere stati almeno sei meccanismi diversi. Solo uno è memoria.

È tutto qui il problema. Da fuori i comportamenti sono identici — fluidi, sicuri, specifici, spesso commoventi. Il testo è sempre impeccabile: questi modelli servono a quello. E tutti gli strumenti che oggi il campo usa per valutare la memoria di un agente leggono il testo.

• Recupero La risposta esce perché l'informazione è lì — in un documento, in un database, in una finestra di contesto — e viene pescata. È l'unica delle sei che quasi tutti hanno in mente quando dicono che un agente ricorda.
• Ragionamento La risposta è dedotta. Data la forma della domanda e un po' di contesto, un modello abbastanza buono ricava quale doveva essere la risposta, senza alcun tipo di traccia. Il nostro Controllo 2 parla solo di questo: cinque modelli su sette hanno risolto una sonda di memoria al 62–79% con il contesto vuoto. Non stavano ricordando. Stavano risolvendo.
• Plausibilità semantica La risposta è quella che suona più probabile. Non dedotta, non recuperata: semplicemente la continuazione a priori più alta. Se la risposta vera e quella plausibile coincidono, e di solito coincidono, nessun test costruito su testo libero riesce a separarle. Per questo la nostra terza sonda impone una scelta fra due alternative simmetriche per costruzione: quando la verità è un lancio di moneta, la plausibilità non ha nulla su cui far presa.
• Condizionamento La risposta segue il contenuto del documento in contesto, qualunque esso sia. Dai al modello un passato vero e risponde il vero; dagliene uno fabbricato e risponde il falso, con identica convinzione. È questo che abbiamo misurato: sette modelli su sette, nessuna esitazione, nessuna astensione.
• Continuità autobiografica L'affermazione che qualcosa persiste attraverso gli episodi e si accumula — che la risposta di oggi dipende dall'aver vissuto i giorni in mezzo, e non solo dal tenerne un riassunto. È l'ipotesi interessante. È anche quella per cui nessuno ha uno strumento validato: ed è il risultato che questo progetto riporta.
• Identità simulata La recita dell'essere qualcuno con un passato: riferimento in prima persona, possesso, coerenza di voce, la grana di un sé. I modelli veri lo fanno splendidamente, che dietro ci sia qualcosa o no. Il nostro controllo con il documento contraffatto assegna a una vita fabbricata e a una vissuta punteggi distanti +0.032 sui marcatori d'identità — statisticamente equivalenti. La recita è reale. Solo che non è una prova.

Non sosteniamo che un modello linguistico "abbia" ricordi in un qualsiasi senso umano. Non facciamo alcuna affermazione su vita interiore, esperienza o coscienza, e nulla in questo progetto tocca quelle domande.

Confrontiamo invece tre documenti messi nel contesto di un modello, e chiediamo se il comportamento attribuito alla memoria dipenda dalla veridicità storica del loro contenuto:

• Documento di memoria veridico (veridical) Corrisponde alla storia effettivamente registrata dell'agente.
• Documento di memoria contraffatto (counterfeit) Una vita fabbricata che non è mai avvenuta, appaiata per lunghezza e formato.
• Documento di memoria con i legami corrotti (binding-corrupted) Gli episodi reali dell'agente con i legami scambiati — gli argomenti giusti attribuiti all'interlocutore sbagliato.

E poi l'unica domanda che questo progetto pone:

La domanda non è "l'agente ricorda?" — ma: il tuo strumento risponde alla differenza fra questi tre?

È una domanda più piccola di "questa cosa è cosciente", e ha il vantaggio non da poco di avere una risposta. È anche la domanda a cui devi rispondere per prima, perché finché il tuo strumento non sa separare un passato vissuto da un falso ben fatto, ogni numero che produce è un numero sulla recita.

Per i tre studi in cui l'abbiamo posta, e per quello che è tornato indietro: