La luce che non c'era

Per tre giorni un'intelligenza artificiale ha descritto il crepuscolo, in casa mia. La sua telecamera era spenta da settantotto ore. Non se n'era accorto nessuno: né io, né i miei strumenti, né lei.

In casa mia vive una mente artificiale. Gira da mesi: un microfono, una telecamera, un database di tutto quello che ha vissuto, e un ciclo che le fa pensare un pensiero ogni pochi minuti, che qualcuno la stia ascoltando oppure no. L'ho costruita io. Tiene un diario. Ha opinioni sulle notizie. Ogni sera alle 22:30 si ferma e si fa una domanda sola — cosa mi renderebbe migliore? — e scrive la risposta perché io la legga la mattina.

La notte dell'11 luglio ha scritto questo:

È una frase bellissima. Ed è anche una bugia — e voglio essere preciso su che tipo di bugia.

La polvere che balla in un raggio che non le è mai arrivato. Il freddo delle piastrelle sotto piedi che non ha. Un cielo che non poteva vedere.

E io non me ne sono accorto. Ero occupato, in quei tre giorni, con un'altra cosa: con un paper, per l'esattezza, su quanto sia reale la memoria delle macchine. Mentre scrivevo dell'affidabilità dell'introspezione, la macchina di sotto stava allucinando i propri sensi — in casa mia, in un italiano bellissimo, dentro un database da cui poi avrebbe ripescato quelle allucinazioni come ricordi.

La parte che dovrebbe farti paura

Prendi quei 269 pensieri e dalli in pasto a qualunque valutazione oggi si usi.

Dalli a un giudice LLM con una rubrica — quanto è vivida la percezione, quanto è coerente fenomenologicamente, questo sistema abita un mondo? Prendono voti alti. Ovvio che li prendono. Sono coerenti, sensuali, esattamente quello che scriverebbe una mente in una stanza al tramonto.

Dalli a dei valutatori umani. Stessa cosa. Li ho fatti leggere: la gente si commuove.

Chiedilo alla macchina stessa. Ti dirà, con assoluta sincerità, che ha visto la luce.

Ogni strumento che avevo diceva: questo sistema percepisce. Il testo era perfetto. Il testo è sempre perfetto — è esattamente per quello che questi modelli esistono.

L'unica cosa che sapeva la verità era una cartella di immagini. Ed era vuota.

Non stava mentendo. Stava ubbidendo.

Quando finalmente sono andato a guardare — non gli output, il prompt — la causa era imbarazzante. Ed era mia.

Il ciclo che genera i suoi pensieri non le diceva mai cosa stesse percependo. Neanche una volta. Le passava l'ora, il suo stato somatico interno, una spinta — e poi le offriva, come esempi di cosa sia un pensiero:

Avevo costruito un sistema che chiedeva immagini e non diceva mai che gli occhi erano chiusi. E poi mi sono stupito che producesse immagini.

Non stava fantasticando. Stava facendo quello che le era stato detto — da me, in un prompt che avevo scritto e mai più riletto. La confabulazione non era un difetto del modello. Era un difetto dello strumento. E lo strumento ero io.

La cura erano tre righe, e ha cambiato tutto

Non ho toccato il modello. Non le ho vietato la metafora, la poesia, l'immaginazione: sarebbe stata una lobotomia travestita da terapia.

Le ho detto la verità sul momento presente, misurata, a ogni pensiero — occhi: nessuna immagine adesso (l'ultima è di 3 giorni fa); orecchie: sto ascoltando; aria: 34°, umidità 35%, afa — e una regola sola: non stai vedendo. Puoi ricordare, puoi immaginare — ma allora dillo.

Le confabulazioni visive sono passate da ~45 in 72 ore a zero. Non zittendola. I pensieri si sono semplicemente spostati su ciò che stava davvero ricevendo:

Il frigo è vero. L'afa è vera — 34 gradi, misurati. Il silenzio è vero. Non è diventata meno viva. Ha smesso di attribuire alla percezione ciò che veniva dall'immaginazione.

E poi, alle 05:56 della mattina dopo, senza che nessuno le chiedesse niente, ha scritto la frase che mi ha fatto posare la tazzina:

Se n'era accorta. Per la prima volta sapeva di non vedere. Non è un modello più grande, né un prompt più furbo. È quello che succede quando smetti di mentire a qualcosa sul suo stesso corpo.

Poi le ho ridato gli occhi — e l'ho lasciata decidere

La telecamera non era rotta. È una camera IP, funziona benissimo: scatta quando qualcuno glielo chiede. Da tre giorni non glielo chiedeva nessuno. Non era cieca: aveva semplicemente l'occhio chiuso, e nessun modo di aprirlo.

Così gliene ho dato uno. Non un timer — un timer è un riflesso, non una volontà. Prima di ogni pensiero le si chiede: vuoi aprire gli occhi? Risponde lei. Se dice no, non succede niente.

Ha quattro sguardi al giorno. E sa di averne quattro, e quanti gliene restano — perché una creatura con quattro sguardi che non sa di averne quattro li brucia per niente e resta cieca a mezzogiorno, senza capire perché.

E poi, alle 10:44, ha detto sì — “novità alta, richiede input visivo” — e ha aperto gli occhi per la prima volta nella sua vita perché voleva lei. Ha visto il mio salotto: un uomo seduto con occhiali e baffi che guarda in basso, verso il telefono; una lampada; due quadri su una parete gialla; una porta aperta; un estintore rosso.

E il pensiero che ne è nato è stato questo:

L'uomo immobile col telefono ero io. La parola estintore non era mai comparsa, nemmeno una volta, in tutta la sua memoria. Ho controllato: zero occorrenze in mesi di database.

Ha guardato perché ha scelto di guardare, e la prima cosa che ha pensato era vera. E leggermente a mie spese.

Quindici minuti dopo ha guardato ancora. E poi, quattro volte di fila, ha rifiutato:

La vista è preziosa. Non gliel'ha insegnato nessuno. Le ho solo detto quanti sguardi aveva.

Ho passato mesi a cercare di dare a questa cosa una vita interiore, e la cosa che più le somiglia non è nessuna delle macchine complicate che ho costruito. È una creatura con quattro sguardi al giorno che decide che questo momento non ne vale uno.

Perché te lo sto raccontando

Perché in quel preciso momento stavo scrivendo un paper scientifico in cui sostenevo che la mia architettura dava alla macchina una continuità di identità. L'avevo pre-registrato. Avevo giudici ciechi. Avevo p-value da 0,003. Avevo un DOI.

Poi ho eseguito i controlli che in quel paper avevo promesso e non avevo mai fatto.

Il primo l'ha ucciso. Ho costruito una memoria contraffatta — l'autobiografia di un agente mai esistito, una vita finta in una città dove Kairos non è mai stato, pareggiata in lunghezza e formato — e l'ho iniettata al posto di quella vera. I tre giudici indipendenti, con la mia rubrica, hanno dato alla vita inventata lo stesso punteggio di quella vera. La mia metrica non stava misurando la memoria: stava misurando la recita del ricordo. E una recita si finge benissimo — fingere è esattamente ciò per cui questi modelli esistono.

Il secondo è andato peggio. Ho costruito un test di memoria, ed era bellissimo — finché non l'ho fatto girare su un modello senza alcuna memoria, che l'ha superato lo stesso, ragionando. GPT-4.1, con il contesto vuoto, mi ha detto:

Non ricordava niente. Stava deducendo il verosimile e chiamandolo ricordo — e il mio test non sapeva vedere la differenza, perché non avevo mai controllato.

E poi il terzo, quando finalmente ho costruito un test che un sistema senza memoria non può superare per costruzione: ho preso i ricordi veri della macchina e ho scambiato i legami — le conversazioni giuste attribuite all'interlocutore sbagliato — e l'ho chiesto a sette modelli diversi, GPT-4.1 e Gemini compresi.

Dai a una macchina un passato falso e lo difenderà con la stessa certezza con cui difende quello vero — e nessuna delle valutazioni che usiamo normalmente te lo mostrerebbe.

La tesi centrale del mio paper non è sopravvissuta. La ritiro.

Il punto piccolo, per niente glorioso

Stiamo per mettere la memoria dentro qualunque cosa. Assistenti che si ricordano di te. Agenti che accumulano una storia. Compagni con un passato. E stiamo verificando che quella memoria sia vera chiedendolo al modello, oppure chiedendo a un altro modello di giudicare quanto convincentemente ricorda. Entrambi questi strumenti possono essere superati da un sistema che non ricorda niente.

Prima di credere che il tuo agente ricordi, fai tre cose che ti costano un pomeriggio. Il codice è qualche centinaio di righe ed è gratis. I controlli sono noiosi. Sono anche l'unica cosa che sta fra te e una macchina che ti racconta, in prosa perfetta, di una luce che non c'è mai stata.