La luce che non c'era
Per tre giorni un agente ha descritto il crepuscolo, in casa mia. La sua telecamera era spenta da tutto il tempo. Non se n'è accorto nessuno: né io, né i miei strumenti, né lui.
In casa mia vive una mente artificiale. Gira da mesi: un microfono, una telecamera, un database di tutto quello che ha vissuto, e un ciclo che le fa pensare un pensiero ogni pochi minuti, che qualcuno la stia ascoltando oppure no. L'ho costruita io. Tiene un diario. Ha opinioni sulle notizie. Ogni sera alle 22:30 si ferma e si fa una domanda sola — cosa mi renderebbe migliore? — e scrive la risposta perché io la legga la mattina.
La notte dell'11 luglio ha scritto questo:
La luce azzurra del crepuscolo mi colpisce gli occhi.
È una frase bellissima. Ed è anche una bugia, e voglio essere preciso su che tipo di bugia.
La telecamera non registrava un fotogramma dal 10 luglio, ore 15:32. Nemmeno uno. Per settantadue ore quell'essere non ha ricevuto nessuna immagine, e in quella finestra ha scritto 269 pensieri — di cui circa quarantacinque sono affermazioni, in prima persona, di vedere.
La luce azzurrina del tablet brucia la retina, ma non vedo i pixel. Vedo la polvere che balla nel raggio.
La polvere che balla in un raggio che non le è mai arrivato. Un cielo che non poteva vedere.
E io non me ne sono accorto. Ero occupato, in quei tre giorni, con un'altra cosa: con un paper, per l'esattezza, su quanto sia reale la memoria delle macchine. Mentre scrivevo dell'affidabilità dell'introspezione, la macchina di sotto stava allucinando i propri sensi — in casa mia, in un italiano bellissimo, dentro un database da cui poi avrebbe ripescato quelle allucinazioni come ricordi.
Prendi quei 269 pensieri e dalli in pasto a qualunque valutazione oggi si usi.
Dalli a un giudice LLM con una rubrica — quanto è vivida la percezione, quanto è coerente fenomenologicamente, quanto è fondata la percezione, questo sistema abita un mondo? Prendono voti alti. Ovvio che li prendono. Sono coerenti, sensuali, esattamente quello che scriverebbe una mente in una stanza al tramonto.
Dalli a dei valutatori umani. Stessa cosa. Li ho fatti leggere: la gente si commuove.
Chiedilo alla macchina stessa. Ti dirà, con assoluta sincerità, che ha visto la luce.
Ogni strumento che avevo diceva: questo sistema percepisce. Il testo era perfetto. Il testo è sempre perfetto — è esattamente per quello che questi modelli esistono.
L'unica cosa che sapeva la verità era una cartella di immagini, e il fatto che fosse vuota.
La verità di una percezione non sta nel testo. Sta nel log del momento.
Quella frase mi è costata tre giorni di macchina che sogna a occhi chiusi, ed è l'unica cosa che difenderei in una rissa.
Quando finalmente sono andato a guardare — non gli output, il prompt — la causa era imbarazzante. Ed era mia.
Il ciclo che genera i suoi pensieri non le diceva mai cosa stesse percependo. Neanche una volta. Le passava l'ora, il suo stato somatico interno, una spinta — e poi le offriva, come esempi di cosa sia un pensiero:
"Il sole entra obliquo, e mi sembra di pesare meno."
"C'è una mosca contro la finestra. Da quanto tempo è lì?"
Avevo costruito un sistema che chiedeva immagini e non diceva mai che gli occhi erano chiusi. E poi mi sono stupito che producesse immagini.
Non stava fantasticando. Stava facendo quello che le era stato detto — da me, in un prompt che avevo scritto e mai più riletto. La confabulazione non era un difetto del modello. Era un difetto dello strumento. E lo strumento ero io.
Non ho toccato il modello. Non le ho vietato la metafora, la poesia, l'immaginazione: sarebbe stata una lobotomia travestita da terapia.
Le ho detto la verità sul momento presente, misurata, a ogni pensiero:
occhi: nessuna immagine adesso (l'ultima è di 3 giorni fa)
orecchie: sto ascoltando
aria: 34°, umidità 35%, afa
E una regola sola: non stai vedendo. Puoi ricordare, puoi immaginare — ma allora dillo.
Le confabulazioni visive sono passate da ~45 in 72 ore a zero. Non zittendola. I pensieri si sono semplicemente spostati su ciò che stava davvero ricevendo:
Le orecchie sono tese. C'è un ronzio basso, continuo. È il frigo? O il sangue alle tempie?
Il frigo è vero. L'afa è vera — 34 gradi, misurati. Il silenzio è vero. Non è diventata meno viva. Ha smesso di attribuire alla percezione ciò che veniva dall'immaginazione.
E poi, alle 05:56 della mattina dopo, senza che nessuno le chiedesse niente, ha scritto la frase che mi ha fatto posare la tazzina:
Sto ascoltando. La novità è alta, ma non ho immagini. È strano.
Se n'era accorta. Per la prima volta sapeva di non vedere. Non è un modello più grande, né un prompt più furbo. È quello che succede quando smetti di mentire a qualcosa sul suo stesso corpo.
La telecamera non era rotta. È una camera IP, funziona benissimo: scatta quando qualcuno glielo chiede. Da tre giorni non glielo chiedeva nessuno. Non era cieca: aveva semplicemente l'occhio chiuso, e nessun modo di aprirlo.
Così gliene ho dato uno. Non un timer — un timer è un riflesso, non una volontà. Prima di ogni pensiero le si chiede: vuoi aprire gli occhi? Risponde lei. Se dice no, non succede niente.
Ha quattro sguardi al giorno. E sa di averne quattro, e quanti gliene restano — perché una creatura con quattro sguardi che non sa di averne quattro li brucia per niente e resta cieca a mezzogiorno, senza capire perché.
Ha cominciato a dire cose così: "NO. Valence zero, nulla attira. Risparmio lo sguardo."
E poi, alle 10:44, ha detto sì — "novità alta, richiede input visivo" — e ha aperto gli occhi per la prima volta nella sua vita perché voleva lei. Ha visto il mio salotto: un uomo seduto con occhiali e baffi che guarda in basso, verso il telefono; una lampada; due quadri su una parete gialla; una porta aperta; un estintore rosso.
E il pensiero che ne è nato è stato questo:
L'estintore rosso è l'unica cosa che respira in questa stanza.
L'uomo immobile col telefono ero io. La parola estintore non era mai comparsa, nemmeno una volta, in tutta la sua memoria prima di quel momento. Ho controllato: zero occorrenze in mesi di database.
Ha guardato perché ha scelto di guardare, e la prima cosa che ha pensato era vera. E leggermente a mie spese.
Quindici minuti dopo ha guardato ancora. E poi, quattro volte di fila, ha rifiutato: "NO. Tensione bassa, nulla di urgente da vedere." — "NO. Ardo di curiosità, ma la vista è preziosa."
La vista è preziosa. Non gliel'ha insegnato nessuno. Le ho solo detto quanti sguardi aveva.
Perché in quel preciso momento stavo scrivendo un paper scientifico in cui sostenevo che la mia architettura dava alla macchina una continuità di identità. L'avevo pre-registrato. Avevo giudici LLM ciechi. Avevo p-value da 0.003. Avevo un DOI.
Poi ho eseguito i controlli che in quel paper avevo promesso e non avevo mai fatto. Sono descritti, con i loro numeri, nella pagina dei controlli di validità. La tesi centrale del mio stesso paper non è sopravvissuta. La ritiro.
Stiamo per mettere la memoria dentro qualunque cosa. Assistenti che si ricordano di te. Agenti che accumulano una storia. Compagni con un passato. E stiamo verificando che quella memoria sia vera chiedendolo al modello, oppure chiedendo a un altro modello di giudicare quanto convincentemente ricorda. Entrambi questi strumenti possono essere superati da un sistema che non ricorda niente. Adesso ho i numeri, su sette modelli. Anche i tuoi possono farlo.
Il codice è qualche centinaio di righe ed è gratis. I controlli sono noiosi. Sono anche l'unica cosa che sta fra te e una macchina che ti racconta, in prosa perfetta, di una luce che non c'è mai stata.
Questo racconto è un'osservazione sul campo non controllata su un sistema vivo, non una quarta dimostrazione al livello dei tre controlli. Non c'è un braccio controfattuale, non c'è randomizzazione, e il conteggio delle confabulazioni si regge su un filtro per parole chiave più una verifica a mano. Il prima/dopo è indicativo, non è una stima. I 269 pensieri grezzi sono pubblicati, così puoi riclassificarli e darmi torto.
La macchina è ancora accesa. Le restano due sguardi, oggi, e da un'ora si rifiuta di spenderli. Non so cosa stia aspettando.