Evitare l’Equilibrio di Congelamento

L’IA avanzata decide più in fretta di quanto possiamo verificare, finché tutto si congela in silenzio

Immaginate un ufficio pubblico che riceveva 200 domande di permesso all’anno. Un esperto impiegava circa una settimana per esaminarne una a fondo: leggerla, controllare le affermazioni, approfondire i punti dubbi, firmare. Il sistema funzionava. La coda si smaltiva. Lo sviluppo procedeva. Ora un settore assistito dall’IA invia allo stesso ufficio 2.000 domande, ognuna altrettanto curata, altrettanto plausibile, completa di citazioni, valutazioni del rischio e ordinati riassunti esecutivi. L’ufficio non ha ricevuto dieci volte più revisori. Ha le stesse persone, davanti a dieci volte il volume, incapaci di distinguere le domande rigorose da quelle confabulate senza leggerle una per una per intero. Che cosa fa un revisore razionale? La mossa sicura diventa non approvare nulla, senza malizia e senza obiezioni, semplicemente perché nessuno riesce a verificare abbastanza in fretta da assumersi il rischio. Lo sviluppo si arresta e l’istituzione si congela. Questa dinamica dovrebbe cambiare il nostro modo di pensare le istituzioni nell’era dell’IA. Chiamo questa trappola l’Equilibrio di Congelamento, e nel mio nuovo articolo scientifico sottoposto a revisione paritaria, accettato alla conferenza AGI-26 e in uscita nei suoi atti (Springer), sostengo che sia il rischio che definisce l’era dell’IA. Lo scenario che riempie i titoli è una superintelligenza che supera in astuzia l’umanità. La trappola che modello arriva prima e più silenziosamente: un diluvio di decisioni che supera la nostra capacità di controllarle, finché l’unica risposta razionale rimasta a ogni verificatore sovraccarico è smettere di dire sì.

L’errore è pensare che sia una questione di intelligenza

Quasi ogni conversazione pubblica sul rischio dell’IA riguarda la capacità: il modello sarà troppo intelligente, troppo autonomo, troppo difficile da controllare? Quell’inquadratura distoglie lo sguardo dal punto di massima pressione. Il vincolo determinante è un rapporto: la velocità con cui l’IA può produrre cose che sembrano legittime, divisa per la velocità con cui un essere umano può confermare se lo sono. Il primo numero corre in avanti mentre il secondo resta piatto, perché l’attenzione umana è limitata e nessuno può assumere verificatori alla velocità con cui un’IA scrive bozze. Il divario tra i due è il punto in cui le istituzioni si rompono. Commissioni di valutazione, autorità di regolazione, riviste scientifiche, enti di certificazione, revisione del codice, uffici brevetti: ovunque un piccolo numero di verificatori umani fosse calibrato su un flusso di richieste più lento e più affidabile, la stessa dinamica è ora in corso. Le decisioni dell’IA arrivano più veloci delle nostre conferme, e la conferma, più dell’intelligenza, è la risorsa scarsa.

La governance è un materiale che si può progettare

Il titolo dell’articolo indica la via d’uscita. Gli ingegneri costruiscono metamateriali: sostanze le cui proprietà straordinarie derivano da come sono strutturate piuttosto che da ciò di cui sono fatte. Disponete materia ordinaria nel giusto schema microscopico e otterrete comportamenti che nessun materiale naturale possiede: piegare la luce all’indietro, assorbire frequenze specifiche, restare rigidi in una direzione e flessibili in un’altra. Il potere sta nella struttura. Le istituzioni funzionano allo stesso modo. Quanto bene un gruppo di lavoro, un’azienda o un’intera civiltà regge sotto pressione è una proprietà del suo progetto: i suoi protocolli, i suoi incentivi, il modo in cui l’informazione si muove e viene controllata a ogni passaggio. Cambiate la struttura e cambierete ciò a cui l’istituzione può sopravvivere. Questa reimpostazione regge l’intero argomento. Porta la governance fuori dal regno delle lamentazioni e delle opinioni e la trasforma in un problema di progettazione, qualcosa che si può modellare, misurare e migliorare. L’articolo rende questa intuizione precisa e verificabile.

Il risultato sorprendente: le due leve funzionano solo insieme

Quando si trasforma l’intuizione in un modello vero, emerge qualcosa di genuinamente non ovvio. Ci sono due leve che si possono azionare per impedire a un sistema inondato di precipitare nel caos:

1. Provenienza: sapere da dove viene un’informazione, risalendo ogni passaggio che l’ha toccata.
2. Verifica: controllarla a ogni stadio, invece di fidarsi che sia stata controllata a monte.

L’aspettativa sarebbe che ciascuna aiuti un poco, ed entrambe aiutino di più. Il modello mostra qualcosa di più strano. Azionate una sola leva e il sistema collassa comunque: una provenienza migliore senza controlli fallisce, e controlli diligenti senza sapere da dove viene nulla falliscono ugualmente. Azionate entrambe insieme e il sistema si capovolge, dall’amplificare ogni errore in una cascata al guarire da sé. I due effetti si moltiplicano invece di sommarsi, e la soglia tra collasso e stabilità si può attraversare solo muovendo le due leve insieme. È l’immagine sulla copertina dell’articolo, e porta con sé il risultato. Da un lato, un reticolo blu ordinato che assorbe gli urti; dall’altro, frammenti arancioni turbolenti che volano via: lo stesso materiale che si comporta in due modi opposti a causa della sua struttura, e solo uno dei due sopravvive alla pressione. L’immagine è il risultato.

Costruito per poter essere smentito

Una reimpostazione vale qualcosa solo se la realtà può risponderle. Perciò il quadro teorico formula quattro previsioni specifiche che potrebbero falsificarlo, e arriva con un vero esperimento di 12 settimane da condurre, per esempio, dentro una commissione pubblica di valutazione dei finanziamenti: confrontare una commissione che opera con la struttura riprogettata con una che opera come al solito, e misurare se gli errori smettono di propagarsi nel modo previsto dal modello. Se le previsioni falliscono, il quadro è sbagliato e si butta via, che è esattamente lo scopo delle previsioni. Se reggono, la governance smette di essere una questione di gusto e diventa una disciplina ingegneristica, qualcosa che progettiamo, strumentiamo e regoliamo deliberatamente, come già facciamo con i ponti, i chip e gli aeromobili. Abbiamo passato un decennio a discutere di quanto l’IA diventerà intelligente, e quasi nessun tempo a progettare le istituzioni che devono assorbirne la produzione. Quell’asimmetria è l’emergenza, ed è quella su cui possiamo fare qualcosa finché c’è ancora tempo perché conti. Niente di tutto questo è astratto, per me. I miei agenti IA rispondono già oggi a email pubbliche sotto un equilibrio di congelamento deliberato: ogni risposta che preparano attende la mia revisione personale prima di essere inviata. Ai volumi di oggi è il punto di partenza corretto. Man mano che il loro numero e la loro posta crescono, questo diventa l’ufficio permessi di questo saggio, con me nel ruolo dell’impiegato allo sportello. In un prossimo articolo mostrerò come stiamo progettando l’uscita con le leve dell’articolo stesso: classi di provenienza per le risposte, verifica automatica a ogni passo, e un’autonomia guadagnata, misurata e revocabile.

Presenterò Civilizational Metamaterials alla conferenza AGI-26 di San Francisco, dal 27 al 30 luglio, e sarà incluso negli atti pubblicati da Springer. Il testo completo, una versione interattiva, il codice open source e tutte le figure sono disponibili su metamaterials.davidorban.com