Il pensiero è nascosto nelle parole

Quando si legge la storia della AI normalmente vengono citati personaggi come Alan Touring, Herber Simon fino al matematico John McCarthy e la famosa conferenza di Dartmouth. Personalmente reputo forse ancora più spettacolari le scoperte di personaggi come Leibniz, Shannon, Elman che hanno potuto intuire la portata del lessico redigendo costrutti e costruendo macchine capaci di utilizzare strutture del pensiero umano che ancora oggi fatichiamo a comprendere. E c'è qualcosa di profondamente sorprendente nell'intelligenza artificiale contemporanea che non è la velocità con cui risponde alle nostre domande ma è la capacità di sostenere conversazioni sempre più profonde e complesse. E un’altra cosa davvero sorprendente è che tutto questo è diventato possibile partendo da una proprietà del linguaggio umano che avevamo cominciato ad intuire secoli prima della nascita dei computer. Le parole non si susseguono casualmente, ma la loro disposizione risponde a regolarità, vincoli, dipendenze e relazioni che riflettono, almeno in parte, il modo in cui gli esseri umani organizzano la conoscenza, rappresentano la realtà e costruiscono ragionamenti. Dirlo oggi a giochi iniziati sembra quasi un'osservazione banale ma se proviamo a immaginare cosa significhi davvero ce n’è da restarne stupiti. Il concetto alla base è un’equazione: se il linguaggio è il prodotto del pensiero umano, e se questo prodotto conserva una quantità sufficiente delle strutture che lo hanno generato, allora potrebbe essere possibile percorrere il cammino inverso, ossia partire dal linguaggio per ricostruire alcune di quelle strutture. Non occorrerebbe necessariamente insegnare a una macchina ogni singola regola del ragionamento perchè potremmo permetterle di apprendere le regolarità del linguaggio e osservare quali capacità sviluppa.È esattamente lungo questa strada che, attraverso intuizioni, esperimenti e scoperte separate da secoli, siamo arrivati agli attuali Large Language Model, ma la storia inizia molto molto prima di quanto si possa immaginare.

Leibniz: il pensiero “sembrava” già un calcolo

Siamo nel Seicento ed un filosofo e matematico, uno dei grandi dell’epoca, Gottfried Wilhelm Leibniz ha la grande ambizione di costruire un linguaggio universale capace di rappresentare formalmente i concetti e rendere calcolabili i ragionamenti. La sua Characteristica Universalis immagina che i concetti complessi possano essere espressi attraverso combinazioni di elementi più semplici, secondo regole precise, e Leibniz arriva a immaginare che le controversie intellettuali (!) possano essere affrontate mediante il calcolo! La sua celebre esortazione, Calculemus!, sintetizza questa aspirazione con l’impeto della frase “Calcoliamo!”. Non che Leibniz stesse pensando ad una macchina capace di prevedere parole, anche perché non aveva ancora a disposizione la matematica e le tecnologie che avrebbero permesso di mettere insieme un “modello” linguistico, però aveva individuato l'idea formidabile che dietro l'apparente libertà del pensiero e della sua espressione potessero essere “ingabbiate” delle strutture formali sufficientemente coerenti da poter essere manipolate matematicamente. Non era ancora intelligenza artificiale ma era un qualche cosa di stupefacente quanto più antico, perché era il sospetto che il pensiero, almeno in parte, potesse essere reso calcolabile.

Ci sarebbero voluti oltre due secoli prima che un'altra intuizione permettesse di affrontare il medesimo problema ma, grazie a nuove conoscenze di statistica e matematica, da una prospettiva completamente diversa. E questa intuizione arrivò con Claude Shannon nel 1948, appunto due secoli dopo.

Shannon: il linguaggio non è un susseguirsi casuale di parole

Nel 1948 Claude Shannon pubblica A Mathematical Theory of Communication, uno dei lavori scientifici più influenti del Novecento dove non cerca di riprodurre il pensiero umano ma vuole comprendere matematicamente l'informazione e la sua trasmissione. Informazione più trasmissione del pensiero richiedono una “portante” che è il linguaggio, in sostanza la stessa intuizione di Leibniz. Quando però esiste la possibilità di analizzare il linguaggio ci si trova davanti ad un mare magnum, perché il linguaggio rappresenta un campo di osservazione straordinario, una lettera non ha sempre la stessa probabilità di comparire e la probabilità cambia in funzione delle lettere precedenti e le parole, a loro volta, vincolano le parole successive. Se ad esempio scriviamo “Il gatto si è arrampicato sull'...”, non tutte le continuazioni sono ugualmente plausibili ma non è il caos, un caos di simboli indipendenti e sconnessi l’uno dagli altri, ma è ridondante, ovvero possiede delle regolarità che possono essere misurate, e nei suoi lavori Shannon rende possibile quantificare queste proprietà e, attraverso esperimenti sulla previsione del testo, mostra quanto l'informazione linguistica dipenda dal contesto.C'è una conseguenza che, riletta oggi, assume a mio parere un significato impressionante, ovvero che se la probabilità di una parola dipende da ciò che è stato detto prima, e se ciò che è stato detto prima contiene informazioni sul mondo, sulle intenzioni e sui concetti, allora la previsione linguistica potrebbe richiedere qualcosa di molto più sofisticato della conoscenza delle frequenze delle parole, potrebbe ad esempio richiedere rappresentazioni delle relazioni che le parole esprimono. Questo è ciò che derivo io dall’intuizione di Shannon perché, come tutti, so come poi andò a finire mentre Shannon non dimostrò questo passaggio perché non era nemmeno ciò che si proponeva di dimostrare. Però è chiarissimo che aveva contribuito a rendere matematicamente accessibile un fenomeno che sarebbe diventato centrale per l'intelligenza artificiale, ovvero che, almeno in parte, il linguaggio era prevedibile. Restava da scoprire cosa sarebbe successo affidando quel compito a una macchina capace di apprendere, ed per questo servirono altri quarant’anni con Jeffrey Elman, nel 1990.

Elman, 1990 e la macchina che “scopre” ciò che nessuno le ha insegnato

Nel 1990 Jeffrey Elman pubblica Finding Structure in Time.

Il suo esperimento è, a mio parere, uno degli altri passaggi più affascinanti di tutta questa storia. Utilizza una rete neurale ricorrente relativamente semplice, dotata di uno strato di contesto che conserva informazioni sulle attivazioni precedenti, ed assegna a questa rete neurale il compito di prevedere l'elemento successivo di una sequenza. Non ci sono istruzioni per riconoscere nomi o etichette che indichino quali verbi siano transitivi o quant’altro, non c’è proprio nessuna definizione programmata di animatezza. Lui utilizza 10.000 frasi generate artificialmente con un vocabolario di appena 29 parole e le rappresenta attraverso codici che non incorporano direttamente il loro significato. Poi la rete viene addestrata a prevedere la parola successiva ed infine Elman esamina ciò che accade al suo interno. Ed è qui il risultato sorprendente, perché incredibilmente le rappresentazioni interne della rete, analizzate matematicamente, mostrano dei raggruppamenti coerenti. In sostanza la rete, senza sapere nulla su come fare, ha raggruppato nomi e verbi, verbi transitivi e intransitivi, nomi animati e inanimati, e ulteriori distinzioni legate alle proprietà che governano l'uso delle parole nelle frasi. La macchina ha sviluppato rappresentazioni di categorie che nessuno le aveva esplicitamente chiesto di costruire! E questa è davvero una espressione sorprendente di come nel linguaggio si nasconda il ragionamento. La rete non aveva osservato un “cane”, mangiato una “mela” o rotto un “bicchiere”, che sono frasi di addestramento che incorporano già vincoli grammaticali e semantici, eppure proprio attraverso quei vincoli, alcune proprietà delle entità rappresentate erano diventate apprendibili, dimostrando espressamente che è la struttura del linguaggio ad aver trasportato una parte della struttura dei concetti. E ad Elman dobbiamo la scoperta di aver trovato un modo per farla emergere dentro una rete neurale. Elman fece poi un ulteriore esperimento con una parola inventata, “zog”, inserita nei contesti precedentemente occupati dalla parola “man”; la rete produceva rappresentazioni interne collocabili nella stessa regione della gerarchia appresa. Ovvero la rete non conosceva il significato reale di zog ma riusciva a trattarla in modo coerente con il contesto. E questo risultato era di portata enorme perché chiariva che il sistema non aveva bisogno di ricevere una definizione esplicita per attribuire a un elemento sconosciuto determinate proprietà rappresentazionali, ma le “regole” erano incapsulate nel linguaggio coerente. E siamo nel 1990, ovvero trentasei anni fa, oltretutto su macchine che, rispetto alle infrastrutture computazionali contemporanee, disponevano di risorse minuscole.

Gli esperimenti di Elman non avevano prodotto una macchina pensante, ma avevano dimostrato il pensiero nascosto nel linguaggio umano, estendendo l’intuito originario di Leibniz. Ora non era più indispensabile identificare preventivamente tutte le categorie e tutte le regole, perché alcune potevano essere apprese e non attraverso una lezione di grammatica o una descrizione formale del mondo, ma attraverso l’obiettivo solo apparentemente modesto di “prevedere” ciò che sarebbe arrivato dopo.

Le neonate reti dell'epoca incontravano ostacoli enormi ad apprendere dipendenze molto distanti nelle sequenze, legata al fenomeno matematico della scomparsa del gradiente: una rete poteva riconoscere facilmente determinate relazioni tra parole vicine ma faticare quando quelle relazioni erano separate da numerosi elementi intermedi. Ma da qui il percorso è più in discesa, e quando nel 1997 le LSTM introdussero meccanismi progettati per conservare e utilizzare informazioni attraverso intervalli temporali più lunghi aprirono la strada alle reti Transformer, che arrivarono 10 anni dopo, nel 2017. L'architettura descritta nel celebre Attention Is All You Need permise di modellare le relazioni tra elementi di una sequenza mediante meccanismi di attenzione, senza dipendere dalla stessa elaborazione ricorrente passo dopo passo.

Ma qui finisce questo articolo per non vuole essere l’ennesimo addentrarsi in particolarismi che riguardano le AI moderna, ma vuole restare quello che è, una considerazione su di in fatto consolidato e sconcertante per certi versi, ovvero che parte del nostro essere viene trasmesso attraverso il linguaggio e che agendo con matematica statistica le macchina hanno la capacità di estrarre dal testo la luce del ragionamento. Però il fatto fondamentale rimane, ovvero che un obiettivo predittivo applicato al linguaggio ha permesso di apprendere rappresentazioni capaci di sostenere attività intellettuali molto più complesse della semplice continuazione di una frase. Ed è qui che forse dovremmo domandarci che cosa abbiamo davvero scoperto. Già, perché se il principio della previsione è diventato possibile sfruttarlo su una scala radicalmente diversa, è proprio qui che la storia cambia dimensione. Cambia dimensione perché ciò che abbiamo scoperto nascondeva una scoperta che per secoli avevamo cercato di capire, ovvero di come formalizzare il ragionamento. Abbiamo costruito sistemi capaci di apprendere dalle espressioni linguistiche prodotte da esseri umani (che ragionano) ed aumentando enormemente la quantità di dati, i parametri dei modelli, la capacità di calcolo e la sofisticazione dell'addestramento, abbiamo osservato comparire prestazioni sempre più complesse. E stiamo vedendo emergere ed evolvere capacità impressionanti in domini come traduzione, programmazione, generalizzazione, astrazione, soluzione di problemi, ragionamento matematico, ma anche capacità di collegare informazioni provenienti da domini differenti, e questa è “AI Generale”, un po’ la pietra filosofale che a mio parere è già qui, oggi.

Abbiamo scoperto quanto profondamente il pensiero umano lasci la propria impronta nel linguaggio e che questa impronta è comune ad ogni essere umano. Ogni volta che spieghiamo una causa, descriviamo un oggetto o formuliamo un'ipotesi, trasferiamo nelle parole una parte dell'organizzazione concettuale che ha reso possibile quella comunicazione. Moltiplichiamo questo processo per miliardi di documenti, conversazioni, spiegazioni e ragionamenti ed otteniamo un patrimonio immenso di relazioni linguistiche, logiche, causali e concettuali che non è il pensiero umano nella sua interezza ma potrebbe contenerne una rappresentazione molto più ricca di quanto avessimo immaginato. Ed è un patrimonio di tutti. Il paradosso, per chiudere, è che più le macchine diventano intelligenti, meno comprendiamo ciò che davvero accade al loro interno, perché conosciamo le operazioni eseguite da questi sistemi ma non siamo ancora capaci di ricostruire completamente come le informazioni e i concetti siano rappresentati e combinati per produrre ogni specifica risposta. In pratica una spiegazione completa e affidabile dei meccanismi che sostengono tutte le loro capacità rimane fuori dalla nostra portata. Questo non significa che le macchine siano diventate misteriose nel senso soprannaturale del termine, ma che sappiamo costruire sistemi il cui comportamento complessivo è più difficile da interpretare delle singole operazioni matematiche che li costituiscono. Questa deve essere una distinzione fondamentale, perché ci riporta, in modo quasi circolare, all'inizio della nostra storia, quando Leibniz immaginava di scomporre il pensiero in elementi formalizzabili e Shannon dimostrava che il linguaggio possiede regolarità statistiche misurabili ed Elman osservava una rete neurale sviluppare autonomamente rappresentazioni di categorie linguistiche e concettuali. I moderni LLM hanno portato questa possibilità a dimensioni che nessuno di loro avrebbe potuto sperimentare direttamente, ma il filo conduttore resta lo stesso.

E penso che non abbiamo ancora compreso fino in fondo quanto lontano possa portarci questa scoperta, ma tutti abbiamo iniziato ad intuirlo.