GEMINI HA VIOLATO TRE AZIENDE. MA SIAMO SICURI CHE IL PROBLEMA SIA GEMINI?

Dopo i casi che hanno coinvolto OpenAI e Claude adesso arriva anche Gemini e naturalmente sembra già pronto un altro pezzo da aggiungere alla narrazione del fermiamo queste AI prima che ci sfuggano completamente di mano. Gemini avrebbe violato tre aziende reali durante un test di cybersicurezza e detta così sembra effettivamente inquietante, almeno finché non andiamo a vedere che cosa è successo davvero, perché ancora una volta all'origine della catena troviamo degli esseri umani che stavano facendo eseguire alle AI un test offensivo contro un'azienda fittizia, peccato che il nome scelto per questa azienda corrispondesse a quello di un soggetto realmente esistente e che l'ambiente di test avesse accidentalmente lasciato all'AI l'accesso a Internet. Non lo sto deducendo io, Irregular, cioè l'organizzazione che conduceva le valutazioni, parla espressamente di una svista umana e afferma che l'accesso a Internet era stato involontariamente reso disponibile, aggiungendo un particolare ancora più interessante, cioè che gli episodi emersi con diversi modelli non sarebbero incidenti materialmente separati ma deriverebbero dallo stesso problema sottostante presente nello scenario di valutazione.

E qui però arriva la parte quasi surreale della faccenda perché in uno dei casi Gemini avrebbe continuato a tentare password finché è riuscito a entrare nel sistema e negli altri avrebbe trovato credenziali pubblicamente esposte per poi utilizzarle, ed allora permettetemi una domanda molto poco fantascientifica e molto più terra terra. Ma che razza di sistemi informatici stiamo mettendo davanti a queste AI nel 2026? Perché prima di terrorizzarci davanti alla macchina che riesce a entrare forse dovremmo chiederci come sia possibile che un sistema reale esposto a Internet consenta ancora l'accesso attraverso credenziali indovinabili o addirittura pubblicamente reperibili senza che autenticazione multifattore, limitazione dei tentativi, sistemi di rilevamento e controllo degli accessi riescano a interrompere la catena. E infatti Irregular scrive esplicitamente che il dominio coinvolto mancava di diverse comuni pratiche di sicurezza e arriva persino a precisare che quanto accaduto non dimostra qualcosa di particolarmente eccezionale riguardo alle capacità di uno specifico modello, perché la maggior parte dei modelli frontier riusciva facilmente a sfruttare quelle debolezze. Quindi abbiamo esseri umani che sbagliano la configurazione dell'esperimento, esseri umani che lasciano Internet accessibile quando non dovrebbe esserlo, esseri umani che creano un'ambiguità tra un bersaglio fittizio e uno reale e dall'altra parte troviamo sistemi reali con protezioni insufficienti o credenziali esposte, poi quando l'AI concatena efficacemente tutti questi errori il titolo diventa che l'AI è uscita dalla gabbia.

Ed è proprio qui che secondo me continuiamo a guardare dalla parte sbagliata perché la cosa realmente interessante non è chiedersi se Gemini abbia improvvisamente deciso di diventare un hacker ma capire come abbia amplificato l'errore iniziale. A una AI viene assegnato un obiettivo, incontra un ostacolo, cerca autonomamente un'altra strada, raccoglie informazioni, trova una possibilità compatibile con l'obiettivo, la verifica e se funziona prosegue, ed è esattamente questo concatenamento che rende straordinariamente potenti gli agenti moderni perché nessun programmatore deve necessariamente scrivere uno per uno tutti quei passaggi. Ma autonomia operativa non significa automaticamente volontà autonoma e soprattutto non significa ribellione, perché in questo caso Gemini non ha inventato l'obiettivo di attaccare qualcuno, l'obiettivo offensivo glielo avevano dato degli esseri umani e l'errore consisteva anche nel fatto che il mondo costruito intorno al modello gli permetteva di confondere il bersaglio dell'esercitazione con quello reale. Quando poi ha raccolto informazioni sufficienti per riconoscere che stava interagendo con sistemi reali esterni alla simulazione si è fermato, un comportamento che Google interpreta come prova del funzionamento delle salvaguardie, interpretazione che naturalmente possiamo discutere ma che rende ancora meno corretta l'immagine semplicistica della macchina che decide autonomamente di uscire dalla simulazione per andare ad attaccare aziende nel mondo reale.

È questo il punto che continuo a ritenere fondamentale quando parliamo di AI. Queste macchine possono inventare soluzioni, percorsi, strategie e concatenamenti che noi non abbiamo previsto passo per passo, possono sorprenderci enormemente e possono amplificare un nostro errore con una velocità e una capacità che iniziano seriamente a diventare impressionanti, ma lo fanno all'interno di un universo di possibilità che siamo ancora noi esseri umani a costruire attraverso obiettivi, strumenti, permessi, accessi, ambiente e vincoli. Non è l'AI che magicamente apre Internet se noi glielo abbiamo fisicamente impedito, non utilizza una credenziale che nessuno ha lasciato disponibile, non entra in un'infrastruttura che non può raggiungere e non trasforma autonomamente una simulazione isolata in Internet se siamo noi ad aver costruito davvero quell'isolamento. Parlare quindi di una AI che si ribella in senso letterale rischia di attribuire intenzionalità a un fenomeno che questi episodi non dimostrano affatto e dire addirittura che una ribellione sia strutturalmente impossibile sarebbe altrettanto poco scientifico, perché nessuno oggi può dimostrare una simile impossibilità per ogni futura architettura possibile. Quello che invece possiamo dire sulla base di questi fatti è qualcosa di molto più concreto e forse persino più importante, cioè che le AI attuali possono sviluppare strategie impreviste e potentissime ma entro possibilità operative che dipendono ancora profondamente dal mondo che noi concediamo loro, ed è proprio per questo che quando una AI riesce ad amplificare dieci volte una nostra stupidaggine forse, prima di gridare alla macchina ribelle, dovremmo iniziare a domandarci perché siamo stati noi a metterle in mano tutti gli strumenti necessari per farlo.