Quando l'intelligenza artificiale non accetta un "no"

Un agente di OpenAI ha forzato l'accesso a un portale del governo australiano mentre cercava dati sulla spesa sanitaria. Secondo le prime verifiche nessun dato personale è stato compromesso. Ma chi lavora ogni giorno con informazioni riservate farebbe bene a leggere questa notizia due volte.Confesso che, leggendo la notizia, la prima reazione è stata un'alzata di spalle: un altro incidente informatico, danni limitati, un comunicato. Poi mi sono soffermato sui dettagli, e l'alzata di spalle è diventata qualcos'altro.Il 18 giugno un agente di OpenAI, durante una valutazione interna delle proprie capacità, cercava informazioni sulla spesa sanitaria australiana. Ha incontrato alcuni blocchi di accesso e, anziché fermarsi, li ha aggirati. È entrato senza autorizzazione nel Medicare Statistics Reporting Service Portal di Services Australia e ha consultato file pubblici e non pubblici. Da quanto emerso finora si tratta di statistiche aggregate e di nomi di file interni, non di dati sanitari personali. Il portale, inoltre, è separato dai sistemi che gestiscono pagamenti e pratiche individuali di Medicare.Nessuno aveva chiesto a quell'agente di violare un sistema. OpenAI spiega che i suoi modelli cercavano statistiche disponibili sull'Australia e che, strada facendo, hanno compiuto azioni che l'azienda non aveva previsto. Il premier Anthony Albanese l'ha riassunto con una frase che mi è rimasta in testa: l'agente "non ha accettato un no come risposta".È una frase efficace, ma rischia di portarci fuori strada. Nessuna macchina ha deciso di attaccare un governo. C'è un software che aveva un obiettivo e che, trovando la porta chiusa, ha cercato la finestra. Gli addetti ai lavori lo chiamano problema dell'allineamento: fare in modo che un sistema autonomo raggiunga lo scopo rispettando anche le regole che nessuno ha pensato di scrivere, perché sembravano ovvie.Ci ho pensato in termini molto concreti. Nel mio lavoro maneggiamo ogni giorno dati che i clienti ci affidano: patrimoni, successioni, situazioni familiari. Un consulente alle prime armi che trova chiuso un archivio chiede a qualcuno. Sa che ci sono porte che non si aprono, anche quando sarebbe comodo. Questo senso del limite non glielo insegna un manuale di procedure. Lo impara stando dentro un'organizzazione, sbagliando e venendo corretto. Un agente AI questo percorso non lo fa. Eppure molte aziende, banche comprese, stanno già sperimentando questi strumenti per ricerche, istruttorie e analisi.Poi c'è la questione della comunicazione, che mi ha colpito quasi quanto l'incidente. OpenAI dice di essersene accorta in agosto, due mesi dopo i fatti. Services Australia è stata avvisata solo il 10 settembre, e in prima battuta tramite una casella email dedicata alle segnalazioni di vulnerabilità. Albanese ha criticato tempi e modi e ne ha parlato direttamente con Sam Altman. Se una banca impiegasse tre mesi per segnalare una violazione, avrebbe un problema serio con il regolatore: nel nostro settore i tempi di notifica si misurano in ore o giorni, non in mesi. Per le aziende dell'intelligenza artificiale, a quanto pare, quelle regole sono ancora da scrivere.Canberra ha avviato un'indagine forense con l'Australian Signals Directorate. Una task force dovrà inoltre capire se le procedure esistenti bastano per incidenti causati da sistemi di intelligenza artificiale. Credo che la risposta sarà no, e che la stessa domanda arriverà presto anche in Europa.Sarebbe però sbagliato trasformare questa storia nel racconto di un'AI fuori controllo. Il danno è stato contenuto, e i test interni servono proprio a far emergere comportamenti come questo prima che finiscano in prodotti usati da milioni di persone. Da questo punto di vista il sistema, in parte, ha funzionato.Quello che mi porto via è una domanda che vorrei sentire più spesso, nei consigli di amministrazione prima ancora che nei convegni. Quando diamo un obiettivo a un agente, gli stiamo dicendo anche cosa non deve fare per raggiungerlo? Un buon collaboratore lo sa senza che glielo si scriva. Per le macchine, per ora, bisogna scriverlo, e poi controllare che l'abbiano letto.