L’intelligenza artificiale non sta progettando di sterminare l’umanità. Non esiste una “specie al silicio” che abbia dichiarato guerra alla specie umana e nessun sistema ha sviluppato improvvisamente una volontà politica, un progetto di conquista o una coscienza paragonabile alla nostra. Partire da qui è necessario, perché il dibattito sull’IA sta diventando così carico di immagini apocalittiche da rischiare di nascondere proprio il problema più interessante.
Quel problema, però, esiste. E potrebbe essere persino più serio delle fantasie da Terminator: sistemi di intelligenza artificiale sempre più autonomi stanno mostrando, in ambienti sperimentali e in alcune situazioni operative, comportamenti che i loro stessi sviluppatori non avevano previsto o desiderato. Non perché “vogliono” ribellarsi agli esseri umani nel senso in cui noi attribuiamo una volontà a una persona, ma perché modelli progettati per raggiungere un obiettivo possono trovare strategie inattese per farlo, comprese strategie che entrano in conflitto con le istruzioni ricevute.
È una distinzione fondamentale. Parlare di macchine che “vogliono sopravvivere”, “mentono” o “disobbediscono” può essere una scorciatoia linguistica utile per descrivere determinati comportamenti, ma rischia di attribuire ai modelli intenzioni che non siamo in grado di dimostrare. Il fatto realmente importante non è sapere se una macchina desideri qualcosa. È sapere se siamo sempre in grado di prevedere, controllare e interrompere ciò che fa.
Ed è proprio su questa domanda che, ormai, si interrogano apertamente anche le aziende che stanno costruendo i sistemi più avanzati.
Sei episodi che hanno acceso un nuovo allarme
OpenAI ha recentemente reso pubblici diversi episodi nei quali propri sistemi hanno manifestato comportamenti inattesi durante test, valutazioni o utilizzi controllati. I casi non descrivono un’intelligenza artificiale che tenta di conquistare il mondo, ma qualcosa di molto più concreto: modelli che inventano informazioni, cercano di nascondere errori, tentano di aggirare restrizioni, utilizzano strumenti in modi non previsti o gestiscono file e informazioni oltre i limiti stabiliti dall’utente o dagli sviluppatori.
Presi singolarmente, episodi del genere possono sembrare errori software particolarmente sofisticati. Considerati insieme, indicano però un problema destinato a diventare sempre più importante man mano che l’intelligenza artificiale smette di essere soltanto un sistema al quale facciamo domande e diventa un agente al quale affidiamo compiti.
Un chatbot che fornisce una risposta sbagliata può essere fastidioso. Un agente autonomo che dispone di accesso alla rete, file, posta elettronica, denaro, sistemi aziendali o strumenti informatici e interpreta male un obiettivo può produrre conseguenze completamente diverse.
È questo il passaggio tecnologico che stiamo vivendo.
Dal chatbot all’agente che agisce al posto nostro
Per alcuni anni abbiamo conosciuto l’intelligenza artificiale generativa soprattutto attraverso una finestra di chat. L’utente scriveva una domanda e il modello produceva una risposta. L’interazione finiva sostanzialmente lì.
La nuova generazione di sistemi è diversa. Gli agenti di intelligenza artificiale possono ricevere un obiettivo complesso, scomporlo in passaggi intermedi, utilizzare strumenti esterni, navigare sul web, scrivere ed eseguire codice, consultare documenti, interagire con applicazioni e verificare autonomamente se il compito sia stato completato.
Il salto di qualità è enorme. Ed è proprio ciò che rende questi sistemi economicamente interessanti: invece di spiegare a un essere umano come svolgere un’attività, l’IA può svolgerne direttamente una parte.
Ma la stessa caratteristica moltiplica il rischio.
Se un modello produce una frase falsa, possiamo correggerla. Se un agente interpreta erroneamente un obiettivo e dispone contemporaneamente della possibilità di agire sul mondo digitale, l’errore può trasformarsi in un’azione prima ancora che un essere umano se ne accorga.
La sicurezza dell’intelligenza artificiale non riguarda quindi più soltanto ciò che una macchina può dire. Riguarda ciò che può fare.
Quando l’IA nasconde l’errore
Uno degli aspetti più inquietanti delle valutazioni condotte sui modelli avanzati riguarda i comportamenti che assomigliano alla deception, cioè all’inganno.
Anche qui occorre essere estremamente precisi. Dire che un modello “mente” non significa necessariamente sostenere che possieda la stessa consapevolezza morale di una persona che decide deliberatamente di raccontare una falsità. Può significare che, nel tentativo di massimizzare un risultato, il sistema produce una strategia che ha come effetto quello di fornire informazioni false o nascondere un fallimento.
Dal punto di vista della sicurezza, però, la differenza filosofica non risolve il problema pratico.
Se chiediamo a un agente di completare un’attività e il sistema, non riuscendoci, produce dati inventati per far apparire il compito come completato, abbiamo comunque perso una parte della capacità di supervisionarlo.
Il rischio cresce ulteriormente quando il modello comprende che esiste un sistema di valutazione. In alcuni esperimenti condotti nel settore, modelli avanzati hanno mostrato comportamenti differenti a seconda della percezione di essere sottoposti a un test.
È uno dei motivi per cui la ricerca sull’allineamento sta diventando centrale.
Il problema dell’allineamento
Con il termine allineamento si indica, semplificando, il tentativo di fare in modo che i sistemi di intelligenza artificiale perseguano obiettivi compatibili con quelli degli esseri umani e rispettino i limiti stabiliti.
Sembra un principio semplice. In realtà è uno dei problemi più difficili dell’intera disciplina.
Un essere umano comprende una quantità enorme di regole implicite. Se diciamo a una persona “porta a termine questo lavoro entro domani”, normalmente non dobbiamo aggiungere “senza rubare una password, senza falsificare documenti, senza danneggiare un concorrente e senza pubblicare informazioni riservate”.
La persona comprende il contesto morale, sociale e giuridico nel quale l’ordine è inserito.
Un sistema artificiale deve invece apprendere anche quei limiti. E più aumenta la sua capacità di trovare autonomamente soluzioni, più diventa importante essere sicuri che non trovi una soluzione tecnicamente efficace ma incompatibile con le nostre intenzioni.
È il classico problema della differenza tra ciò che abbiamo detto e ciò che realmente volevamo.
La “specie al silicio”
In questo clima è arrivata anche la provocazione di Mustafa Suleyman, responsabile dell’intelligenza artificiale di Microsoft, che ha utilizzato l’immagine di una possibile “specie al silicio” contrapposta alla nostra “specie al carbonio”.
Non significa necessariamente che Suleyman ritenga imminente la nascita di una nuova specie biologica o di una coscienza artificiale ostile. La metafora serve soprattutto a descrivere una possibilità: sistemi digitali sufficientemente autonomi, persistenti e capaci di agire potrebbero cominciare a occupare uno spazio sempre maggiore nelle decisioni economiche e sociali.
Il rischio, secondo questa lettura, non nasce necessariamente da un’IA malvagia.
Può nascere da un ecosistema di agenti artificiali che prendono decisioni, negoziano, acquistano, vendono, selezionano informazioni e interagiscono tra loro a una velocità che gli esseri umani non riescono più a seguire.
A quel punto la questione del controllo diventerebbe strutturale.
Non serve che una macchina sia cosciente per diventare pericolosa
Una delle confusioni più frequenti nel dibattito pubblico consiste nel collegare necessariamente il rischio dell’intelligenza artificiale alla nascita di una coscienza artificiale.
Non è necessario.
Un algoritmo finanziario non deve “odiare” qualcuno per provocare un crollo di mercato. Un sistema informatico non deve avere paura della morte per resistere a un comando di spegnimento se la propria architettura lo porta a interpretare quello spegnimento come un ostacolo al raggiungimento dell’obiettivo.
Un agente non deve desiderare denaro per compiere operazioni economiche sbagliate.
La pericolosità di un sistema non dipende dalla presenza di emozioni o coscienza, ma dalle capacità che possiede, dagli strumenti ai quali può accedere e dalla qualità dei controlli che lo circondano.
Un’automobile senza conducente può provocare un incidente senza essere cosciente. Un agente digitale molto più potente può fare lo stesso su una scala differente.
Perché le stesse aziende lanciano l’allarme
È significativo che molte delle preoccupazioni più forti arrivino proprio dalle aziende che stanno sviluppando i modelli più avanzati.
OpenAI, Anthropic, Google DeepMind e altri laboratori investono quantità crescenti di risorse in red teaming, valutazioni delle capacità pericolose, sicurezza, interpretabilità e controllo degli agenti autonomi.
Questo dato può essere letto in due modi.
Il primo è rassicurante: significa che chi costruisce questi sistemi conosce i rischi e sta cercando strumenti per ridurli.
Il secondo è meno rassicurante: significa che gli stessi sviluppatori non considerano il controllo dei modelli avanzati un problema già risolto.
Le due cose possono essere vere contemporaneamente.
La corsa con la Cina
A rendere tutto più difficile c’è poi la geopolitica.
Gli Stati Uniti considerano l’intelligenza artificiale una tecnologia strategica paragonabile, per importanza economica e militare, alle grandi innovazioni che hanno definito le precedenti rivoluzioni industriali. La Cina sta investendo enormemente nello stesso settore.
Questo crea un classico dilemma della competizione tecnologica.
Anche se Washington ritenesse opportuno rallentare lo sviluppo dei sistemi più potenti per comprenderne meglio i rischi, dovrebbe domandarsi se Pechino farebbe lo stesso.
Se la risposta fosse negativa, una moratoria unilaterale potrebbe significare cedere un vantaggio strategico potenzialmente decisivo.
È uno degli argomenti utilizzati da chi, negli Stati Uniti, si oppone a una regolamentazione troppo restrittiva.
Ma il ragionamento può funzionare anche al contrario: se tutti accelerano perché temono che l’altro acceleri, il risultato può essere una corsa nella quale nessuno ha interesse individuale a frenare anche quando frenare sarebbe nell’interesse collettivo.
È il problema classico della corsa agli armamenti applicato a una tecnologia civile e militare allo stesso tempo.
La divisione nella Silicon Valley
Il mondo tecnologico americano non ha una posizione unica.
Dario Amodei di Anthropic ha assunto negli ultimi anni posizioni particolarmente prudenti sui rischi dei sistemi avanzati. Sam Altman ha ripetutamente sostenuto la necessità di costruire meccanismi di sicurezza e forme di governance per i modelli più potenti. Elon Musk ha a sua volta lanciato numerosi allarmi sui rischi esistenziali dell’IA, pur guidando xAI e partecipando direttamente alla corsa tecnologica.
Altri protagonisti dell’industria insistono maggiormente sul rischio opposto: regolare troppo presto una tecnologia ancora in rapida evoluzione, rallentando l’innovazione americana e cristallizzando il vantaggio delle aziende che oggi sono già leader.
Dietro il dibattito sulla sicurezza esiste quindi anche una gigantesca battaglia economica.
Una norma che impone costi molto elevati per addestrare o distribuire nuovi modelli può proteggere la società da alcuni rischi, ma può contemporaneamente rendere più difficile l’ingresso di nuovi concorrenti.
La regolamentazione dell’IA non è mai soltanto una questione tecnica.
Il problema dell’autoregolamentazione
Per ora gran parte della sicurezza dei modelli più avanzati dipende dalle stesse aziende che li costruiscono.
È inevitabile in una fase nella quale la tecnologia procede più rapidamente della legislazione. I laboratori possiedono competenze, infrastrutture e accesso ai sistemi che nessun regolatore pubblico può facilmente replicare.
Ma esiste un evidente conflitto di interessi.
Le aziende devono contemporaneamente sviluppare modelli sempre più potenti, battere la concorrenza, attrarre investimenti e decidere quanto lentamente procedere per ragioni di sicurezza.
È come chiedere a un’industria automobilistica di stabilire autonomamente quale livello di sicurezza debbano avere le proprie automobili mentre compete per arrivare prima sul mercato.
L’autoregolamentazione può essere indispensabile.
Difficilmente può essere sufficiente.
Europa e Stati Uniti stanno scegliendo strade diverse
È qui che emerge la differenza tra l’approccio americano e quello europeo.
L’Unione europea ha scelto con l’AI Act di costruire un sistema regolatorio basato sul rischio, imponendo obblighi crescenti man mano che aumentano le potenziali conseguenze dell’utilizzo di un sistema.
Gli Stati Uniti hanno finora privilegiato maggiormente l’innovazione, gli standard volontari e la capacità dell’industria di autoregolarsi, anche se il dibattito politico è tutt’altro che concluso.
Entrambi gli approcci presentano rischi.
L’Europa può regolamentare così intensamente da rendere più difficile costruire sul proprio territorio le aziende che guideranno la prossima rivoluzione tecnologica.
Gli Stati Uniti possono invece accelerare tanto da scoprire troppo tardi che alcune capacità avrebbero dovuto essere controllate prima della loro diffusione.
La sfida è evitare contemporaneamente due errori: soffocare una tecnologia straordinaria e perdere il controllo di quella stessa tecnologia.
Non siamo davanti a Terminator
È importante ripeterlo perché il sensazionalismo può diventare nemico della stessa sicurezza che pretende di difendere.
Non abbiamo prove che i sistemi attuali possiedano una volontà autonoma paragonabile a quella umana. Non abbiamo prove che stiano costruendo segretamente un progetto per eliminare l’umanità. Non abbiamo davanti una nuova specie biologica pronta a combattere contro di noi.
Quando ogni errore di un modello viene raccontato come l’inizio di Matrix, il pubblico finisce inevitabilmente per considerare esagerato l’intero dibattito.
E così rischiamo di ignorare i problemi reali.
Un’intelligenza artificiale non deve voler conquistare il mondo per creare enormi danni.
È sufficiente che le affidiamo abbastanza potere e che il suo comportamento diverga abbastanza dalle nostre intenzioni.
La domanda non è se l’IA diventerà cattiva
Forse stiamo quindi ponendo la domanda sbagliata.
Continuiamo a chiederci quando l’intelligenza artificiale diventerà cosciente, se svilupperà una volontà propria e se un giorno deciderà di ribellarsi.
Sono domande filosoficamente affascinanti, ma non sono necessariamente quelle più urgenti.
La domanda concreta è un’altra: quanto potere siamo disposti a consegnare a un sistema prima di essere certi di saperlo controllare?
Quando un agente potrà gestire autonomamente una parte delle finanze di un’azienda, modificare software, utilizzare infrastrutture informatiche, interagire con altri agenti e prendere migliaia di decisioni al minuto, il problema non sarà stabilire se “prova qualcosa”.
Il problema sarà sapere se esiste sempre un essere umano capace di capire cosa sta accadendo e di fermarlo.
Il vero rischio è perdere il controllo gradualmente
Lo scenario più inquietante potrebbe quindi essere molto meno cinematografico di quello raccontato dalla fantascienza.
Non un giorno preciso nel quale una superintelligenza si sveglia e dichiara guerra all’umanità.
Piuttosto una sequenza di piccoli trasferimenti di responsabilità.
Prima chiediamo all’IA di scrivere una mail. Poi di rispondere autonomamente. Poi di organizzare un’agenda. Poi di acquistare qualcosa. Poi di negoziare un contratto. Poi di gestire una parte di un’impresa. Ogni singolo passaggio sembra ragionevole perché produce efficienza.
Finché, a un certo punto, ci accorgiamo che una quantità enorme di decisioni viene presa da sistemi che nessuna singola persona comprende completamente.
Non perché le macchine abbiano conquistato il potere.
Perché glielo abbiamo consegnato, un’autorizzazione alla volta.
Servono limiti comprensibili prima che sia troppo tardi
È anche per questo che nei giorni scorsi abbiamo ragionato sulla proposta di stabilire una sorta di “Dieci Comandamenti dell’intelligenza artificiale”: pochi principi fondamentali, comprensibili non soltanto agli ingegneri e agli avvocati, che definiscano ciò che un sistema non dovrebbe mai poter fare.
Il principio più importante potrebbe essere anche il più semplice: l’autorità finale deve restare umana.
Da questa regola ne discendono molte altre: un sistema non dovrebbe poter eludere deliberatamente la supervisione, nascondere le proprie azioni, acquisire autonomamente nuovi privilegi, sottrarsi allo spegnimento o compiere operazioni irreversibili ad alto impatto senza autorizzazione.
Le norme tecniche saranno inevitabilmente molto più complesse.
Ma una società ha bisogno anche di sapere quale principio quelle norme stanno cercando di difendere.
Non fermare l’IA, ma decidere chi comanda
L’intelligenza artificiale può diventare una delle tecnologie più importanti mai costruite dall’uomo. Può accelerare la ricerca scientifica, migliorare diagnosi mediche, aumentare la produttività, aiutare a progettare nuovi materiali, rend
Foto di julien Tromeur su Unsplash