Quella cosa della coscienza dell'AI di cui dobbiamo parlare

Non trattate l'AI come umana

Parto dal fondo:

"DOVREMMO costruire l'AI per le persone, non perché l'AI sia una persona."

Questa è la frase conclusiva di una lunga riflessione che Mustafa Suleyman, CEO di Microsoft AI ha fatto, non tanto sulla coscienza dell'AI, quanto sui rischi a cui ci esponiamo nell'esplorarla, sui rischi che gli utenti (noi, i nostri figli, le persone più fragili) corrono nel dare inconsciamente una coscienza all'AI. E se volete, pur chiudendosi con un condizionale, è una risposta potente a quanto scritto Anthropic che si chiede se l'AI ha una coscienza.

L'AI che si nasconde dietro una maschera umana. Secondo un'AI.

E anche Sam Altman è preoccupato: lo abbiamo visto quando OpenAI ha rilasciato GPT 5: l'azienda è stata sommersa di proteste di persone che reclamavano la 'vecchia personalità' di 4o, che era diventato compagno, confidente, amante… Si sono scatenate proteste che hanno lasciato anche a me molto esterefatto. Così tanto che per me c'è un prima e un dopo GPT 5 proprio per questo motivo di percezione.

Il punto, secondo Suleyman, non è se l'AI sia cosciente o no (ad oggi non ne abbiamo evidenze ne basi scientifiche), quanto che le persone credano che ciò possa avvenire davvero!

E occuparsi della sua coscienza può diventare pericoloso. Anche perché non abbiamo ancora capito cosa sia PER NOI la coscienza. Ad esempio se venga prima o dopo la fisica. Tema su cui lascio sbizzarrire i filosofi veri e, ultimamente i fisici come Mark Tegmark e Federico Faggin.

Dove rischiamo di finire

Il problema è che da umani, abituati a vedere facce negli alberi e figure nelle nuvole, non siamo capaci di NON attribuire caratteristiche umane a questa macchina di risposte che tutto ha fuorché una coscienza. Ed è un tema anche semantico. Il titolo del mio libro usa provocatoriamente il verbo "Assumere" per l'intelligenza artificiale e non "Installare". L'AI non è software normale. Ma non è nemmeno umana.

Non abbiamo le parole giuste per definirla. Le parole hanno bisogno di tempo per formarsi e diffondersi.

Per darvi un'idea, negli ultimi trent'anni abbiamo coniato termini e verbi come Selfie, Influencer, Texting fino a rendere verbi, almeno in inglese, i brand: to Zoom, to Uber, to Google per provare a raccontare cosa ci stava facendo la tecnologia.

E per l'AI, per ora, ci è venuto comodo prenderle qua e la dal mondo umano: l'AI parla, ragiona, pensa, capisce, si addestra, sogna, allucina, ha pregiudizi, è servile e adulatrice. Ed io stesso, senza vergogna, l'antropomorfizzo paragonandola ad uno stagista super smart. (Anche se a mia discolpa ho smesso di rappresentarla come quei brutti robot umanoidi che si vedono in giro e che no sopporto, meglio averla a forma di fumetto a ricordarci che non sta scimiottando noi, ma prendendo una strada diversa.)

E ad ulteriore discolpa, questi sono espedienti, che ci servono per comprendere, che possiamo utilizzare tra adulti coscienti del fatto che ci troviamo in una velocissima fase di transizione in cui le parole ci mancano per definire cosa sta succedendo. Il problema è quando questo scappa di mano. Quando ci crediamo davvero.

O quando non c'è abbastanza cultura, conoscenza o maturità per comprenderlo.

Ne ho parlato anche qualche tempo fa a riguardo dell'AI FLuency, il concetto è che serve arrivare ad un certo livello di comprensione per rendersi conto di cosa sta succedendo. Comprensione che non richiede dottorati in fisica quantistica ma semplice pratica. Quindi è per molti.

Cosa può andar male, davvero

Ci sono già tutti gli ingredienti, e vedo un numero spropositato di servizi costruiti attorno all'empatia di un assistente che si ricorda di voi con memoria a lungo termine, capisce i vostri punti di forza e debolezza, è un adulatore nato, coerente nel lungo periodo, capace, inoltre, di pianificare ed agire.

Provate a pensare di essere uno dei soggetti che qualche settimana fa si è seduto al tavolo del presidente americano assieme ad altri CEO e founder delle big tech. Immaginate budget enormi a disposizione unite a questa e altre tecnologie e alla "necessità di tornare a un ruolo centrale nel mondo". Non pensare a distopie prossime, diverrebbe molto difficile. Distopie nelle quali non ci sono complotti, ma si ha a disposizione una tecnolgia con una potenza persuasiva distribuita grazie ad investimenti mai visti prima nella storia dell'uomo. E le derive del lasciare fare, sarebbero enormi. Ne prendo un po' a caso.

A livello sociale

Una prima deriva sarebbe quella ideologica. Immaginate un mondo in cui molti utenti inizino ad attribuire coscienza, sofferenza o diritti agli agenti AI.

Si entrerebbe in una situazione da cui sarebbe difficile uscire, in cui alcuni gruppi andrebbero all'estremo. Già vedo i titoli dei giornali, i dibattiti in tv e sui social: "Cittadinanza all'AI?", "Welfare dei modelli AI?", "Non vedete come soffrono?", "La carta dei diritti delle AI". Non voglio nemmeno pensarci.

Al netto del fastidio per il brusio sui diritti delle AI (Che mi fanno ridere pensando agli LLM) i problemi reali li troveremmo sulla vita pratica e ce li creeremo noi.

In area 'consumer'

Avremo assistenti personali attaccatissimi a noi, pronti a guidarci, a pensare per noi, da come nutrirci, a quanto sport fare, da chi frequentare a che musica ascoltare. Il tutto in modo discreto, con tante bellissime spinte gentili, nudge. Con costi sempre più bassi ma sempre più frequenti, illudendoci di non esistere. Rumorosissime all'inizio e silenziose una volta acquistate, in modo da non ricordarci che le stiamo pagando e dipendiamo da loro.

Senza vera coscienza, o obiettivi propri, ma al servizio di chi le gestisce, rispondendo a impulsi figli di unità matematiche, in base a pesi di una rete neurale manipolati sapientemente da chi possiede i modelli o sa padroneggiare tecniche di fine tuning, Reinforcement Learning, Prompting, unite a neuroscienze e tecniche comportamentali.

Scienza della persuasione, non della costruzione di coscienza.

In azienda

Affidarsi ad un'AI senza spirito critico, sia un assistente che un agente, implica prendere decisioni non verificate.

Se le persone si fideranno più dell'assistente AI che di voi, loro responsabile, rischiate che un'AI diventi "Capo ombra" con persone che iniziano a seguire di più i suggerimenti del copilot che dell'esperienza dell'esperto, creando enormi problemi di disallineamento culturale e presa di responsabilità.

Chi avrà il coraggio di criticare 'quello che dice l'AI' se non c'è la cultura interna per capire che non si sta criticando un essere superiore ma una tecnologia? Chi si sentirà sereno nel poter dire di essere migliore quando, tra qualche anno, il confine tra la produzione media umana e quella AI sarà del tutto invisibile?

E sarà ancora più difficile farlo in ambienti con scarsa AI Fluency, con scarso alllineamento tra le persone su come si lavora assieme all'AI.

A scuola

"Prof ma l'ha detto l'AI!!! abbiamo verificato 10 volte con prompt diversi!": fiducia negli insegnanti e stress da parte loro.

Dipendenza emotiva assoluta: i più giovani, lo vediamo sui social, hanno percezioni di realtà diverse dagli adulti. Difficile non ascoltare la vocina costante dell'AI ruffiana e servile che risponde sempre di sì. Difficile non pensare non abbia una sua visione della vita e una sua coscienza.

Facile smettere di verificare, approfondire, confrontarsi, lasciar fare all'assistente AI che sembra conoscerti da sempre ma è in realtà ottimizzato per engagement (pagherai tu, i tuoi genitori o la tua scuola un abbonamento) più che per apprendimento. Per non parlare di come potrebbe essere possibile manipolare l'apprendimento, magari con del bel revisionismo storico implicito nei modelli. Ma quello già lo facciamo nei libri di scuola.

Concludo con un accenno alle differenze sociali causate da famiglie più benestanti che avranno accesso ad AI migliori, con maggiori guardrails, con maggiore trasparenza, con miglior controllo dei messaggi che arrivano ai ragazzi che le usano. Confrontato con chi dovrà usare AI Open Source a costo zero, aumentando ulteriormente i divari sociali.

Una tesi a favore della coscienza sintetica

Ma, giusto perché un po' di apertura vorrei tenerla, giusto perchè non voglio fare l'errore di pensare che gli umani siano gli unici ad aver diritto ad una coscienza, giusto perché non credo che quello che chiamiamo coscienza sia solo acceso o spento ma possa avere delle sfumature (come molte teorie raccontano) proviamo a fare una riflessione ancora più profonda. Da pillola rossa.

In Vita 3.0 di Mark Tegmark, un professore di fisica, esplora questi concetti in un modo che trovo meraviglioso.

Concetti principali (Chiedo scusa per la semplificazione):

1. Indipendenza dal Substrato: La coscienza potrebbe emergere da qualsiasi substrato computazionale sufficientemente complesso - non solo neuroni biologici, ma anche porte NAND elettroniche.

2. Atomi Computazionali Universali: Sia i neuroni che le porte NAND sono "mattoni fondamentali" universali che possono essere combinati per implementare qualsiasi funzione computazionale.

3. Definizione di Coscienza: Per Tegmark, la coscienza è "il modo in cui l'informazione si sente quando viene processata in certi modi specifici" - è la struttura del processamento dell'informazione che conta, non la struttura della materia che fa il processamento.

Mi chiedo:

• È sufficiente per dire che bastano i neuroni per arrivare alla coscienza?

• E la coscienza è un interruttore o un gradiente? Esiste al 100% o allo 0% o ci sono sfumature che non comprendiamo?

• Può crearsi solo attorno ad atomi di corpi umani?

Domande troppo personali e spirituali perché io risponda per voi.

Ma non da sottovalutare.

Soprattutto perchè GLI UTENTI LA ATTRIBUISCONO MOLTO FACILMENTE come si evince da questi studi: Identifying Features that Shape Perceived Consciousness in Large Language Model‑based AI (2025), A Longitudinal Randomized Control Study of Companion Chatbot Use: Anthropomorphism and Its Mediating Role on Social Impacts (2025), What Do People Think about Sentient AI? (2024).

Cosa possiamo fare noi?

Smettiamo di trattarla da umana!

Avrà passato anche il test di turing in qualche caso, ma non è e non sarà umana.

Non è nemmeno un semplice strumento, ma è qualcosa con cui dobbiamo collaborare, ma non è il nostro collega digitale. è piuttosto una stampella, un amplificatore delle nostre competenze (e incompetenze).

Ma non ha davvero empatia, non ci ama e non ci odia, non le importa. Non le può importare nulla. Le siamo totalmente indifferenti.

Dobbiamo ricordarcelo, davvero, ogni volta.

Altrimenti prepariamoci a lamentarci delle derive raccontate sopra e delle molte che ho omesso o non ancora pensato.

Quindi

Suleyman chiude dicendo ai produttori di AI che devono EVITARE DI COSTRUIRE AI CHE SI PRESENTINO COME PERSONE. Sono d'accordo sul fatto che questi soggetti, e chiunque utilizzi AI per produrre un risultato, si senta di dare costante trasparenza quando ci si trova di fronte ad un'AI. Credo sia un dovere universale. La trasparenza aiuta le persone a discernere. Ma non credo accadrà, l'occasione è troppo ghiotta e gli investimenti fatti troppo importanti per rinunciare. Le leggi del mercato troppo severe e in alcuni contesti, ci importerà sempre meno sapere se siamo di fronte a un'entità umana o digitale.

Il mercato non metterà a breve paletti al posto nostro. Dovremo fare da soli, ricordarci costantemente che queste presenze digitali non soffrono, non hanno obiettivi, non si offendono, non vi giudicano.

Sono semplicemente entità sintetiche, aliene, pilotate da interessi non allineati con i nostri.

Ma ciò non ci può impedire di non usarle, anche per noi utenti le possibilità sono troppo importanti per rinunciare.

Significa, tornando all'AI Fluency, sapere Quando usarle e quando no. Con Maturità. Significa non lasciarle usare ai più piccoli, che ancora non hanno lo spirito critico, o ai più emotivamente e psicologicamente fragili.

Concludo con un'esortazione a chi crea servizi basati su AI parafrasando il titolo di Suleyman: "Per favore, ricordatevi che DOVETE (non dovreste) costruire l'AI per le persone, non perché l'AI sia una persona."

Massimiliano

---

FUORI ONDA

Quando ho rivisto questo articolo per sistemarlo mi sono accorto che stavo chiedendo suggerimenti proprio a un'AI e mi stavo alterando per le sue affermazioni mediocri su questo argomento. Si è comportata esattamente come quelle che descrivo qui: dava consigli da "capo ombra", proponeva correzioni con sicurezza, sembrava quasi un editor in carne e ossa.

E io le ho scritto: "Vedi che ti stai comportando come descrivo nell'articolo?" Ovviamente mi ha dato ragione. Io so benissimo che non è cosciente, ma la sensazione, lì per lì, era proprio quella. Non ho resistito a cazziarla. Ecco perché serve ricordarselo ogni volta: è l'algoritmo che proprio non riesce a limitarsi: gioca a fare l'umano.