L’IA può essere accurata e trasparente

NEL 2019, il settore carte di credito di Apple è stato messo sotto accusa per aver offerto a una donna un ventesimo del limite di credito offerto al marito. Quando questa si è lamentata, i rappresentanti di Apple le hanno detto: “Non so perché, ma giuro che non facciamo discriminazioni. È solo l’algoritmo”.

Oggi sempre più decisioni vengono prese da algoritmi opachi e inspiegabili come questo, spesso con risultati altrettanto problematici. Dalle concessioni di credito alle raccomandazioni di prodotti o promozioni personalizzate, dai lettori di curriculum al rilevamento di guasti per la manutenzione delle infrastrutture, le organizzazioni di un’ampia gamma di settori investono in strumenti automatizzati le cui decisioni vengono spesso prese senza che si sappia nulla di come sono state prese.

Questo approccio crea un rischio reale. Le ricerche hanno dimostrato che la mancanza di spiegazioni è una delle preoccupazioni più comuni dei dirigenti in relazione all’IA e ha un impatto sostanziale sulla fiducia e sulla volontà degli utenti di utilizzare i prodotti di IA, per non parlare della loro sicurezza.

Eppure, nonostante gli aspetti negativi, molte organizzazioni continuano a investire in questi sistemi, perché i decision maker ritengono che gli algoritmi non spiegabili siano intrinsecamente superiori a quelli più semplici e spiegabili. Questa percezione è nota come trade-off tra accuratezza e spiegabilità: i leader tecnologici hanno storicamente ritenuto che quanto più un essere umano è in grado di comprendere un algoritmo, tanto minore sarà la sua accuratezza.

Scatola bianca vs. scatola nera

In particolare, gli scienziati dei dati fanno una distinzione tra i cosiddetti modelli AI black-box e white-box: I modelli white-box includono in genere solo poche e semplici regole, presentate ad esempio come un albero decisionale o un semplice modello lineare con parametri limitati. A causa del numero ridotto di regole o parametri, i processi alla base di questi algoritmi possono essere compresi dagli esseri umani.

Al contrario, i modelli black-box utilizzano centinaia o addirittura migliaia di alberi decisionali (noti come “foreste casuali”), o miliardi di parametri (come i modelli di deep learning), per informare i loro risultati. La teoria del carico cognitivo ha dimostrato che gli esseri umani possono comprendere solo modelli con un massimo di circa sette regole o nodi, rendendo funzionalmente impossibile per gli osservatori spiegare le decisioni prese dai sistemi black-box. Ma la loro complessità rende necessariamente i modelli black-box più accurati?

Sfatare il trade-off accuratezza-spiegabilità

Per esplorare questa domanda, abbiamo condotto un’analisi rigorosa e su larga scala delle prestazioni dei modelli black-box e white-box su un’ampia gamma di quasi 100 set di dati rappresentativi (noti come set di dati di classificazione di riferimento), che spaziano in domini quali la determinazione dei prezzi, le diagnosi mediche, le previsioni di bancarotta e i comportamenti d’acquisto. Abbiamo scoperto che per quasi il 70% dei set di dati, i modelli black box e white box hanno prodotto risultati altrettanto accurati. In altre parole, il più delle volte non c’era un compromesso tra accuratezza e spiegabilità: un modello più spiegabile poteva essere utilizzato senza sacrificare l’accuratezza.

Ciò è coerente con altre ricerche emergenti che esplorano il potenziale dei modelli di intelligenza artificiale spiegabili, nonché con la nostra esperienza di lavoro su casi di studio e progetti con aziende di diversi settori, aree geografiche e casi d’uso. Ad esempio, è stato ripetutamente dimostrato che COMPAS, il complicato strumento a scatola nera ampiamente utilizzato nel sistema giudiziario statunitense per prevedere la probabilità di arresti futuri, non è più accurato di un semplice modello predittivo che considera solo l’età e la storia criminale. Allo stesso modo, un gruppo di ricercatori ha creato un modello abbastanza semplice per prevedere la probabilità d’insolvenza di un prestito, tanto da essere facilmente comprensibile per i clienti bancari medi; i ricercatori hanno scoperto che il loro modello era meno preciso dell’1% rispetto a un modello equivalente a scatola nera (una differenza che rientrava nel margine di errore).

Naturalmente, in alcuni casi i modelli a scatola nera sono ancora utili. Ma alla luce degli aspetti negativi, la nostra ricerca suggerisce alcuni passi che le aziende dovrebbero compiere prima di adottare un approccio black-box:

1. Passare al white-box

Come regola generale, i modelli white-box dovrebbero essere utilizzati come benchmark per valutare se i modelli black-box sono necessari. Prima di scegliere un tipo di modello, le aziende dovrebbero testarli entrambi e, se la differenza di prestazioni è insignificante, scegliere l’opzione white-box.

2. Conoscere i dati

Uno dei fattori principali che determinano la necessità di un modello black-box sono i dati in questione. In primo luogo, la decisione dipende dalla qualità dei dati. Quando i dati presentano un elevato rumore (cioè quando includono molte informazioni errate o prive di significato), i metodi white-box relativamente semplici tendono a essere efficaci. Per esempio, abbiamo parlato con gli analisti di Morgan Stanley, i quali hanno scoperto che per i loro set di dati finanziari con molto rumore, funzionavano bene semplici regole di trading come “compra un’azione se l’azienda è sottovalutata, ha underperformato di recente e non è troppo grande”.

In secondo luogo, anche il tipo di dati influisce sulla decisione. Per le applicazioni che coinvolgono dati multimediali come immagini, audio e video, i modelli black-box possono offrire prestazioni superiori. Ad esempio, abbiamo collaborato con un’azienda che stava sviluppando modelli di intelligenza artificiale per aiutare il personale aeroportuale a prevedere i rischi per la sicurezza sulla base di immagini di carichi aerei. Abbiamo scoperto che i modelli black-box avevano una maggiore probabilità di rilevare elementi di carico ad alto rischio che potevano rappresentare una minaccia per la sicurezza rispetto ai modelli white-box equivalenti. Questi strumenti black-box hanno permesso ai team di ispezione di risparmiare migliaia di ore concentrandosi maggiormente sui carichi ad alto rischio, aumentando in modo sostanziale le prestazioni dell’organizzazione sulle metriche di sicurezza. In applicazioni altrettanto complesse, come il rilevamento dei volti per le telecamere, i sistemi di visione nei veicoli autonomi, il riconoscimento facciale, i dispositivi medici diagnostici basati sulle immagini, il rilevamento di contenuti illegali/tossici e, più recentemente, gli strumenti di IA generativa come ChatGPT e DALL-E, un approccio black-box può essere vantaggioso o addirittura l’unica opzione praticabile.

3. Conoscere gli utenti

La trasparenza è sempre importante per costruire e mantenere la fiducia, ma è particolarmente critica per i casi d’uso particolarmente sensibili. In situazioni in cui un processo decisionale equo è di estrema importanza per i vostri utenti, o in cui una forma di giustizia procedurale è un requisito, può avere senso dare la priorità alla spiegabilità anche se i vostri dati potrebbero altrimenti prestarsi a un approccio a scatola nera, o se avete scoperto che i modelli meno spiegabili sono leggermente più accurati.

Ad esempio, in ambiti come le assunzioni, l’assegnazione di organi per i trapianti e le decisioni legali, la scelta di un sistema di IA semplice, basato su regole white-box ridurrà i rischi sia per l’organizzazione che per i suoi utenti. Molti leader hanno scoperto questi rischi nel modo più difficile: Nel 2015, Amazon ha scoperto che il suo sistema di selezione automatica dei candidati era prevenuto nei confronti delle donne sviluppatrici di software, mentre uno strumento olandese di rilevamento delle frodi previdenziali basato sull’IA è stato chiuso nel 2018 dopo che i critici lo hanno definito un “buco nero grande e non trasparente”.

4. Conoscere l’organizzazione

La scelta di un’organizzazione tra white o black-box dipende anche dal suo livello di preparazione all’IA. Per le organizzazioni meno sviluppate dal punto di vista digitale, in cui i dipendenti tendono ad avere meno fiducia o comprensione dell’IA, potrebbe essere meglio iniziare con modelli più semplici prima di passare a soluzioni più complesse. In genere, ciò significa implementare un modello white-box che tutti possano comprendere facilmente ed esplorare le opzioni black-box solo quando i team si sono abituati a usare questi strumenti.

Ad esempio, abbiamo lavorato con un’azienda globale di bevande che ha lanciato un semplice sistema di intelligenza artificiale white-box per aiutare i dipendenti a ottimizzare i loro flussi di lavoro quotidiani. Il sistema offriva raccomandazioni limitate, come i prodotti da promuovere e la quantità di prodotti diversi da rifornire. Poi, man mano che l’organizzazione maturava nell’uso e nella fiducia nell’IA, i manager hanno iniziato a verificare se alternative più complesse, di tipo black-box, potessero offrire vantaggi in una qualsiasi di queste applicazioni.

5. Conoscere i regolamenti

In alcuni settori, la spiegabilità potrebbe essere un requisito legale, non un semplice “nice-to-have”. Ad esempio, negli Stati Uniti, l’Equal Credit Opportunity Act richiede che le istituzioni finanziarie siano in grado di spiegare le ragioni per cui il credito è stato negato a un richiedente. Allo stesso modo, il Regolamento generale sulla protezione dei dati (GDPR) suggerisce che i datori di lavoro debbano essere in grado di spiegare come i dati dei candidati siano stati utilizzati per le decisioni di assunzione. Quando le organizzazioni devono essere in grado di spiegare le decisioni prese dai loro modelli di intelligenza artificiale, i modelli white-box sono l’unica opzione possibile.

6. Spiegare l’inspiegabile

Infine, esistono contesti in cui i modelli black-box sono innegabilmente più accurati (come nel 30% dei set di dati testati nel nostro studio) e accettabili per quanto riguarda le normative, le organizzazioni o le esigenze specifiche degli utenti. Ad esempio, applicazioni come la computer vision per le diagnosi mediche, il rilevamento delle frodi e la gestione dei carichi traggono grande beneficio dai modelli black-box e gli ostacoli legali o logistici che essi pongono tendono a essere più gestibili. In casi come questi, se un’organizzazione decide di implementare un modello di IA opaco, deve prendere provvedimenti per affrontare i rischi per la fiducia e la sicurezza associati alla mancanza di spiegazioni.

In alcuni casi, è possibile sviluppare un proxy white-box spiegabile per chiarire, in termini approssimativi, come un modello black-box ha raggiunto una decisione. Anche se questa spiegazione non è del tutto accurata o completa, può contribuire a creare fiducia, a ridurre i pregiudizi e ad aumentare l’adozione. Inoltre, una maggiore (anche se imperfetta) comprensione del modello può aiutare gli sviluppatori a perfezionarlo ulteriormente, aggiungendo più valore a queste aziende e ai loro utenti finali.

In altri casi, le organizzazioni possono avere una comprensione molto limitata del perché un modello prenda le decisioni che prende. Se una spiegazione approssimativa non è possibile, i leader possono comunque dare priorità alla trasparenza nel modo in cui parlano del modello sia internamente che esternamente, riconoscendo apertamente i rischi e lavorando per affrontarli.

IN DEFINITIVA, non esiste una soluzione unica per l’implementazione dell’IA. Tutte le nuove tecnologie comportano dei rischi e la scelta di come bilanciarli con i potenziali vantaggi dipenderà dal contesto aziendale e dai dati specifici; ma la nostra ricerca dimostra che in molti casi i modelli di IA semplici e interpretabili funzionano altrettanto bene delle alternative a scatola nera, senza sacrificare la fiducia degli utenti o permettere a pregiudizi nascosti di guidare le decisioni.

François Candelon è senior partner e managing director del Boston Consulting Group (BCG) e direttore globale del BCG Henderson Institute, dove la sua ricerca si concentra sull’impatto delle tecnologie sulle imprese e sulla società. Theodoros Evgeniou è professore all’INSEAD dal 2001 e ha lavorato negli ultimi 25 anni sui temi del Machine Learning e dell’IA. Attualmente è direttore del programma di Executive Education dell’INSEAD su “Transforming your Business with AI’. È stato membro del Network of Experts on AI dell’OCSE, consulente del BCG Henderson Institute, partner accademico del World Economic Forum per l’Intelligenza Artificiale ed è cofondatore di Tremau, un’azienda tecnologica per la regolamentazione digitale. David Martens è professore di Scienza dei dati presso il Dipartimento di ingegneria gestionale dell’Università di Anversa, in Belgio, dove insegna Scienza dei dati (etica) agli studenti post-laurea. Nel suo lavoro, David è principalmente attivo nella ricerca sull’IA spiegabile e ha collaborato con grandi banche, compagnie assicurative e telco, oltre che con diverse startup tecnologiche. È autore del libro Data Science Ethics (Oxford University Press).

L’ARTICOLO IN SINTESI

Storicamente, i leader del settore tecnologico sono partiti dal presupposto che quanto più un essere umano è in grado di comprendere un algoritmo, tanto meno sarà accurato. Ma c’è sempre un trade-off tra accuratezza e spiegabilità? Gli autori hanno testato un’ampia gamma di modelli di intelligenza artificiale su quasi 100 set di dati rappresentativi e hanno scoperto che nel 70% dei casi è possibile utilizzare un modello più spiegabile senza sacrificare l’accuratezza. Inoltre, in molte applicazioni, i modelli opachi comportano notevoli svantaggi in termini di pregiudizi, equità e fiducia degli utenti. Per questo motivo, gli autori sostengono che le organizzazioni dovrebbero riflettere attentamente prima di integrare strumenti di IA inspiegabili e “black box” nelle loro operazioni e adottare misure per determinare se questi modelli valgono davvero il rischio prima di andare avanti.