Perché vi occorre un comitato etico per l’IA

Nel 2019, uno studio pubblicato sulla rivista Science ha rivelato che l'intelligenza artificiale di Optum, usata da molti sistemi sanitari per identificare i pazienti ad alto rischio che avrebbero dovuto ricevere un follow-up periodico, spingeva i medici a dedicare più attenzione ai bianchi che ai neri. Solo il 18% delle persone identificate dall'IA erano di colore, mentre l'82% erano bianche. Dopo aver esaminato i dati sui pazienti che erano effettivamente i più malati, i ricercatori hanno calcolato che quelle percentuali avrebbero dovuto essere, rispettivamente, il 46% e il 53%. L'impatto era molto rilevante: secondo i ricercatori, l'IA era stata applicata ad almeno 100 milioni di pazienti.

Pur non avendo mai pensato di discriminare i neri, i data scientist e gli executive coinvolti nella creazione dell'algoritmo di Optum erano caduti in una trappola straordinariamente comune: addestrare l'IA con dati che riflettono una discriminazione secolare e producono output condizionati da pregiudizi culturali. In questo caso specifico, i dati utilizzati dimostravano che i neri ricevevano meno assistenza sanitaria, il che spingeva l'algoritmo a dedurre erroneamente che avessero bisogno di meno aiuto.

Ci sono tanti rischi etici ben documentati e largamente pubblicizzati che si associano all'IA: pregiudizi involontari e violazioni della privacy sono solo due dei più visibili. In molti casi i rischi sono strettamente legati a determinati utilizzi, come la possibilità che le automobili autoguidate investano dei pedoni o che le newsfeed generate dall'IA per i social media creino sfiducia nelle istituzioni pubbliche. A volte creano serie minacce sul piano reputazionale, regolatorio, finanziario e legale. Poiché l'IA è strutturata per operare su vasta scala, quando insorge un problema esso incide su tutte le persone che hanno a che fare con una determinata tecnologia - per esempio tutti coloro che rispondono a un'inserzione per la ricerca di personale o tutti coloro che chiedono un mutuo in banca. Se le aziende non affrontano seriamente i problemi etici della pianificazione e dell'esecuzione di progetti IA, rischiano di sprecare tempo e denaro in quantità nello sviluppo di un software che si dimostrerà troppo rischioso da usare o da vendere, come hanno già scoperto in tante.

La strategia IA della vostra organizzazione deve rispondere a tutta una serie di domande: quali rischi etici potrebbe creare l'IA che stiamo progettando, sviluppando o impiegando? Se li ignoriamo, quanto ci costerà, in termini di tempo e di risorse, rispondere a un'indagine dei regolatori? Quanto potremmo pagare di multa se ci giudicassero colpevoli di violazione di leggi o regolamenti? Quanto dovremmo spendere per recuperare la fiducia dei consumatori e dell'opinione pubblica, ammesso che i soldi possano risolvere il problema?

Le risposte che darete a queste domande confermeranno quanto sia necessario per la vostra organizzazione un programma di prevenzione dei rischi etici connessi all'IA. Il programma deve partire dal top management e permeare tutti i livelli della struttura - e, ovviamente, anche la tecnologia. In questo articolo mi concentrerò su un elemento cruciale del programma, un comitato etico per i rischi legati all'IA, e spiegherò perché deve assolutamente includere esperti di etica, avvocati, tecnologi, esperti di strategia e identificatori di pregiudizi. Poi descriverò le condizioni necessarie per l'efficacia del comitato in una grande impresa.

Ma prima, per dimostrare quanto sia importante un comitato di questo tipo, esaminerò approfonditamente il tema dell'IA discriminatoria. Tenete presente che è solo uno dei rischi che comporta l'IA; ce ne sono tanti altri che vanno analizzati anch'essi in modo sistematico.

Come e perché l'IA discrimina?

Due fattori fanno dei bias nell'IA un problema molto grave: possono causarlo un'ampia varietà di percorsi accidentali e non esiste un rimedio puramente tecnico.

Le fonti di pregiudizio nell'IA sono numerose. Come ho osservato in precedenza, la discriminazione reale si riflette spesso nei dati utilizzati per addestrarla. Per esempio, uno studio effettuato nel 2019 dalla newsroom senza fini di lucro The Markup ha rivelato che le banche erano più inclini a negare mutui per la casa a persone di colore che a bianchi con caratteristiche finanziarie analoghe. Utilizzando 17 fattori costanti in una analisi statistica su oltre due milioni di domande di mutui tradizionali per l'acquisto della casa, i ricercatori hanno scoperto che le banche avevano l'80% di probabilità in più di respingere le domande dei neri rispetto a quelle dei bianchi. I programmi IA costruiti su dati storici relativi ai mutui tendono perciò a negare gli affidamenti alle persone di colore.

In alcuni casi la discriminazione è il prodotto di un sottocampionamento dei dati relativi a popolazioni su cui andrà a incidere l'IA. Supponete di aver bisogno di dati sulle abitudini di viaggio dei pendolari per stabilire gli orari dei mezzi pubblici; perciò, raccogliete informazioni sulle geolocalizzazioni degli smartphone nelle ore di punta. Il problema è che il 15% degli americani, ossia circa 50 milioni di persone, non possiedono uno smartphone. Molti non possono semplicemente permetterselo. I meno agiati, dunque sarebbero sottorappresentati nei dati utilizzati per addestrare la vostra IA. Di conseguenza, essa tenderebbe a prendere decisioni che vanno a beneficio dei quartieri più benestanti.

Un altro problema comune è rappresentato dal proxy bias. In una delle sue indagini, ProPublica ha ottenuto i tassi di recidività attribuiti a oltre 7.000 persone arrestate nella Broward County, in California, nel 2013 e nel 2014. Quei punteggi, che venivano generati dall'IA, avrebbero dovuto predire quali imputati avevano maggiori probabilità di commettere altri reati entro due anni dall'arresto, aiutando così i giudici a stabilire l'entità della cauzione e della pena. Quando ProPublica è andata a controllare quanti imputati erano stati condannati effettivamente nei due anni successivi, ha scoperto che le previsioni di incidenza delle recidive erano inaffidabili. Per esempio, solo il 20% di coloro che nelle previsioni dell'IA avrebbero dovuto commettere crimini violenti li avevano perpetrati effettivamente. L'algoritmo responsabile dei punteggi aveva anche il doppio di probabilità di segnalare erroneamente imputati neri come futuri delinquenti rispetto agli imputati bianchi.

Anche se Northpointe, la società che aveva sviluppato l'algoritmo dell'IA, ha messo in discussione le scoperte di ProPublica (ne riparleremo tra poco), vale certamente la pena di esaminare il pregiudizio sottostante. In altre parole, ci possono essere due sottopopolazioni che commettono dei reati con la stessa incidenza percentuale, ma se una di esse viene sorvegliata più dell'altra, forse a causa di un pregiudizio razziale, farà registrare tassi di arresto più elevati a parità di delitti commessi. Perciò, quando usano i tassi di arresto come indicatore sintetico dell'incidenza effettiva dei reati, gli sviluppatori dell'IA producono un software che afferma erroneamente che una popolazione è più incline dell'altra a commetterli.

In alcuni casi il problema sta nell'obiettivo che avete fissato per la vostra IA - ossia nella decisione che avete preso su ciò che dovrebbe predire. Per esempio, se volete stabilire chi dovrebbe subire il trapianto polmonare, potreste preferire dei pazienti più giovani per massimizzare il numero di anni di utilizzo dei polmoni trapiantati. Ma se chiedeste alla vostra IA di decidere quali pazienti avrebbero le maggiori probabilità di usare più a lungo i polmoni, discriminereste involontariamente i pazienti di colore. Perché? Perché stando al Centers for Disease Control and Prevention's National Center for Health Statistics, l'aspettativa di vita alla nascita per l'intera popolazione degli Stati Uniti è di 77,8 anni, mentre l'aspettativa di vita per la popolazione di colore è di appena 72 anni.

Affrontare problemi di questo tipo non è facile. La vostra azienda potrebbe non essere in grado di spiegare diseguaglianze storiche dei dati o non avere le risorse necessarie per prendere una decisione ben informata sulla discriminazione operata dall'IA. E questi esempi sollevano un interrogativo più ampio: quando è eticamente accettabile produrre effetti differenziali tra sottopopolazioni e quando è un insulto al principio di uguaglianza? Le risposte variano da un caso all'altro, e non si possono trovare modificando gli algoritmi dell'IA.

Arriviamo così al secondo ostacolo: l'incapacità della tecnologia - e dei tecnologi - di risolvere efficacemente il problema della discriminazione.

Al livello più elevato, l'IA prende una serie di input, effettua vari calcoli e crea una serie di output: inserite dati su coloro che chiedono mutui ipotecari e l'IA produce decisioni sulle domande da accogliere e da respingere. Inserite dati sulle transazioni effettuate - dove, quando e da parte di chi - e l'IA genera valutazioni sulla loro legittimità o sulla loro illegittimità. Inserite dati sui precedenti penali, sul curriculum e sui sintomi e l'IA formula giudizi previsionali, rispettivamente, sul rischio di recidive, sulla validità potenziale dei colloqui di selezione e sulle condizioni sanitarie delle persone.

Una cosa che fa effettivamente l'IA è dispensare benefici: mutui, sentenze più lievi, colloqui di assunzione e così via. E se avete informazioni sulla situazione demografica dei destinatari, allora potete vedere come vengono distribuiti quei benefici tra le varie sottopopolazioni. Poi potreste domandarvi se è una distribuzione equa e ragionevole. E se siete dei tecnologi, potreste tentare di rispondere a questa domanda applicando una o più delle metriche quantitative di correttezza identificate dalle sempre più corpose ricerche sull'apprendimento delle macchine.

I problemi non mancano di certo con questo approccio. Forse il più grave è che esistono una ventina di parametri quantitativi sulla correttezza, ma non sono compatibili tra loro: è impossibile essere corretti contestualmente in base a tutti quanti.

Per esempio, Northpointe, lo sviluppatore di COMPAS, il software che fornisce valutazioni sul rischio di recidiva degli imputati, ha risposto alle accuse di discriminazione osservando che utilizzava un parametro quantitativo perfettamente lecito per misurare la correttezza. COMPAS mirava in particolare a massimizzare il livello di accuratezza e l'identificazione di possibili recidivi tra imputati bianchi e di colore. Ma ProPublica ne usava uno diverso: la percentuale di falsi positivi tra imputati bianchi e di colore. Northpointe voleva massimizzare i veri positivi, mentre ProPublica voleva minimizzare i falsi positivi. Il problema è che non si possono fare entrambe le cose. Quando massimizzate i veri positivi, fate aumentare i falsi positivi, e quando minimizzate i falsi positivi, fate diminuire i veri positivi.

Qui gli strumenti tecnici non bastano proprio. Possono dirvi quanto incideranno su vari parametri di correttezza le modifiche apportate alla vostra IA, ma non possono dirvi quali parametri usare. Bisogna esprimere un giudizio etico e di convenienza commerciale a questo riguardo e data scientist e ingegneri non sono attrezzati per farlo. La ragione non ha nulla a che fare con il loro carattere; è semplicemente che la stragrande maggioranza di loro non ha alcuna esperienza e nessuna formazione alla gestione di dilemmi etici complessi. La soluzione, perciò, consiste anche nella creazione di un comitato etico per i rischi che si associano all'IA, con l'expertise giusta e l'autorità necessaria per avere un impatto effettivo.

La funzione e la giurisdizione di un comitato etico per l'IA

Il comitato etico per l'IA può essere un nuovo ente, o un ente precostituito a cui viene assegnata questa responsabilità aggiuntiva. E se la vostra organizzazione è particolarmente grande, potreste averne bisogno di più d’uno.

A livello strategico, la funzione del comitato è semplice: identificare sistematicamente ed esaurientemente i rischi etici di prodotto basati sull'IA che vengono sviluppati all'interno o acquistati da soggetti terzi, e contribuire ad attenuarli. Quando il team di prodotto e il team degli acquisti gli sottopongono la proposta di una soluzione IA, il comitato deve confermare che la soluzione non pone seri rischi di carattere etico, suggerire delle modifiche e riesaminarla dopo la loro adozione, o sconsigliarne del tutto lo sviluppo o l'acquisto.

Una cosa importante da chiedersi è quanta autorità dovrebbe avere il comitato. Se consultarlo non è obbligatorio ma meramente consigliato, lo faranno solo alcuni dei vostri team. E solo alcuni di essi applicheranno le sue raccomandazioni. È una scelta rischiosa. Se l'etica sta in cima ai valori della vostra azienda, conferire al comitato il potere di veto sulle proposte è una buona idea: in questo modo avrà un impatto reale sul business.

Potete rafforzare il suo lavoro anche premiando, sia informalmente (per esempio elogiandoli pubblicamente nei meeting aziendali) sia formalmente (con delle promozioni), i dipendenti che hanno difeso e sostenuto gli standard etici definiti per l'IA.

Quando al comitato etico si attribuisce un potere effettivo, ciò permette di costruire un rapporto di fiducia con i dipendenti, i clienti e i consumatori, e con altri stakeholder come il Governo, specie se l'organizzazione è trasparente sulle attività del comitato - e non necessariamente anche sulle sue decisioni. Tuttavia, le aziende che non sono pronte a conferire questo livello di autorità al comitato interno a credono fermamente nella necessità di attenuare i rischi etici possono ancora trovare un terreno intermedio. Possono consentire a un senior executive, quasi sempre un membro del gruppo dirigente, di prevalere sul comitato etico, il che consentirebbe all'azienda di assumersi dei rischi etici che considera accettabili a fronte dei benefici commerciali e finanziari.

Chi dovrebbe far parte del comitato?

È venuto il momento di esaminare un po' più in profondità l'expertise interfunzionale dei componenti: chi dovrebbe far parte del vostro comitato etico per l'IA, e perché?

Esperti di etica. Potrebbero essere, mettiamo, dei superlaureati in filosofia specializzati in etica, o studiosi di etica penale o professionale (con particolare riferimento al settore in cui operate). Ma non sono lì per prendere decisioni sull'etica dell'azienda. Sono lì perché hanno la formazione, le conoscenze e l'esperienza che occorrono per identificare e soppesare una vasta gamma di rischi etici, hanno familiarità con concetti e distinzioni che sono preziosi nelle scelte etiche e possono aiutare i vari gruppi a valutare obiettivamente i problemi etici. Ma non vuol dire che dobbiate avere in organico degli esperti di etica a tempo pieno; potete ingaggiarli e consultarli tutte le volte che le circostanze lo richiedono.

Avvocati. Poiché gli strumenti tecnici non bastano a risolvere il problema del pregiudizio culturale, ciò che è legalmente possibile diventa spesso una considerazione importante.

Gli avvocati, naturalmente, sono più attrezzati di chiunque altro per stabilire se l'utilizzo di un parametro di correttezza che ha effetti diversi su sottogruppi diversi si possa considerare legalmente una forma di discriminazione. Ma possono anche contribuire a stabilire se l'uso di strumenti tecnici per valutare la correttezza sia legale in se stesso. Potrebbe essere proibito dalla normativa antidiscriminazione, che vieta di tener conto dei dati su variabili che si associano alle categorie protette in una vastissima gamma di decisioni.

Esperti di strategia aziendale. I ritorni finanziari attesi sull'IA differiscono da un utilizzo all'altro, al pari dei rischi commerciali (sono state fatte delle promesse ai clienti, e sono stati firmati dei contratti). Variano anche l'entità e le tipologie dei rischi etici, insieme alle strategie da adottare per affrontarli e agli investimenti di tempo e di denaro che comporteranno queste strategie.

Allora quali tattiche di attenuazione dei rischi etici adottare, quando adottarle, chi dovrebbe adottarle eccetera, è una scelta prettamente strategica. Anche se tendo a dare la priorità all'identificazione e alla attenuazione del rischio etico, devo ammettere che in alcuni casi quel rischio è abbastanza limitato e che altri rischi commerciali e finanziari sono abbastanza consistenti da rendere ragionevole un approccio "bilanciato". Ecco perché avere nel comitato qualcuno che conosce a fondo le necessità del business è assolutamente necessario dal punto di vista strategico.

Tecnologi. Ho già spiegato cosa non possono fare i tecnologi, ma adesso devo spiegare cosa possono fare: aiutare altri soggetti a comprendere i fondamenti tecnici dei modelli IA, stimare la probabilità di successo di varie strategie di attenuazione del rischio e verificarne la fattibilità.

Per esempio, l'uso della tecnologia per evidenziare un possibile bias presuppone che la vostra organizzazione abbia e sappia usare dati demografici per stabilire come l'output di un modello distribuisce beni e servizi su varie sottopopolazioni. Ma se non avete questi dati demografici o, come avviene nei servizi finanziari, non potete legalmente raccoglierli, vi ritroverete con le mani legate. Dovrete adottare altre strategie - come creare dati sintetici per addestrare la vostra IA. E se quelle strategie sono tecnologicamente possibili - e in caso affermativo, quanto pesano sull'operatività - è qualcosa che può dirvi solo un tecnologo. Quelle informazioni devono riuscire a entrare nelle decisioni del comitato.

Esperti di pregiudizi nella materia specifica. Gli strumenti tecnici per l'attenuazione del rischio misurano l'output dei modelli IA - dopo la scelta dei data set e l'addestramento dei modelli. Se rilevano un problema che non si può risolvere con modifiche relativamente minimali, dovrete ricominciare daccapo. Avviare l'attenuazione del rischio nella prima fase dello sviluppo del prodotto - mentre si raccolgono i dati e prima di addestrare il modello - sarebbe molto più efficiente e accrescerebbe sensibilmente le vostre probabilità di successo.

Ecco perché dovreste inserire nel comitato persone in grado di individuare bias cognitivi e culturali già nelle prime fasi del processo. Gli esperti della materia specifica sono generalmente bravi in questo. Se la vostra IA verrà impiegata in India, per esempio, allora un profondo conoscitore della società indiana dovrebbe partecipare al suo sviluppo. Quella persona potrebbe rendersi conto che il modo in cui sono stati raccolti i dati potrebbe avere sottocampionato alcuni segmenti della popolazione - o che il raggiungimento dell'obiettivo fissato per l'IA potrebbe esacerbare una ineguaglianza già presente nel paese.

Un comitato autorevole che supervisiona le implicazioni etiche dell'IA è uno strumento essenziale per identificare e attenuare i rischi di una tecnologia ultra-avanzata che promette grosse opportunità. Non dedicare la massima attenzione ai criteri di formazione del comitato e al ruolo che dovrà assumere all'interno della vostra organizzazione potrebbe essere devastante per la reputazione della vostra azienda, e più ancora per la sua bottom line.

Reid Blackman è fondatore e CEO di Virtue, una società di consulenza specializzata nella valutazione e nella gestione dei rischi etici, e senior adviser del Deloitte AI Institute. È l'autore di Ethical Machines: Your Concise Guide to Totally Unbiased, Transparent, and Respectful AI (Harvard Business Review Press, 2022), da cui è ricavato questo articolo.