Perché vi occorre un comitato etico per l’IA

Nel 2019, uno studio pubblicato sulla rivista Science ha rivelato che l'intelligenza artificiale di Optum, usata da molti sistemi sanitari per identificare i pazienti ad alto rischio che avrebbero dovuto ricevere un follow-up periodico, spingeva i medici a dedicare più attenzione ai bianchi che ai neri. Solo il 18% delle persone identificate dall'IA erano di colore, mentre l'82% erano bianche. Dopo aver esaminato i dati sui pazienti che erano effettivamente i più malati, i ricercatori hanno calcolato che quelle percentuali avrebbero dovuto essere, rispettivamente, il 46% e il 53%. L'impatto era molto rilevante: secondo i ricercatori, l'IA era stata applicata ad almeno 100 milioni di pazienti.

Pur non avendo mai pensato di discriminare i neri, i data scientist e gli executive coinvolti nella creazione dell'algoritmo di Optum erano caduti in una trappola straordinariamente comune: addestrare l'IA con dati che riflettono una discriminazione secolare e producono output condizionati da pregiudizi culturali