Non lasciate che un fallimento dell’IA danneggi il vostro brand

Nell’ottobre del 2023 un veicolo a guida autonoma (VGA) gestito da Cruise, una società di robotaxi controllata da General Motors, fu coinvolto in un grave incidente stradale a San Francisco: una Nissan guidata da un essere umano aveva investito una donna scagliandola sotto le ruote del VGA. Secondo un’indagine indipendente condotta da una società di consulenze ingegneristiche, in circostanze come quelle dell’incidente anche un guidatore umano non sarebbe stato in grado di sterzare in tempo per evitare l’impatto. Il problema era che il rapporto iniziale di Cruise alle autorità di regolamentazione aveva omesso di menzionare che la vittima dopo l’impatto era stata trascinata dal VGA per 6 metri; la donna aveva riportato ferite gravi, ma era sopravvissuta.

Anche se la collisione non era avvenuta per colpa del VGA di Cruise, l’incidente innescò una crisi per l’azienda. La mancanza di trasparenza di cui aveva dato prova le costò una multa da 1,5 milioni di dollari da parte della NHTSA (l’Amministrazione nazionale per la sicurezza della circolazione stradale) e fece scattare un’indagine penale del Dipartimento di giustizia: alla fine la Cruise si accordò per la via stragiudiziale, accettando di pagare una multa da 500.000 dollari. Ma la faccenda non finì lì: le autorità di San Francisco revocarono la licenza, metà della forza lavoro della Cruise perse il posto, l’amministratore delegato si dimise e il titolo azionario crollò di oltre il 50%. Le scosse si fecero sentire anche nel settore dei VGA più in generale: pochi mesi dopo, un taxi a guida autonoma della Waymo (società controllata da Alphabet) fu attaccato e dato alle fiamme da una folla a San Francisco e la NHTSA aprì inchieste su una serie di costruttori di VGA, fra cui Waymo e Zoox (quest’ultima controllata da Amazon). Alla fine del 2024 la General Motors ha annunciato l’abbandono definitivo della sua attività nel settore dei robotaxi.

L’IA si sta diffondendo rapidamente in tutti i campi, dalle automobili ai chatbot, ma l’esempio della Cruise mette in evidenza una cruda realtà: prima o poi l’intelligenza artificiale può sbagliare. E quando questo succede, molte organizzazioni, sia che abbiano costruito direttamente i loro sistemi di IA sia che abbiano integrato alle loro attività quelli di altri, si ritrovano nel mirino dell’opinione pubblica. È stato scritto molto su come promuovere l’IA in modo da incoraggiare la gente ad adottarla, ma non è stata dedicata altrettanta attenzione a come farlo in modo tale da essere pronti a gestire il contraccolpo degli inevitabili insuccessi.

Negli ultimi sette anni ho condotto altrettanti studi sui pericoli di questi insuccessi dell’IA dal punto di vista del marketing. Da queste ricerche ho estratto alcune indicazioni su come i consumatori percepiscono e reagiscono ai fallimenti dell’intelligenza artificiale. Un’azienda prudente deve tenere la guardia alta contro le cinque insidie legate all’atteggiamento dei consumatori, sia prima che succeda un incidente sia dopo che è successo. In questo articolo, esaminerò cosa possono fare le aziende per prepararsi ai fiaschi dell’IA (e cosa devono fare dopo). Analizzerò i metodi che usano le imprese per promuovere le loro IA e cercherò di capire se le tattiche adottate presentano dei rischi. Descriverò nel dettaglio cosa hanno fatto alcune organizzazioni per reagire ai fiaschi dell’IA e fornirò ai manager consigli pratici per promuovere i loro sistemi di IA proteggendo al tempo stesso il valore del marchio e accrescendo la fiducia dei consumatori. Andiamo a guardare queste cinque insidie, una alla volta.

LA GENTE PER PRIMA COSA DÀ LA COLPA ALL’IA

Per comprendere meglio perché la reazione dell’opinione pubblica e delle autorità di regolamentazione all’incidente stradale in cui fu coinvolto il VGA della Cruise fu così violenta, ho realizzato, insieme ai miei colleghi, uno studio con più di 5.000 partecipanti, a cui abbiamo presentato lo scenario di un incidente simile a quello della Cruise, con un guidatore umano che investe un pedone scagliandolo contro un secondo veicolo (esente da colpe): i partecipanti erano divisi in due gruppi, uno che riceveva l’informazione che il secondo veicolo era a guida autonoma e l’altro che riceveva l’informazione che era guidato da un essere umano, e ognuno doveva esprimere un giudizio sul grado di responsabilità del produttore del secondo veicolo.

Se il veicolo era a guida autonoma, i partecipanti tendevano ad attribuire al produttore responsabilità maggiori che nel caso del guidatore umano, anche se in entrambi i casi l’automezzo non avrebbe potuto fare nulla per evitare l’incidente. Un gruppo di ricercatori indipendente ha ottenuto lo stesso risultato in Cina, a riprova che il pregiudizio è diffuso in tutti i contesti culturali.

Dare la colpa all’IA in casi del genere è ingiustificato: i partecipanti, distratti dal fatto che l’IA è una cosa nuova, immaginano quello che sarebbe potuto succedere senza, e tendono a immaginare come si sarebbe comportato un guidatore perfetto. In pratica, pretendono che l’IA rispetti parametri più elevati di quello che sarebbe ragionevole. Per esempio, arrivano alla conclusione che il VGA avrebbe potuto evitare la collisione sterzando in qualche modo prima dell’impatto, anche se era impossibile. Questi scenari ipotetici immaginari li inducono ad attribuire al VGA responsabilità maggiori di quelle che attribuirebbero a un essere umano che si trovasse nella stessa situazione.

In test successivi abbiamo scoperto che spostando invece l’attenzione sul guidatore umano del veicolo che aveva causato l’incidente in partenza, i partecipanti erano meno inclini a considerare l’IA responsabile. Quando l’attenzione viene dirottata dalla novità che rappresenta l’IA ad altri fattori salienti, la gente è meno propensa a costruirsi nella testa scenari irrealistici. Ma distogliere l’attenzione dal fatto che l’IA è una cosa nuova non dev’essere confuso con l’agire deliberatamente per sviare le parti interessate. I manager di un’azienda devono evitare di occultare dettagli sul ruolo dell’IA negli incidenti. I vertici della Cruise, se da un lato avevano richiamato l’attenzione sulla responsabilità del guidatore umano dell’altro veicolo, dall’altro avevano omesso di rivelare che il loro VGA aveva causato ulteriori lesioni alla donna investita trascinandola per 6 metri. Quando questa cosa venne fuori, la Cruise perse il controllo della narrazione sui media e perse anche la fiducia delle autorità di regolamentazione.

QUANDO UN’IA FA CILECCA, LA GENTE PERDE FIDUCIA ANCHE NELLE ALTRE

Le ripercussioni dell’incidente della Cruise su altri operatori del settore come Waymo e Zoox sono il segno di un altro rischio associato agli insuccessi dell’IA: quando l’IA di un’azienda fa cilecca, la gente tende a pensare che anche i sistemi di IA di altre aziende siano ugualmente difettosi. Questo “effetto contaminazione” può influenzare negativamente la percezione di varie forme di IA tra le persone.

Uno studio condotto dai professori Chiara Longoni, Luca Clan ed Ellie Kyung offre un eccellente esempio di come avviene questa contaminazione. I ricercatori avevano illustrato ai 3.724 partecipanti all’esperimento un problema che si era verificato nello Stato dell’Arkansas: una persona disabile non aveva ricevuto le indennità che le spettavano. Ad alcuni dei partecipanti era stato detto che la colpa era di un dipendente umano e ad altri, invece, di un algoritmo. Poi i ricercatori avevano chiesto loro quanto ritenessero probabile che un dipendente o un algoritmo di un altro Stato (il Kentucky) potesse a sua volta commettere un errore nell’assegnazione delle indennità di disabilità: nel caso dell’algoritmo, i partecipanti che risposero di aspettarsi un secondo errore erano più numerosi che nel caso del dipendente umano. I ricercatori replicarono questo effetto per diversi altri casi di errori dell’IA, come l’attribuzione sbagliata di assegni previdenziali.

Le risposte dei partecipanti, come hanno scoperto i ricercatori, nascevano dal fatto che molte persone non hanno una chiara comprensione di come funziona l’IA. Tendono a pensare che le soluzioni di intelligenza artificiale siano un insieme omogeneo, che condivide le stesse caratteristiche di fondo: non le considerano come sistemi distinti, che hanno capacità differenti e anche differenti difetti.

Per evitare di subire la contaminazione degli insuccessi altrui, un’azienda deve mettere in risalto le differenze tra i suoi sistemi di IA e quelli dei concorrenti, per esempio sul piano degli algoritmi proprietari, delle misure di sicurezza e della supervisione umana. Prendiamo il caso di Claude, il modello di IA generativa costruito e commercializzato da Anthropic e definito da quest’ultima «un assistente IA di nuova generazione […] addestrato per aiutarvi a svolgere al meglio il vostro lavoro in modo attendibile, accurato e sicuro». Anthropic dice che addestra Claude usando un approccio «costituzionale», più trasparente, interpretabile e in linea con i valori umani, tutti aspetti che distinguono nettamente il suo modello di IA da concorrenti famosi come ChatGPT e Bard, che vengono addestrati in modo differente e sono stati accusati di produrre distorsioni e generare informazioni non accurate. Nel momento in cui una di queste aziende concorrenti dovesse rimediare una brutta figura, Anthropic avrà già preparato il terreno per limitare il rischio di contaminazione.

Un’altra misura preventiva è comunicare in quali casi l’IA è supervisionata da un essere umano con quest’ultimo a decidere se dare seguito alle raccomandazioni della macchina. In un sistema con presenza di esseri umani nell’equazione, se qualcosa va storto la gente è meno incline a dare per scontato che altre IA presentino gli stessi difetti, probabilmente perché l’incidente non viene visto come una prova a carico dell’IA in generale.

LA GENTE INCOLPA DI PIÙ LE AZIENDE CHE ESALTANO LA LORO IA

Tesla chiama il suo sistema di guida assistita Autopilot, anche se prevede la supervisione attiva di un essere umano. Dopo una serie di incidenti mortali che hanno coinvolto veicoli Tesla in cui era stata attivata la modalità Autopilot, la casa automobilistica si è ritrovata invischiata in cause legali, tra cui una del dipartimento della Giustizia sulla possibilità che il nome del sistema potesse costituire pubblicità ingannevole. La NHTSA ha anche chiesto alla società di adottare accorgimenti per fare in modo che la sua comunicazione pubblica rifletta più accuratamente le capacità e le limitazioni del sistema. L’amministratore delegato Elon Musk ha sempre difeso l’utilizzo del nome “Autopilot” sottolineando che ricalca il termine usato nell’aviazione per indicare il pilota automatico, che non è un sistema interamente autonomo ma un ausilio per i piloti. Ma è così che lo interpretano i consumatori?

Io e i miei colleghi abbiamo approfondito la questione della rappresentazione distorta in uno studio che ha coinvolto 9.492 partecipanti, usando simulazioni di guida e incidenti ipotetici. Abbiamo detto ai partecipanti che una casa automobilistica stava progettando l’introduzione di un nuovo veicolo automatizzato. A un gruppo abbiamo detto che questo veicolo si chiamava Autopilot (che lasciava intendere un’elevata capacità di IA), mentre all’altro abbiamo detto che si chiamava Copilot (che lasciava intendere una capacità di IA di medio livello). Quindi abbiamo introdotto i partecipanti in uno scenario di guida simulato con il veicolo e abbiamo chiesto loro di prendere il controllo del volante ogni volta che pensavano ci fosse bisogno di intervenire. Nella simulazione il veicolo si avvicinava a un incrocio trafficato e se il partecipante non fosse intervenuto avrebbe investito dei pedoni che attraversavano senza guardare.

Abbiamo osservato che quando il veicolo si chiamava Autopilot i partecipanti tendevano a prendere il controllo del volante più tardi, segno apparente che il nome li faceva sentire più tranquilli: più consideravano il veicolo avanzato (basandosi sul nome), più tempo lasciavano passare prima di prendere la decisione di intervenire manualmente. In altri studi, abbiamo scoperto che le persone attribuiscono più facilmente la responsabilità degli incidenti al produttore del veicolo se questo usa nomi che lasciano intendere capacità di IA più avanzate. La conclusione che se ne può ricavare è che le etichette producono due inconvenienti: un comportamento più rischioso da parte del consumatore e una maggiore tendenza a incolpare il produttore quando qualcosa va storto.

Sulla base di questi risultati io e i miei colleghi abbiamo teorizzato che un approccio di marketing molto diffuso – presentare il proprio prodotto come superiore alle alternative – può trasformarsi in un boomerang se l’IA fa qualcosa di sbagliato. Uno studio successivo ha confermato questa ipotesi: quando un’azienda adotta questo approccio ingigantisce la capacità dei suoi sistemi nella percezione della gente, e senza volerlo accresce l’inclinazione delle persone a considerarla responsabile quando qualcosa va storto. Questo induce a pensare che campagne pubblicitarie come quella della GM («Gli esseri umani sono pessimi guidatori») possano essere all’origine del fatto che i consumatori hanno considerato la Cruise responsabile degli incidenti che sono avvenuti in seguito.

Questi effetti si verificano perché i sistemi di IA abbracciano uno spettro che va dall’autonomia parziale (in cui il principale responsabile della gestione operativa del sistema è l’essere umano) all’autonomia totale (in cui è l’IA ad avere il controllo). Solo che la maggior parte dei consumatori non sa in quale parte di questo spettro si collocano le singole IA, e questo crea un dilemma per le aziende: possono scegliere un nome che riflette correttamente le capacità effettive di un sistema, ma spesso, per spingere le vendite, sono tentate di usare nomi che ingigantiscono queste capacità.

Se scegliete di usare un nome fuorviante per commercializzare la vostra IA, dovete fare in modo di spiegare in un altro punto (per esempio il sito, o anche semplicemente le note in piccolo del prodotto stesso), quali sono le effettive capacità dell’IA, in modo chiaro e accurato. Dai miei studi è emerso che le aziende che comunicano le effettive capacità dell’IA, anche se il nome è fuorviante, subiscono contraccolpi meno pesanti quando l’IA fa fiasco rispetto alle aziende che si limitano a usare nomi fuorvianti. L’altra opzione, naturalmente, è semplicemente usare in partenza un nome meno fuorviante: presenta l’inconveniente ovvio di non amplificare la percezione delle capacità della vostra IA, ma almeno non comporta rischi.

LA GENTE GIUDICA PIÙ SEVERAMENTE UN’IA UMANIZZATA

Le aziende usano sempre più spesso sistemi di IA che esibiscono caratteristiche umane. Wysa, un’app per la salute mentale, utilizza un avatar disegnato che aiuta le persone a completare certi esercizi, mentre applicazioni di amicizia virtuale come Replika usano immagini umane realistiche che esprimono «sentimenti» e «riflessioni».

Elementi come questi possono creare l’impressione che il bot possieda sentimenti personali, obiettivi, desideri e altre caratteristiche che in realtà non ha. I bot umanizzati presentano diversi vantaggi rispetto ai bot neutri, per le aziende: accrescono le intenzioni di acquisto dei consumatori, il loro livello di fiducia, la fedeltà al marchio, l’osservanza delle richieste del fornitore e la disponibilità a comunicare informazioni personali. Questi effetti persistono anche quando le persone sono consapevoli che stanno conversando con una macchina.

In uno studio condotto dai professori Raji Srinivasan e Gülen Sarial-Abi, ai partecipanti è stato sottoposto uno scenario in cui una società finanziaria commetteva un errore che si traduceva in perdite monetarie per i suoi clienti. A un gruppo veniva detto che l’errore era stato commesso da un «programma governato da un algoritmo», mentre all’altro che la responsabilità era di un’IA umanizzata di nome «Charles». Il risultato è stato che nel caso dell’algoritmo umanizzato gli atteggiamenti verso il brand erano più negativi. Studi di follow-up sembrano indicare che la gente attribuisce più facilmente ai bot umanizzati capacità mentali come memoria, comprensione, pianificazione e ragionamento, e questo ha indotto i partecipanti ad attribuire loro anche maggiori responsabilità quando facevano qualcosa di sbagliato. In un altro studio, un team di ricercatori guidato da Cammy Crolic ha scoperto che i partecipanti valutavano in modo più negativo un chatbot che aveva commesso un errore se questo era stato provvisto di tratti sia verbali che visivi simili a quelli umani (parlare in prima persona, presentarsi come «Jamie», avere un avatar femminile), mentre erano meno negativi se era stato provvisto di tratti umani solo verbali. Questo fa pensare che i tratti umanizzati accrescono le reazioni negative agli insuccessi.

I chatbot vanno usati con parsimonia soprattutto in quelle situazioni in cui il cliente potrebbe essere arrabbiato. In un altro studio condotto da Cammy Crolic, i ricercatori hanno preso in esame circa mezzo milione di interazioni tra clienti e chatbot in una multinazionale delle telecomunicazioni e hanno scoperto che più il cliente trattava il bot come se fosse un essere umano (per esempio usando il nome del bot nelle conversazioni) più la soddisfazione del cliente era bassa, se questo era arrabbiato. Un modo per mitigare questo effetto è usare selettivamente bot umanizzati in contesti neutri, come le ricerche di mercato, e usarli meno in ruoli dove è probabile trovarsi a interagire con persone arrabbiate, come il servizio clienti. Un altro modo è abbassare il livello delle aspettative non appena un cliente comincia una sessione di chat. Il chatbot di Slack, per esempio, dice: «Ciao, sono Slackbot. Proverò a darti una mano. (Ma rimango comunque soltanto un bot. Mi spiace!)». Quando un bot comincia la conversazione in questo modo, è meno probabile che il cliente si arrabbi se non ottiene le risposte che cerca.

LE PREFERENZE PROGRAMMATE FANNO INFURIARE LE PERSONE

Nel 2016 un alto dirigente di Mercedes-Benz dichiarò che nello sviluppo dei suoi VGA l’azienda avrebbe messo la sicurezza dei passeggeri al di sopra di quella dei pedoni e degli altri utenti della strada. Il ragionamento filava: se si poteva salvare la vita di una persona sola, era logico che fosse quella di chi stava all’interno dell’automezzo. La sua dichiarazione scatenò una tempesta mediatica. Un tabloid titolò che la Mercedes, in sostanza, pur di proteggere i passeggeri del mezzo stava scegliendo di «investire un BAMBINO invece di sterzare». Nel giro di qualche settimana la casa automobilistica chiarì che né gli ingegneri né i sistemi di guida autonoma avevano il diritto di emettere giudizi sul valore relativo delle vite umane. Le emozioni scatenate da questo episodio indicano che la gente trova antietico che un’azienda inserisca deliberatamente nel codice di un’IA preferenze di gruppo (basate sull’età, il genere o lo status di cliente, per esempio).

Per verificare questa ipotesi, ho condotto uno studio insieme alla professoressa di Harvard Mina Cikara, in cui abbiamo chiesto a 826 partecipanti negli Stati Uniti di immaginare una situazione in cui un veicolo totalmente automatizzato si trova di fronte a una serie di dilemmi, per esempio se sterzare investendo un anziano oppure sterzare investendo un bambino piccolo, e poi finisce per andare a sbattere contro uno dei due. Una cosa importante da segnalare è che ad alcuni dei partecipanti veniva detto che il VGA prendeva la decisione in modo casuale e ad altri che la prendeva in base a una preferenza programmata. Abbiamo riscontrato che le persone esprimevano maggiore indignazione se veniva detto loro che il VGA aveva una preferenza programmata. Questo induce a pensare che se il sistema di IA di un’azienda prende decisioni sulla base di preferenze di gruppo, è meglio non dirlo. Anzi, in alcuni casi, forse è meglio proprio evitare in partenza di raccogliere dati su caratteristiche come etnia, genere ed età per influenzare i comportamenti dei sistemi di IA. Un altro approccio è quello di valutare la situazione in modo più strutturale, per esempio dando la priorità all’opzione che consente di salvare un maggior numero di vite umane. Uno studio di Yochanan Bigman e Kurt Gray ha scoperto che la gente è più ben disposta verso sistemi di IA che usano preferenze strutturali invece che preferenze di gruppo, probabilmente perché le preferenze strutturali implicano motivazioni chiare e utilitaristiche, che la maggioranza delle persone può trovare condivisibili.

Che l’IA possa fare cilecca è inevitabile. Le aziende devono essere consapevoli che le stesse azioni che oggi possono essere utili per favorire l’adozione di un’IA possono creare problemi quando si verifica un incidente, e i problemi sono più seri se le azioni in questione sbandieravano i benefici e la superiorità della vostra IA. Prima di varare una strategia di marketing, quindi, siate sicuri di avere ben chiaro quali sono le cinque insidie legate all’IA. Valutare questi rischi può aiutare la vostra azienda a perseguire una strategia di marketing che consente di promuovere la vostra IA oggi e al tempo stesso ridurre i rischi per il marchio e la responsabilità in caso di incidenti domani.

JULIAN DE FREITAS è assistente universitario nel dipartimento marketing della Harvard Business School.