Bilanciare sicurezza digitale e innovazione

Tre anni dopo la morte di suo marito, Alice si iscrisse a un’app di incontri. La piattaforma, regolata da algoritmi avanzati, si vanta di connettere persone che altrimenti non si incontrerebbero mai.

Presto, Alice iniziò a chattare con Jim, che viveva dall’altra parte del Paese. Jim sembrava comprendere il dolore e la solitudine della donna, perché anche lui aveva perso da poco il suo partner. Sei mesi dopo il loro primo contatto, Jim perse il lavoro. Cadde in una profonda depressione e si trovò sommerso dai debiti. Alice cercò di confortarlo nel miglior modo possibile, arrivando persino a inviargli del denaro. Pochi giorni dopo l’incasso dell’assegno, però, scoprì con sgomento che Jim aveva disattivato il proprio account. A seguito di un’indagine della polizia, scoprì che Jim non era reale: i truffatori avevano creato un’identità fittizia per raggirarla e Alice non era nemmeno l’unica vittima. I malintenzionati prendevano di mira utenti vulnerabili, approfittando proprio della facilità e della diffusione del servizio, le stesse caratteristiche che lo rendevano innovativo e attraente. 

Le piattaforme di incontri non sono le uniche a presentare queste vulnerabilità. Mentre le aziende si affrettano a lanciare nuove funzionalità e prodotti digitali, spesso ignorano i rischi potenziali. Persino prodotti digitali apparentemente innocui possono nascondere pericoli imprevisti e facilitare condotte criminali terribili. Un esempio è Telegram, un’app di messaggistica che promuove la crittografia e l’anonimato. Nel 2019, un uomo sudcoreano di nome Cho Joo-bin utilizzò la piattaforma per attirare adolescenti e giovani donne, convincendole a rivelare informazioni personali. Le usò poi per ricattarle, costringendole a condividere video intimi che rivendeva online. Nel 2020, le autorità lo hanno condannato a quarant’anni anni di carcere. 

Man mano che le interazioni dei consumatori con prodotti e piattaforme digitali aumentano, sempre più aziende riconoscono la necessità di considerare la sicurezza fin dalle prime fasi dello sviluppo. Integrare la sicurezza come caratteristica essenziale del prodotto non è un concetto nuovo: settori come l’automotive e l’aviazione l’hanno sempre considerata una priorità in fase di progettazione. Tuttavia, chi progetta prodotti digitali destinati ai consumatori ha spesso privilegiato la novità e la rapidità (seguendo il principio del move fast and break things) e ciò ha creato una cultura dello sviluppo di prodotto in cui il benessere degli utenti non è stato al centro dell’attenzione. Con prodotti digitali sempre più connessi alla vita personale, ai pagamenti e alle informazioni private, questa mentalità deve cambiare, così come il modo in cui questi vengono sviluppati. 

Proponiamo un nuovo modello di sviluppo del prodotto. Dopo oltre un decennio di ricerca sulla sicurezza e sul comportamento dei consumatori in relazione ai prodotti digitali, durante il quale abbiamo formato oltre duecento professionisti sulla sicurezza online e tenuto conferenze in sedi come le Nazioni Unite e la Harvard Business School, sosteniamo che le aziende che sviluppano nuovi prodotti digitali debbano integrare misure di protezione sin dall’inizio del processo di progettazione. Devono tracciare una roadmap per il miglioramento continuo e instaurare un dialogo con gli utenti. La sicurezza non dovrebbe essere un optional, ma una caratteristica fondamentale del prodotto. Inoltre, deve proteggere tutti gli utenti, compresi i più vulnerabili. Può sembrare che vogliamo imporre un ulteriore vincolo a team di sviluppo già sotto pressione, ma in realtà il nostro approccio, che chiamiamo safety by design (SBD), può facilitare l’innovazione invece di limitarla, dal momento che offre un metodo strutturato per lo sviluppo di prodotto.

UN MODELLO IN TRE FASI 

Le aziende più lungimiranti implementano il modello SBD seguendo tre passaggi chiave: allineano le priorità organizzative alla sicurezza, integrano la sicurezza nei processi di sviluppo dei prodotti e promuovono un coinvolgimento continuo degli utenti e feedback costanti. 

Allineare le priorità organizzative alla sicurezza. Un impegno trasversale sulla sicurezza è fondamentale. Le aziende più attente ne fanno una priorità esplicita, includendola nella loro mission e nei loro valori. Ad esempio, OpenAI nel suo statuto (che è pubblico) afferma: 

Ci impegniamo a fare tutta la ricerca che serve per rendere l’AGI [intelligenza artificiale generale] sicura e a promuovere un’adozione generalizzata di tali ricerche all’interno della comunità IA. Temiamo che lo sviluppo avanzato dell’AGI possa trasformarsi in una corsa competitiva dove non c’è il tempo necessario per adeguate precauzioni di sicurezza. Per questo motivo, se un progetto allineato ai nostri valori e attento alla sicurezza si avvicinasse alla realizzazione dell’AGI prima di noi, ci impegneremmo a smettere di competere e a supportarlo. Definiremo i dettagli caso per caso attraverso accordi specifici, ma una condizione tipica di attivazione potrebbe essere "una probabilità superiore al 50% di successo nei prossimi due anni". 

Un altro modo per dimostrare l’importanza della sicurezza è integrarla nella struttura organizzativa. Ad esempio, OpenAI ha quattro team dedicati alla sicurezza: policy, safety, security e red teaming (che simula attacchi informatici per testare la sicurezza), che lavorano insieme durante lo sviluppo dei prodotti per identificare e mitigare i rischi legati all’IA. Grazie al suo impegno per uno sviluppo responsabile dell’IA, l’azienda dà priorità alla progettazione e all’apprendimento automatico sulle questioni di rischio più urgenti.

Le aziende devono inoltre comunicare il loro impegno per la sicurezza agli utenti e agli stakeholder esterni, facendo riferimento diretto a strumenti e scelte progettuali che ne garantiscono l’efficacia. Questo aiuta a costruire fiducia: quando gli utenti vedono che il loro benessere è una priorità, sono più propensi a credere che l’azienda lavori attivamente per proteggerli, pur riconoscendo che nessun prodotto è privo di rischi. 

Oltre a dichiarare le proprie intenzioni e il proprio impegno, le aziende dovrebbero anche condividere i risultati ottenuti. Ad esempio, Microsoft Xbox pubblica due volte l’anno report sulla trasparenza che mostrano le statistiche relative all’applicazione degli standard della community. I report dimostrano che Microsoft fa sul serio quando chiede agli utenti di rispettarli. Condividendo il percorso di apprendimento dell’azienda e mostrando i suoi progressi, Microsoft aiuta i consumatori a partecipare a una conversazione continuativa sui rischi legati alla sicurezza nelle community di gaming.

Integrare la sicurezza nella progettazione di prodotto. Così come le ricerche di mercato forniscono dati fondamentali per lo sviluppo dei prodotti, le aziende che adottano l’approccio SBD utilizzano framework di valutazione del rischio fin dalle prime fasi della progettazione per comprendere meglio le vulnerabilità e trovare modi per ridurle o eliminarle. Questa filosofia di design spinge product manager e ingegneri ad affrontare i potenziali rischi in modo proattivo, invece di lanciare un prodotto sul mercato e aspettare di vedere come gli utenti potrebbero sfruttarne le debolezze. 

La valutazione del rischio deve evolversi nel tempo. I team SBD devono monitorare le nuove esigenze degli utenti e le tendenze emergenti, collaborando strettamente con i team di user experience, legali e persino con gli stessi utenti finali. Questo approccio consente a chiunque abbia una visione o una preoccupazione riguardo ai rischi di esprimerla. 

Promuovere un coinvolgimento continuo. Comunicare in modo trasparente sulla sicurezza aiuta a costruire un rapporto di fiducia con gli utenti e li incoraggia a interagire su questi temi. Un’azienda può rafforzare il coinvolgimento chiedendo agli utenti e alla community di utilizzare il prodotto in modo coerente con la sua visione. Un esempio interessante è quello di Pinterest, che ha introdotto il “Creator Code”, un codice di condotta che invita gli utenti a "esprimersi… ma con gentilezza". Invece di concentrarsi solo sui comportamenti vietati, il codice promuove atteggiamenti positivi e costruttivi all’interno della piattaforma. Inoltre, Pinterest ha ottenuto il supporto di alcuni dei suoi creator più influenti, rafforzando così la legittimità e l’efficacia dell’iniziativa.

Un’azienda può anche stimolare il coinvolgimento comunicando aggiornamenti regolari sui progressi fatti, nonché l’insieme delle esperienze e dei cambiamenti che va accumulando nel tempo. Facendo ciò, rafforza l’idea che essa stessa sia disposta a imparare, sia dai propri errori che dalla sua comunità, il che a sua volta incoraggia i consumatori a fornire feedback. Guardiamo ancora a Pinterest, che pubblica una cronologia delle sue iniziative per mostrare il continuo impegno dell’azienda nell’attuazione di politiche volte a proteggere gli utenti. Un altro esempio di come questo principio venga messo in pratica è Airbnb, che ha pubblicato un testo di taglio narrativo sul divieto di feste, dettagliando l’evoluzione delle sue politiche e le motivazioni alla base di tali decisioni. Aiutare gli utenti a comprendere il contesto delle regole può aumentare la loro disponibilità a rispettarle. 

Le aziende che rispettano gli impegni presi condividono ciò che apprendono e applicano coerentemente le regole dimostrano che le loro iniziative volte alla sicurezza sono una parte integrante delle loro attività. Attraverso il loro esempio, incoraggiano gli utenti a prendere sul serio i rischi e a modificare di conseguenza i propri comportamenti. Inoltre, poiché gli utenti comprendono che il processo di sviluppo del prodotto è in continua evoluzione, è meno probabile che cerchino un prodotto "perfetto" e sono invece disposti a interagire con un’azienda che dimostra il proprio impegno a imparare e ad aggiornare i propri prodotti attraverso l’ascolto di chi li usa.

COME LE AZIENDE UTILIZZANO IL MODELLO 

Il modello in tre fasi consente alle aziende di dare priorità alla sicurezza senza soffocare l’innovazione. Vediamo come alcune aziende hanno implementato misure di protezione nei loro prodotti, favorendo al contempo l’innovazione, aumentando le vendite e migliorando le relazioni con i clienti. 

Snap Inc., la società che che ha creato Snapchat, ha integrato i principi SBD nella sua piattaforma. Riconoscendo i potenziali rischi legati alla comunicazione digitale, Snap ha dato priorità alla protezione degli utenti, in particolare dei membri più giovani della comunità, da contenuti e interazioni dannose. Ad esempio, nel 2020 Snapchat ha introdotto la funzione Here for You, che fornisce risorse locali per la salute mentale quando gli utenti cercano termini associati a momenti di crisi, come ansia, lutto o bullismo. Here for You incorpora efficacemente una funzione di sicurezza essenziale in un elemento chiave del prodotto: la ricerca di video. 

Un altro esempio significativo delle iniziative sulla sicurezza di Snapchat è il programma Trusted Flagger, che consente a organizzazioni no profit, agenzie governative e partner per la sicurezza di segnalare contenuti che violano le linee guida della comunità. Alle segnalazioni provenienti da fonti fidate viene data priorità assoluta, permettendo all’azienda di identificare e rimuovere rapidamente contenuti particolarmente pericolosi. In effetti, i contenuti segnalati vengono spesso rimossi entro quindici minuti, prevenendone la diffusione e rendendo la piattaforma più inclusiva e accogliente, anche per gli utenti che hanno maggiori probabilità di essere i target di tali contenuti. Iniziative come questa hanno aiutato Snap a collaborare attivamente con esperti del settore e gruppi che in passato erano stati critici nei confronti del prodotto. 

Tinder, la più grande piattaforma di incontri online al mondo, è un’altra azienda che pone la sicurezza al centro della progettazione dei suoi servizi. Una serie di funzionalità, come la verifica delle foto, un team dedicato alla prevenzione delle frodi e strumenti educativi per gli utenti, contribuiscono a ridurre le truffe di catfishing menzionate all’inizio di questo articolo. Nel maggio 2021, Tinder ha lanciato la funzione Are You Sure?, che utilizza l’intelligenza artificiale per rilevare linguaggio offensivo nei messaggi prima che vengano inviati. Quando viene individuato un linguaggio potenzialmente dannoso, il sistema invita il mittente a riflettere sulle proprie parole. Questa funzione ha modificato il modo in cui gli utenti interagiscono, creando un ambiente più rispettoso: gli utenti che hanno visto il messaggio “Are You Sure?” sono risultati meno propensi a essere segnalati per messaggi inappropriati nel mese successivo. Sull’app Plenty of Fish, affiliata a Tinder, l’implementazione della funzione ha portato a una riduzione dell’84% degli avvisi “Are You Sure?” attivati, solo pochi mesi dopo il lancio. Gli utenti avevano modificato il loro stile di comunicazione rendendolo più rispettoso. 

Il programma Are You Sure? faceva parte di una più ampia iniziativa per la sicurezza promossa da Match Group, la società madre di Tinder. (Uno degli autori, Tomomi, è l’ex direttore del programma Safety by Design di Match Group). La filosofia Safety by Design è ormai radicata nello sviluppo dei prodotti di Match Group. Un team dedicato alla sicurezza esamina ogni nuovo prodotto e funzionalità, garantendo che i rischi vengano considerati sin dalla fase di progettazione e fino al suo lancio, grazie alla collaborazione stretta con i team di prodotto, ingegneria, legale e privacy. Collocando il team SBD all’interno del processo di sviluppo piuttosto che nei dipartimenti che si occupano di aspetti legali, regolatori o legati alla conformità, Match Group dimostra che il benessere degli utenti può essere un aspetto centrale della progettazione di prodotto.

Una maggiore sicurezza nei prodotti spesso promuove l’inclusività, riducendo il numero di comportamenti negativi che i gruppi emarginati subiscono, un fenomeno purtroppo frequente nella cultura digitale. TikTok, ad esempio, utilizza algoritmi di intelligenza artificiale e supervisione umana per identificare episodi di molestia o bullismo, con particolare attenzione ai minori, che rappresentano la parte più attiva e vulnerabile della sua utenza. Allo stesso modo, la “modalità sicurezza” di YouTube limita i contenuti per impedire ai minori di accedere a materiali espliciti o inappropriati. In questi casi, i principi del SBD sono integrati nei prodotti attraverso tecnologie avanzate di rilevamento e mitigazione. Uno studio condotto dai ricercatori della Bangabandhu Sheikh Mujib Medical University ha rilevato che i sistemi di rilevamento basati sull’apprendimento automatico sono efficaci fino al 91% nell’identificare comportamenti di cyberbullismo e molestie, oltre a essere molto più rapidi rispetto ai controlli manuali. 

ADATTAMENTO CONTINUO 

Quando un’azienda pone la sicurezza al centro della propria organizzazione e del processo di sviluppo del prodotto, gli utenti tendono ad accorgersene. Lo sappiamo perché possiamo tracciare il coinvolgimento dei clienti dopo che un’azienda ha riallineato la propria organizzazione attorno alla sicurezza. Gli utenti comprendono che la versione attuale del prodotto non è perfetta, ma si fidano del fatto che l’azienda continuerà a perfezionarla. Sono anche più propensi a modificare i propri comportamenti e a collaborare per migliorare il prodotto. Non si tratta di un fenomeno nuovo: uno studio del 2008 pubblicato sul Journal of Interactive Marketing dimostrava che segnali che vanno nella direzione della sicurezza come aggiornamenti del prodotto, garanzie di protezione e trasparenza nello sviluppo riducono la percezione del rischio da parte degli utenti e aumentano l’interazione col prodotto stesso. 

Questo meccanismo di feedback crea un circolo virtuoso. Contrariamente al timore che le misure di sicurezza ostacolino l’innovazione, abbiamo visto che il SBD può guidare lo sviluppo dei prodotti: l’uso dell’intelligenza artificiale di Tinder per analizzare i messaggi prima che vengano inviati, ad esempio, e l’integrazione di risorse per la salute mentale nella funzione di ricerca di Snap sono innovazioni che probabilmente non sarebbero emerse se la sicurezza non fosse stata al centro della progettazione del prodotto. 

Un altro esempio è la dashboard delle attività di Instagram, che aiuta gli utenti a monitorare il tempo trascorso sulla piattaforma. Instagram ha deciso di affrontare le preoccupazioni legate all’uso eccessivo dell’app e al suo impatto sulla salute mentale rivedendone il design, nonostante il timore iniziale che questa funzione potesse ridurre il tempo di permanenza degli utenti. Ha quindi introdotto la possibilità di impostare promemoria che avvisano quando viene raggiunto il limite di utilizzo giornaliero. Inoltre, ha progettato un ambiente che, secondo una ricerca della Stanford University, migliora il benessere degli utenti e l’esperienza complessiva, portando a un maggiore coinvolgimento e a una maggiore fiducia nella piattaforma. 

Un SBD che funziona riesce a modificare concretamente i comportamenti degli utenti. Uber Japan, ad esempio, ha sviluppato una checklist di sicurezza obbligatoria per i rider che effettuano consegne, che deve essere completata prima di poter ricevere ordini e va ripetuta ogni volta che si accede alla piattaforma. Questa checklist include il controllo di misure di sicurezza fondamentali, come l’uso del casco, il divieto di utilizzo del telefono mentre si guida, il rispetto delle norme stradali, la conoscenza delle procedure da seguire in caso di emergenza per contattare le forze dell’ordine e la selezione del tragitto migliore fra quelli proposti dal navigatore. (Tomomi è stato il principale sviluppatore di questa funzione.) La checklist funziona perché raggiunge i rider nel momento ideale: appena prima che inizino la loro giornata di lavoro. Il design sfrutta il principio della “spinta gentile” o nudge dell’economia comportamentale, ovvero piccole modifiche nei prodotti che non hanno alcun costo aggiuntivo, ma possono portare a cambiamenti significativi dei comportamenti. La funzione è stata implementata successivamente anche in Australia e in altri mercati dove Uber è presente. 

L’efficacia delle misure di sicurezza è evidente anche nel calo significativo degli avvisi Are You Sure? su Tinder, che dimostra come gli utenti abbiano adattato il proprio comportamento per allinearsi agli standard della piattaforma. Gli sforzi di Match Group per promuovere un ambiente sicuro hanno influenzato la percezione del prodotto da parte dei consumatori e degli stakeholder. Scott Berkowitz, presidente di RAINN, la più grande organizzazione statunitense contro la violenza sessuale, ha affermato in un comunicato pubblicato da Tinder: «Fissando aspettative chiare per una comunicazione rispettosa e dando agli utenti un momento per ripensare a un messaggio che potrebbe offendere, Tinder sta coinvolgendo la sua community nella creazione di una piattaforma più sicura».

In alcuni casi, integrare la sicurezza nel design di prodotto può anche aprire nuove opportunità di business. Ne è un esempio il divieto di feste introdotto da Airbnb. Dopo diversi episodi che hanno avuto grande eco, in cui alcuni utenti avevano organizzato feste di grandi dimensioni in case affittate tramite la piattaforma, l’azienda ha deciso di vietarle e ha comunicato chiaramente le motivazioni di tale scelta. Airbnb ha spiegato che la sicurezza della comunità e dei quartieri circostanti era la sua priorità. Molti host (e i loro vicini) hanno accolto con favore il divieto. Di conseguenza, la piattaforma ha registrato una riduzione del 44% delle segnalazioni di feste che causano disturbo rispetto all’anno precedente. Tuttavia, alcuni host volevano ancora offrire i propri spazi per matrimoni, feste ed eventi di grandi dimensioni. Per soddisfare tale domanda, Airbnb ha introdotto nuove categorie di affitto, consentendo agli host con proprietà più grandi, capaci di accogliere oltre sedici persone in sicurezza, di ospitare eventi, mentre il divieto di feste è rimasto in vigore per le abitazioni più piccole. In questo modo, Airbnb è riuscita a creare una nuova fonte di entrate, tutelando al tempo stesso la sicurezza e gli interessi degli host e delle comunità locali.

DA DOVE PARTIRE 

Per partire, le aziende non hanno bisogno di operare una revisione radicale dello sviluppo di prodotto. Possono adottare principi legati alla sicurezza in modo graduale. Raccomandiamo di partire sempre con una valutazione dei rischi. Questo processo inizia ponendosi domande mirate e specifiche per il proprio contesto, che dovrebbero svilupparsi a partire da alcuni interrogativi di base: di che tipo di rischio parliamo? Quali sono le conseguenze se il rischio non viene affrontato? Qual è il livello di rischio? Qual è la probabilità che il rischio si verifichi? Le risposte a queste domande alimenteranno il dibattito su ciò che potrebbe accadere quando consumatori con background e preferenze diversi utilizzano il prodotto.

Sebbene immaginare potenziali rischi possa sembrare un compito impegnativo, coinvolgere i product manager nella valutazione aiuterà a rendere più concreta la discussione. I product manager devono impegnarsi a integrare la sicurezza nel design e rispondere a domande chiave come: in che modo verrà monitorato il rischio? Quando verrà nuovamente valutato? Un dialogo iterativo con il product manager è in linea con lo spirito del SBD e aiuta a identificare rischi che inizialmente potrebbero non essere evidenti o che si annidano nelle fasi più nebulose dello sviluppo del prodotto. Anche altri stakeholder, come i team aziendali legali e quelli dedicati alla privacy, possono essere risorse preziose per approfondire ulteriormente i rischi e le sfide.

La valutazione del rischio dovrebbe riflettere un’ampia gamma di scenari d’uso del prodotto. È impossibile prevedere ogni possibile modo in cui i consumatori potrebbero usare (o abusare di) un prodotto, ma adottare una prospettiva ampia fin dall’inizio può essere estremamente utile.

La presenza di un rischio non significa che un nuovo prodotto o una nuova funzionalità non debbano essere introdotti. Piuttosto, rappresenta un punto di partenza per un dialogo tra il responsabile della sicurezza, i product manager e gli altri stakeholder. Un passo concreto da compiere è identificare i livelli di priorità relativi dei rischi individuati, considerando la tempistica e le risorse disponibili. Il team di prodotto può quindi decidere se intervenire immediatamente per mitigare un rischio o accettarlo temporaneamente. 

Un altro passo fondamentale è quello di istituire sistemi per monitorare e affrontare in modo continuativo minacce e vulnerabilità online. La valutazione del rischio non dovrebbe essere vista come un evento isolato, ma come un impegno costante verso la sicurezza del prodotto. Per questo motivo, tali sistemi devono essere aggiornati costantemente nel tempo. 

Alcune organizzazioni hanno sviluppato modelli per classificare i tipi di rischio, facendo tesoro di ciò che hanno appreso nel corso di valutazioni precedenti. Successivamente, categorizzano i rischi insiti nei nuovi prodotti per rendere più efficiente il processo di valutazione. Ad esempio, un prodotto online che coinvolge contenuti generati dagli utenti potrebbe avere categorie di rischio relative a “contenuti generati dagli utenti”, “comportamenti inappropriati che coinvolgono minori”, “danni offline” e “bias algoritmici”. L’obiettivo non è tentare di coprire tutti i rischi possibili (che sarebbe impossibile), quanto adottare un approccio ben fondato alla valutazione del rischio. 

Il MODELLO SAFETY BY DESIGN non richiede una revisione completa dei processi aziendali. Anche piccoli aggiustamenti derivanti dalla valutazione del rischio possono gradualmente tradursi in cambiamenti organizzativi più significativi. Ciò potrebbe manifestarsi sotto forma di una modifica del flusso di sviluppo del prodotto dell’azienda o come una nuova fonte di reddito, come è accaduto nel caso di Airbnb.

La SBD richiede apprendimento, adattamento e miglioramento continui. Le aziende che la integrano nello sviluppo di prodotto e nella cultura organizzativa costruiranno un rapporto di fiducia con i propri utenti. Inoltre, miglioreranno l’esperienza utente e questo porterà a un maggiore coinvolgimento, entrambi elementi che contribuiscono a un successo a lungo termine. 

TOMOMICHI AMANO è assistant professor di Business Administration presso la Harvard Business School. TOMOMI TANAKA è fondatrice del Safety by Design Lab e professoressa a contratto presso la Kindai University di Osaka.