Cosa può andare storto nei processi decisionali data-driven

IMMAGINATE DI CONDURRE una riunione sulla retribuzione oraria dei dipendenti del magazzino della vostra azienda. Per diversi anni, l’importo è stato aumentato automaticamente di piccole cifre, in modo da tenere il passo con l’inflazione. Citando uno studio di una grande azienda che ha scoperto che salari più alti miglioravano la produttività al punto da aumentare i profitti, qualcuno nel vostro team sostiene un approccio diverso: un aumento sostanziale, di 2 dollari l’ora, per tutti i lavoratori del magazzino. Cosa fareste?

Troppo spesso, in momenti come questo, i leader aziendali scelgono fra due possibilità: o considerano le evidenze presentate come vangelo o le respingono in toto. Entrambi gli approcci sono sbagliati. Dovrebbero, piuttosto, organizzare dei confronti per valutare attentamente quelle prove e capire se sono rilevanti come sembrano, oltre che per sondarne l’applicabilità a un contesto specifico.

Nello scenario appena descritto, dovreste porre una serie di domande mirate a valutare l’impatto potenziale degli aumenti salariali sulla vostra azienda. Potreste chiedere:

→ Potete dirci di più sul contesto della ricerca per aiutarci a valutare se potrebbe valere anche per i nostri dipendenti del magazzino?

→ Come sono i nostri salari rispetto a quelli di altri datori di lavoro che potrebbero essere interessati ai nostri lavoratori? E rispetto allo studio?

→ È stato condotto un esperimento? Se no, quale approccio è stato utilizzato per capire se i salari più alti stavano alla base di una maggiore produttività o se ne erano semplicemente la conseguenza?

→ Con quali criteri è stata misurata la produttività e per quanto tempo sono stati misurati gli effetti?

→ Quali altre analisi o dati potrebbero essere rilevanti?

Ovviamente, il tono è importante. Queste sono domande che dovrebbero essere poste con autentico spirito di curiosità, con il desiderio di imparare e ottenere indicazioni valide.

Sia che le evidenze provengano da uno studio esterno o da dati interni, è cruciale esaminarle accuratamente prima di prendere decisioni importanti. Nelle nostre interazioni con le aziende, comprese quelle tecnologiche, dove i dati abbondano, abbiamo notato che questa pratica non viene sempre perseguita. Troppo spesso sono le convinzioni preconcette, i paragoni difficili e il pensiero di gruppo a dominare le discussioni. La psicologia e l’economia suggeriscono che anche i bias (ad esempio, la fallacia del tasso di base, che è la tendenza a trascurare informazioni statistiche generali a favore di informazioni su casi specifici o aneddoti, e il bias confermativo, ovvero la propensione a ricercare e sovrastimare quei risultati che supportano le nostre convinzioni esistenti) ostacolano la nostra capacità di valutare le evidenze in modo sistematico. Le aziende, però, non devono cadere in questo schema. Basandoci sulla nostra ricerca, sul lavoro da noi portato avanti con le aziende e sull’esperienza didattica (compresi i corsi di formazione dirigenziale in leadership e analisi aziendale e un recente MBA chiamato Data-Driven Leadership), abbiamo sviluppato un approccio che i decisori possono applicare alle discussioni sui dati per prendere decisioni migliori.

Verificate il nesso tra causa ed effetto

Gli annunci pubblicitari sui motori di ricerca aumenteranno le vendite? Consentire ai dipendenti di lavorare da remoto ridurrà il turnover? Queste domande riguardano il rapporto tra causa ed effetto e sono il tipo di domanda a cui l’analisi dei dati può aiutare a rispondere. Infatti, sono diversi gli studi che le hanno esaminate in dettaglio. Ciononostante, i manager spesso sbagliano nel considerare come i risultati di questi e altri studi possano valere per la loro situazione aziendale. Quando prendono una decisione, i manager dovrebbero considerare la cosiddetta validità interna, ovvero se un’analisi risponde con precisione a una domanda nel contesto in cui è stata studiata. Dovrebbero anche considerare la validità esterna, ovvero in che misura si possono generalizzare i risultati e trasportarli da un contesto a un altro. Questo li aiuterà a evitare cinque errori comuni:

Confondere causalità con correlazione. Anche se la maggior parte delle persone sa che la correlazione non equivale alla causalità, questo errore è sorprendentemente diffuso. Prendiamo la strategia pubblicitaria di eBay. Per anni, l’azienda ha fatto pubblicità su motori di ricerca come Google per attrarre più clienti e aumentare la domanda. A un certo punto, una relazione redatta da una società di consulenza concluse che gli annunci erano efficaci e fece notare che quando più annunci venivano mostrati in un mercato, il valore totale degli acquisti su eBay era più alto. Purtroppo, aveva tratto la conclusione sbagliata. Con l’aiuto di un esperimento condotto da un team di economisti guidati da Steven Tadelis dell’Università della California-Berkeley, eBay ha capito che la correlazione era spiegata da una serie di annunci che miravano a persone che, probabilmente, avrebbero visitato comunque eBay e che provenivano da mercati in cui la domanda per eBay sarebbe aumentata in ogni caso.

Per capire la causalità, bisogna esaminare come è stato condotto lo studio in questione. Ad esempio, era un esperimento controllato randomizzato, in cui i ricercatori hanno assegnato casualmente le persone a due gruppi, uno soggetto a test e un gruppo di controllo che non lo era? Questo è spesso considerato il modo migliore per valutare causa ed effetto, anche se tali esperimenti non sono sempre fattibili o funzionali. Forse, i ricercatori si sono basati su un esperimento naturale, osservando gli effetti di un evento o di un cambio di politica su gruppi specifici. Ad esempio, uno studio potrebbe esaminare l’impatto di un beneficio i cui destinatari sono stati scelti tramite sorteggio, il che consente ai ricercatori di confrontare il modo in cui il beneficio ha cambiato le circostanze o il comportamento di coloro che hanno vinto rispetto agli altri. I ricercatori che non hanno accesso a esperimenti pianificati o naturali possono invece controllare, nella loro analisi dei dati, i potenziali fattori di confusione, cioè quelle variabili che influenzano la variabile di interesse, anche se questo può essere difficile nella pratica. Se, ad esempio, si stesse valutando l’impatto di un programma di formazione sulla produttività, bisognerebbe assicurarsi di controllare l’esperienza precedente e altre cose che potrebbero influire sulla produttività.

Sottovalutare l’importanza della dimensione del campione. Immaginate due ospedali: uno grande che gestisce migliaia di nascite ogni anno e uno piccolo con poche centinaia di nascite all’anno. In quale ospedale pensate ci potrebbero essere più giorni in cui oltre il 60% dei bambini nati sono maschi?

La risposta è l’ospedale piccolo, perché ha più variabilità nel numero di nascite giornaliere. Più i campioni sono piccoli e più è probabile che mostrino fluttuazioni maggiori. Gli psicologi Daniel Kahneman e Amos Tversky, nel loro lavoro di riferimento su pregiudizi ed euristiche, hanno scoperto che la maggior parte delle persone sbagliava la risposta e più della metà rispondeva: “È più o meno lo stesso.” Le persone tendono a sottovalutare l’effetto che la dimensione del campione ha sulla precisione di una stima: questo errore comune può portare a decisioni sbagliate. Sia che stiate cercando di capire quanto fidarvi delle recensioni online, come interpretare le tendenze di produttività o quanto peso dare ai risultati di un esperimento pubblicitario, la dimensione del campione analizzato è importante da considerare.

Quando si valutano gli effetti, può essere utile chiedere non solo la dimensione del campione, ma anche l’intervallo di confidenza. Un intervallo di confidenza fornisce una gamma di valori entro cui è probabile che ricada l’effetto reale e il grado di certezza che cada entro quella gamma. Le risposte dovrebbero indirizzare il confronto sulla direzione da prendere.

Concentrarsi sui risultati sbagliati. Robert S. Kaplan e David P. Norton aprivano con una semplice osservazione il loro classico articolo, apparso nel 1992 sulla Harvard Business Review, dal titolo “The Balanced Scorecard: Measures That Drive Performance”: “Quello che misuri è ciò che ottieni.” Sebbene l’articolo precedesse l’era delle analisi moderne, quel concetto è più attuale che mai. Gli esperimenti e le analisi predittive spesso si concentrano sui risultati che si riescono a misurare piuttosto che su quelli a cui i leader aziendali tengono davvero, ma che sono difficili o impossibili da determinare. Di conseguenza, le metriche dei risultati spesso non catturano pienamente gli effetti che si manifestano in modo più ampio all’interno delle attività aziendali.

Torniamo all’esempio degli aumenti salariali. I costi sono facilmente misurabili, mentre i miglioramenti della produttività possono essere difficili da quantificare. Questo può portare i manager a concentrarsi unicamente sul costo di una retribuzione più elevata e a non considerarne i potenziali guadagni. Un’analisi più ampia dovrebbe adottare un approccio come quello visto in uno studio degli economisti Natalia Emanuel ed Emma Harrington, che volevano capire le implicazioni dei livelli salariali dei magazzinieri di un grande rivenditore online. Le ricercatrici hanno esaminato i cambiamenti nella produttività dopo un aumento salariale del 2019 che ha interessato i lavoratori del magazzino e hanno scoperto che la maggior produttività e un minore turnover erano così importanti che gli aumenti salariali si ripagavano da soli. Hanno trovato risultati simili quando hanno esaminato gli effetti di salari più alti sulla produttività e il turnover dei dipendenti del servizio clienti.

È anche importante assicurarsi che il risultato studiato sia un buon indicatore dell’obiettivo organizzativo che si vuole effettivamente raggiungere. Alcuni esperimenti aziendali tracciano i risultati per pochi giorni e presumono che siano prove solide di quello che potrebbe essere un effetto a lungo termine: nel caso di alcune verifiche in determinati contesti, un periodo di tempo breve potrebbe non essere sufficiente.

Una società che lavora per evitare questo problema è Amazon: investe molto nell’esplorare i costi e i benefici a lungo termine di possibili modifiche ai prodotti. Ci sono molti modi per valutare la rilevanza e l’interpretazione dei risultati, dalle discussioni libere sui loro limiti ad analisi formali del legame tra effetti a breve termine e quelli a lungo termine.

Per imparare davvero qualcosa da qualsiasi insieme di dati, è necessario porsi domande di base come: quali risultati sono stati misurati? Abbiamo incluso tutti quelli rilevanti per la decisione che dobbiamo prendere? Erano abbastanza ampi da catturare le conseguenze chiave, sia intenzionali che non? Sono stati tracciati per un periodo di tempo adeguato?

Valutare erroneamente il grado di applicabilità a diversi contesti. Nel caso dell’esempio sull’aumento salariale nei magazzini, una domanda fondamentale è cosa implicano i risultati di un insieme di magazzini per un altro insieme. Inoltre, un’azienda potrebbe voler sapere come si applicano i risultati, ad esempio, ai dipendenti di ristoranti o negozi al dettaglio.

Abbiamo visto leader aziendali commettere errori in entrambe le direzioni, sia sopravvalutando che sottovalutando la portabilità dei risultati in ambiti differenti. Ad esempio, quando il responsabile della progettazione di una grande azienda tecnologica ci ha parlato della regola vigente in azienda secondo cui i voti universitari non vengono tenuti in considerazione nel decidere se assumere o meno un ingegnere, abbiamo chiesto quale fosse il motivo. Ci ha risposto che Google aveva “dimostrato che i voti non contano”, riferendosi a un commento di un dirigente di Google che aveva letto da qualche parte, in cui affermava che non c’era una correlazione tra i voti scolastici e i risultati professionali. Prendendo quell’informazione come verità assoluta, ha ignorato i limiti potenziali sia della sua validità interna che esterna.

Quando si valuta la possibilità di generalizzare determinati risultati, può essere utile discutere i meccanismi che potrebbero spiegarli e cercare di capire se si applicano in altri contesti. Ci si potrebbe chiedere, ad esempio, quanto è simile l’ambiente di questo studio a quello della nostra azienda. Il contesto o il periodo preso in considerazione per l’analisi lo rendono più o meno rilevante per la nostra decisione? Qual è la composizione del campione studiato e come influenza l’applicabilità dei risultati? L’effetto varia tra i sottogruppi?

Dare troppo peso a un risultato specifico. Fare affidamento su un singolo risultato empirico senza metterlo al centro di una discussione strutturata può essere altrettanto imprudente quanto respingere le evidenze considerandole irrilevanti per la propria situazione. Vale la pena verificare ulteriori ricerche sull’argomento, ma anche condurre un esperimento o un’ulteriore analisi con la propria organizzazione può essere un’altra buona opzione. Le domande da porsi sono: ci sono altre analisi che convalidano i risultati e l’approccio? Quali ulteriori dati potremmo raccogliere? Il vantaggio di raccogliere più prove supererebbe il costo dello sforzo profuso?

Iniziate a parlare apertamente

È noto come, nel 1906, Sir Francis Galton analizzò i dati su un concorso all’interno di una fiera del bestiame in cui le persone dovevano indovinare il peso di un bue. Sebbene i singoli tentativi variassero tantissimo, la media fra tutti i tentativi era quasi esatta, e questo dimostrò la saggezza della folla. Tuttavia, sfruttare quella saggezza può essere impegnativo. L’intelligenza collettiva è migliore quando ci sono meccanismi per promuovere una partecipazione attiva e diversificata; altrimenti, le folle possono anche amplificare i pregiudizi, specialmente quando hanno punti di vista omogenei.

Per superare i pregiudizi, i leader aziendali possono invitare a una conversazione persone che abbiano prospettive diverse, chiedere loro di sfidare e sviluppare idee, e garantire che le discussioni siano approfondite e basate su dati di alta qualità. (Vedi “What You Don’t Know About Making Decisions,” di David A. Garvin e Michael Roberto, HBR, settembre 2001). Incoraggiare il dissenso e la critica costruttiva può aiutare a combattere il pensiero di gruppo, rende più facile anticipare conseguenze indesiderate e aiuta i team a non dare troppo peso alle opinioni dei leader. I leader devono anche spingere le persone a considerare l’impatto delle decisioni sui vari stakeholder e rompere deliberatamente l’impostazione per compartimenti stagni.

Questi tipi di discussione possono aiutare a garantire una valutazione attenta delle evidenze, ma troppo spesso deragliano anche quando potrebbero produrre qualcosa di utile. Innumerevoli studi hanno dimostrato che la gerarchia può portare le persone a tenere per sè opinioni divergenti e che i partecipanti alle discussioni tendono a evitare di condividere dati potenzialmente rilevanti o di fare domande approfondite quando non sperimentano sicurezza psicologica, cioè la percezione che la schiettezza sia apprezzata e non sarà quindi punita. Senza sicurezza psicologica, l’approccio che abbiamo descritto ha meno probabilità di funzionare.

I team traggono dei benefici dal fatto che i loro membri sentano che condividere dati, idee, preoccupazioni e punti di vista alternativi sarà apprezzato sia dai colleghi sia dai dirigenti. La cosa più importante è che, in molte discussioni, i partecipanti dovrebbero considerare il porre domande approfondite come parte integrante del loro lavoro.

Si è scritto molto su come costruire la sicurezza psicologica dentro un un team (Vedi “Why Employees Are Afraid to Speak” di James R. Detert e Amy C. Edmondson, HBR, maggio 2007), ma è ancora più importante introdurla in un team che cerca di utilizzare evidenze per prendere decisioni aziendali, perché solo in questo modo possiamo evitare che la paura di sollevare risultati impopolari faccia perdere per strada dei dati cruciali.

L’effetto paralizzante di una bassa sicurezza psicologica era evidente nella risposta alla ricerca sperimentale di Facebook che si chiedeva se mostrare post più positivi che negativi influenzasse le emozioni degli utenti. Nel 2014, in seguito alla reazione pubblica negativa alla ricerca, in parte dovuta al fatto che le persone non sapevano che Facebook stesse conducendo questo tipo di esperimenti, il CEO Mark Zuckerberg interruppe i progetti di ricerca in corso rivolti all’esterno. Ciò ha scoraggiato i dipendenti dall’intraprendere esperimenti che avrebbero potuto esplorare proattivamente l’impatto sociale di Facebook. Più recentemente, Zuckerberg ha cambiato rotta ed espresso un rinnovato interesse per la ricerca esterna. Tuttavia, se un decennio fa avesse creato un’atmosfera in cui i dirigenti di Facebook si potevano sentire tranquilli nel discutere in modo approfondito gli effetti negativi dei social media, l’azienda avrebbe potuto evitare alcune delle recenti sfide reputazionali legate alla disinformazione e ai suoi effetti sul benessere degli utenti.

Dai dati alle decisioni

Prendere decisioni in condizioni di incertezza è, necessariamente, un processo iterativo che richiede pause regolari per riflettere sia sulle informazioni che sul processo. I team efficaci imparano dai dati, adattano i loro piani di conseguenza e cercano attivamente di migliorare le proprie discussioni.

Prendersi il tempo per discutere le sfumature di un’analisi (compresa la dimensione e la composizione del campione, gli esiti misurati, l’approccio usato per separare la causalità dalla correlazione e la misura in cui i risultati potrebbero essere trasportati da un contesto all’altro) è fondamentale per comprendere come le evidenze raccolte possano o non possano incidere su una decisione specifica. Se viene considerato attentamente, ogni risultato empirico rappresenta un pezzo di un puzzle che aiuta le aziende a capire se e quando diversi cambiamenti hanno la capacità di produrre un effetto di qualche tipo. Tali discussioni predisporranno anche le organizzazioni a essere più rigorose riguardo alla raccolta dei dati.

Anche nel migliore dei mondi possibili, raramente le evidenze sono definitive e come si concretizzerà una mossa aziendale è incerto. Tuttavia, potete aspirare a fare scelte ponderate basate sulle informazioni che possedete già o che potreste ottenere. Adottando un approccio sistematico alla raccolta, analisi e interpretazione dei dati, potrete raccogliere più efficacemente i benefici derivanti dalla mole sempre crescente di dati interni ed esterni e prendere decisioni migliori.

MICHAEL LUCA è professore di Amministrazione aziendale e direttore della Technology and Society Initiative presso la Johns Hopkins University, Carey Business School. AMY C. EDMONDSON è professoressa di Leadership e Management alla Harvard Business School. Il suo ultimo libro è Right Kind of Wrong: The Science of Failing Well (Atria Books, 2023).