Come i grandi modelli linguistici riflettono il giudizio umano

LE INTELLIGENZE ARTIFICIALI sono macchine di previsione: possono dirvi la probabilità che oggi piova, ma non se sia il caso o meno di mettere in valigia un ombrello. Questo perché la decisione sull’ombrello richiede più di una semplice previsione: se la probabilità di pioggia è del 10%, alcune persone sceglieranno di portare un ombrello, altre no. Perché persone diverse si comportano in modo diverso pur avendo le stesse informazioni? Semplicemente, hanno preferenze diverse. In questo caso alcune persone si preoccupano molto più di altre di bagnarsi. Solo voi o qualcuno che vi conosce bene può giudicare i costi e i benefici del portare un ombrello. Prendere questa decisione per voi richiede sia una previsione che un giudizio basato sulle vostre preferenze.

Le IA eccellono nella previsione, ma non hanno capacità di giudizio. Certo, ci sono molte decisioni per le quali conosciamo i vantaggi o possiamo calcolarli facilmente. Fondamentalmente, sappiamo cosa dovrebbe fare un guidatore nella maggior parte delle situazioni – accelerare, frenare, svoltare – perché conosciamo le conseguenze di una mancata azione. Se però chiediamo a Google di darci consigli su una nuova lavastoviglie, il massimo che può fare è prevedere quali pagine possono fornire le informazioni che stiamo cercando. Non si sente abbastanza fortunato da dirvi cosa fare. Allo stesso modo, anche se potreste temere che il vostro datore di lavoro utilizzi un’intelligenza artificiale per determinare se dovreste essere licenziati, in ultima analisi la macchina non è responsabile. L’IA potrebbe fornire una previsione sulle vostre prestazioni, ma è il vostro datore di lavoro che applica il giudizio e decide chi licenziare.

Per questo motivo nel nostro libro del 2018, Prediction Machines, abbiamo individuato un ruolo per gli ingegneri della “funzione di ricompensa”, il cui compito sarebbe quello di “determinare le ricompense per le varie azioni, date le previsioni fatte dall’IA”. Le previsioni dell’IA potrebbero migliorare così tante decisioni che gli ingegneri della funzione di ricompensa che comprendono tali previsioni e le decisioni in gioco costituirebbero un complemento qualificato, man mano che l’adozione dell’IA prosegue. Ma l’innovazione nell’ingegneria delle funzioni di ricompensa è stata lenta. Ci sono stati pochi progressi nello sviluppo di strumenti per codificare il giudizio umano appropriato nelle macchine prima del loro impiego su scala. 

Fino a poco tempo fa. Infatti, i modelli linguistici di grandi dimensioni (LLM), nonostante la loro apparente intelligenza, sono ancora solo macchine di predizione. Ma stanno trasformando il modo in cui l’IA fornisce assistenza nel processo decisionale perché stanno cambiando il modo in cui gli esseri umani elaborano i loro giudizi. 

Se chiedete a ChatGPT di riscrivere un paragrafo in modo più chiaro per un certo pubblico, non vi darà delle opzioni o una lezione di grammatica e retorica. Vi dà un paragrafo. È impressionante, ma il vero miracolo è che ChatGPT è riuscito a scrivere il paragrafo come lo volevate. La scrittura comporta una serie di rischi e ricompense: sarà onesta (coerente con i fatti), innocua (non includendo parole che potrebbero offendere) e utile (raggiungendo l’obiettivo del paragrafo)? Pensate a quest’ultimo aspetto. Questi modelli sono addestrati su scritti esistenti di altre persone. Il paragrafo prodotto è, nella sua essenza, scritto utilizzando un tipo di “completamento automatico” più e più volte. Quando i nostri telefoni usano il completamento automatico, fanno un lavoro buono ma non perfetto. Com’è possibile, quindi, che ChatGPT sia in grado di produrre risultati scritti molto migliori di quelli che può fare una persona media? Come ha fatto ChatGPT a giudicare la qualità di tutti i contenuti, buoni e cattivi, su cui è stato addestrato? Più in generale, perché non si è trasformato nella fogna tossica in cui si è trasformato il chatbot Tay di Microsoft dopo un giorno su Twitter?

Alcuni, come Stephen Wolfram, ritengono che gli LLM stiano scoprendo alcune regole fondamentali della grammatica. Certo, questo può rendere la scrittura leggibile, ma sicuramente non può renderla chiara e convincente.

Un documento del 2022 dei ricercatori di OpenAI fornisce un indizio importante. Il documento descrive come sono stati presi gli LLM grezzi e non modificati e come sono stati utilizzati per offrire output a persone reali. Per la maggior parte, alle persone è stato chiesto di usare il loro giudizio per classificare diversi risultati alternativi alla stessa richiesta. I criteri di classificazione sono stati accuratamente specificati (ad esempio, dare priorità a disponibilità, onestà e innocuità). È emerso che, con istruzioni chiare e un po’ di formazione, persone diverse potevano concordare facilmente su questi aspetti. 

Queste classificazioni sono state poi utilizzate per modificare o “mettere a punto” l’algoritmo. Il modello ha appreso il giudizio umano e si è regolato in base a rinforzi positivi e negativi; gli scritti che si sono classificati in alto hanno ricevuto una spinta positiva, al contrario uelli che non si sono classificati hanno ricevuto un impulso negativo. È interessante notare che, anche per un modello addestrato su miliardi di pagine, con poche migliaia di esempi di giudizio umano sotto forma di risposte categorizzate, l’IA ha iniziato a produrre risultati per tutte le query che erano altamente classificate. Ciò si è verificato anche per query che sembravano molto lontane da quelle catalogate dai valutatori. In qualche modo, il giudizio umano sulla qualità della scrittura si diffondeva in tutto il modello.

I valutatori erano effettivamente ingegneri della funzione di ricompensa. Ma a differenza di un modello statistico, il cui risultato può risultare sgradevole per molte persone, gli LLM interagiscono con un linguaggio semplice: chiunque può contribuire a insegnare il giudizio del modello. In altre parole, chiunque sappia parlare o scrivere può essere un ingegnere della funzione di ricompensa. La scoperta sorprendente di ChatGPT è stata che, con uno sforzo relativamente ridotto, questi ingegneri sono stati in grado di addestrare gli LLM a essere utili e sicuri. In questo modo OpenAI è stata in grado di lanciare un modello rivolto ai consumatori che non ha sofferto dei difetti dei suoi predecessori quando è stato rilasciato in natura. Questo semplice metodo di codifica del giudizio umano nelle macchine ha potenziato le prestazioni dell’IA: la macchina è ora dotata della capacità non solo di prevedere le sequenze di parole probabili, ma anche di applicare il giudizio degli ingegneri della funzione di ricompensa a tali sequenze per aumentarne l’attrattiva per i lettori. La scoperta di un metodo semplice per consentire alle macchine di applicare il giudizio umano – il complemento di qualsiasi macchina di previsione dell’intelligenza artificiale per specificare i rischi e le ricompense in un’ampia varietà di circostanze – ha fatto la differenza.

Per molte decisioni, saranno necessari ingegneri specializzati in funzioni di ricompensa per implementare le macchine di previsione dell’IA su scala. La scoperta di questo approccio intuitivo per la codifica del giudizio umano nella macchina – la messa a punto attraverso l’apprendimento per rinforzo del feedback umano – potrebbe sbloccare molte applicazioni preziose dell’IA in cui il giudizio umano è difficile da codificare in anticipo ma facile da implementare quando lo si vede.

Ajay Agrawal è titolare della cattedra in Imprenditorialità e Innovazione presso la Rotman School of Management dell’Università di Toronto. È fondatore del Creative Destruction Lab, del Metaverse Mind Lab, del NEXT Canada e del Sanctuary. È anche coautore di Power and Prediction: The Disruptive Economics of Artificial Intelligence (Harvard Business Review Press, 2022). Joshua Gans è titolare della cattedra in Innovazione tecnica e imprenditorialità presso la Rotman School of Management dell’Università di Toronto e capo economista del Creative Destruction Lab. È coautore di Power and Prediction. Avi Goldfarb è titolare della cattedra in Intelligenza artificiale e sanità presso la Rotman School of Management dell’Università di Toronto. È capo data-scientist al Creative Destruction Lab e coautore di Power and Prediction.