5.3 Metriche dei risultati per clienti e business

Panoramica e motivazione

Questo argomento allarga la lente oltre l’adozione a livello di funzionalità dell’argomento 5.2, fino all’intera gamma di risultati per clienti e business a cui un’organizzazione tiene davvero: ricavi mantenuti o cresciuti, soddisfazione e fedeltà dei clienti, riduzione dei costi, rischio evitato e, per le organizzazioni del settore pubblico, i risultati per i cittadini che una missione esiste per servire. Sono le metriche di risultato che l’argomento 1.3 ha collocato in cima alla gerarchia input-output-risultato, e questo argomento è dove il libro affronta la versione più dura e più onesta della sfida centrale di quell’argomento: i risultati a questo livello sono raramente attribuibili alla sola ingegneria, e fingere il contrario produce esattamente il problema della falsa precisione da cui l’argomento 3.3 metteva in guardia per le prestazioni individuali, ora ingrandito al livello del contributo di un’intera organizzazione di ingegneria al business.

La risposta produttiva a quella difficoltà di attribuzione non è rinunciare a collegare il lavoro di ingegneria ai risultati di business, il che abbandonerebbe l’intera premessa dell’argomento 1.3, ma essere onesti sulla forza del collegamento e usare prove convergenti anziché affermazioni di causalità diretta a falsa precisione. Un’organizzazione di ingegneria ben condotta può mostrare che il proprio lavoro correla con, contribuisce a e talvolta guida direttamente specifici risultati di business, senza rivendicare il merito esclusivo di risultati che dipendono anche da vendite, marketing, condizioni di mercato e decisioni di strategia di prodotto prese ben fuori dal controllo dell’ingegneria.

Per i team grandi, la disciplina di questo argomento determina se l’ingegneria abbia un vero posto al tavolo strategico o venga trattata come un centro di costo il cui valore è presunto anziché dimostrato. Le organizzazioni enterprise usano le metriche dei risultati per clienti e business per giustificare un investimento in ingegneria continuo e crescente contro richieste concorrenti sul capitale; le organizzazioni governative usano le equivalenti metriche dei risultati per i cittadini per dimostrare che la spesa tecnologica pubblica ha prodotto il valore pubblico previsto, che è sempre più lo standard a cui gli organi di controllo sottopongono i programmi di governo digitale.

Principi chiave

I risultati sono raramente attribuibili alla sola ingegneria. Usa prove convergenti e un linguaggio onesto di correlazione, non false affermazioni di causalità esclusiva.
Collega le metriche di ingegneria alle metriche di risultato in modo esplicito, attraverso una catena causale documentata, non solo affiancandole nella stessa dashboard.
Le organizzazioni governative e guidate da una missione hanno metriche di risultato oltre ai ricavi. Tempo di attesa dei cittadini, tasso di errore e completamento del servizio contano quanto, o più, delle misure finanziarie.
Una metrica di risultato di business è lenta e rumorosa. Applica con rigore l’alfabetizzazione statistica dell’argomento 1.6 qui, più che quasi ovunque altrove in questo libro.
È qui che la credibilità dell’ingegneria presso gli stakeholder non tecnici si vince o si perde. Parla nel linguaggio dei risultati che il tuo pubblico usa già.

Raccomandazioni

Costruisci una catena causale esplicita e documentata dalle metriche di ingegneria ai risultati di business

Anziché presentare affiancate le metriche di consegna e i risultati di business e lasciare che il pubblico deduca un collegamento, costruisci esplicitamente l’albero delle metriche (argomento 1.3): questo specifico investimento di ingegneria ha ridotto il lead time, il che ha permesso una risposta più rapida a una specifica esigenza dei clienti, il che ha correlato con uno specifico miglioramento della fidelizzazione. Documenta ogni anello di questa catena con le proprie prove, così che l’affermazione complessiva sia una catena di singoli anelli difendibili anziché un unico salto privo di sostegno da «abbiamo migliorato la frequenza di rilascio» a «i ricavi sono cresciuti».

Usa un linguaggio onesto di correlazione, e cerca attivamente i fattori di confondimento

Seguendo direttamente l’indicazione dell’argomento 1.6, resisti a sostenere che un cambiamento di ingegneria abbia causato un miglioramento di un risultato di business senza considerare che cos’altro è cambiato nello stesso momento: un cambio di prezzi, un passo falso di un concorrente, un effetto stagionale, una campagna di marketing. Enuncia le scoperte come correlazioni sostenute da una catena causale plausibile, ed esplicita quali fattori di confondimento hai considerato ed escluso, anziché presentare come prova un singolo confronto prima-dopo.

Traccia esplicitamente i risultati per i cittadini e per la missione nel lavoro del settore pubblico o guidato da una missione

Per le organizzazioni governative e non profit, l’equivalente dei «ricavi» è spesso un risultato per il cittadino o il beneficiario: tempo di attesa ridotto per un servizio, tasso di completamento riuscito aumentato per una procedura di richiesta, tasso di errore ridotto in un calcolo di prestazioni. Traccia questi risultati con lo stesso rigore che le organizzazioni private applicano alle metriche di ricavo, e resisti alla tentazione di ripiegare su metriche di sola consegna (funzionalità rilasciate, nei tempi) solo perché sono più facili da misurare e meno esposte alla difficoltà di attribuzione.

Combina i dati quantitativi sui risultati con il segnale qualitativo dei clienti

I soli numeri, soprattutto i numeri lenti e rumorosi dei risultati di business, possono perdere un contesto che il segnale qualitativo cattura direttamente: feedback da interviste ai clienti, temi dei ticket di supporto o scoperte dirette di ricerca sugli utenti. Usa il segnale qualitativo per spiegare perché una metrica di risultato quantitativa si è mossa, o per cogliere un problema emergente prima che compaia del tutto in un numero ritardato, trattando i due come prove complementari anziché i dati quantitativi come intrinsecamente più autorevoli.

Presenta i dati sui risultati nel vocabolario del tuo pubblico

Quando presenti a stakeholder non tecnici, dirigenti, membri del consiglio, organi di controllo legislativi, apri con la metrica di risultato nel linguaggio che già usano (ricavi mantenuti, costi evitati, tempo di attesa dei cittadini ridotto), e usa le metriche di ingegneria solo come prova di supporto su come quel risultato è stato raggiunto, non come titolo. È un’applicazione diretta del principio di ponderazione sui risultati dell’argomento 1.3 alla competenza specifica della comunicazione con gli stakeholder.

Compromessi: pro e contro

Approccio	Pro	Contro
Affermare la causalità diretta dalle metriche di ingegneria ai risultati di business	Narrazione semplice e convincente	Di solito sopravvaluta la certezza; vulnerabile a essere smontata da un pubblico scettico
Correlazione onesta, documentata a catena	Difendibile, costruisce credibilità a lungo termine	Più complessa da presentare; richiede più disciplina nella raccolta di prove
Reportistica di sola consegna (evitare del tutto le affermazioni sui risultati)	Semplice, evita il rischio di attribuzione	Non riesce a dimostrare il reale valore di business dell’ingegneria; debole nelle conversazioni sugli investimenti
Prove sui risultati quantitative e qualitative combinate	Più ricche, più esplicative, colgono ciò che i soli numeri perdono	Richiedono più sforzo per raccogliere e sintetizzare entrambi i tipi di prova

La tensione centrale è narrazione convincente contro onestà difendibile. Una semplice affermazione di causalità diretta, «abbiamo rilasciato questa funzionalità e i ricavi sono cresciuti del 20%», è una storia molto più convincente di una catena causale prudente, a più anelli e con fattori di confondimento riconosciuti, ma è anche molto più probabile che sia sbagliata e che, se contestata da uno stakeholder scettico, danneggi la credibilità dell’organizzazione di ingegneria per le affermazioni future. Si risolve la tensione investendo nella versione più difficile e onesta: una catena causale documentata con fattori di confondimento riconosciuti è comunque una storia convincente, e ha il vantaggio decisivo di reggere all’esame.

Domande da discutere con il vostro team

Per la nostra più recente affermazione secondo cui un cambiamento di ingegneria ha migliorato un risultato di business, sapremmo documentare l’intera catena causale, o abbiamo presentato un salto diretto dall’uno all’altro? Scegliete una vera affermazione recente e provate a riempire esplicitamente ogni anello; le lacune nella catena meritano di essere nominate con onestà.
Quali fattori di confondimento abbiamo considerato ed escluso prima di fare quell’affermazione? Se la risposta onesta è «non abbiamo davvero controllato», è una lacuna da colmare prima che la prossima affermazione simile venga fatta a un pubblico scettico.
Per il nostro lavoro nel settore pubblico o guidato da una missione, tracciamo l’equivalente risultato per il cittadino o il beneficiario con lo stesso rigore che un’organizzazione privata applica ai ricavi? Se la vostra organizzazione ripiega per impostazione predefinita su metriche di sola consegna perché più facili, discutete che cosa servirebbe per costruire invece la metrica di risultato più difficile.
Quale segnale qualitativo, interviste ai clienti, temi del supporto, potrebbe spiegare un recente movimento in una metrica di risultato quantitativa che il solo numero non spiega? Cercate un caso specifico in cui la prova qualitativa aggiungerebbe un reale valore esplicativo a un trend quantitativo che avete già osservato.
Quando presentiamo a stakeholder non tecnici, apriamo con la metrica di risultato nel loro vocabolario, o con una metrica di ingegneria che devono tradurre da soli? Riesaminate una presentazione recente e controllate che cosa venisse prima e che cosa fosse inquadrato come titolo.
Siamo mai stati contestati su un’affermazione di risultato scoprendo di non poterla difendere sotto esame? Se è successo, discutete quali prove avrebbero reso difendibile l’affermazione, e applicate quella lezione a come verranno costruite e documentate le affermazioni future.

Prospettiva settoriale

Startup. L’attribuzione dei risultati è spesso più chiara a questa scala, dato che una piccola azienda può ricondurre più direttamente una funzionalità specifica a uno specifico movimento di metrica, con meno complessità organizzativa a diluire il collegamento. Anche così, resistete alla tentazione di affermare la causalità diretta senza almeno considerare brevemente fattori di confondimento ovvi come la stagionalità o una campagna di marketing concomitante.

Piccola impresa. Concentratevi sulla metrica di risultato che riflette più direttamente sopravvivenza e crescita, ricavi, clienti ricorrenti, riduzione dei costi, e collegate il lavoro di ingegneria ad essa attraverso un ragionamento qualitativo semplice e onesto, anziché un’analisi statistica sofisticata che probabilmente non avete la capacità di eseguire con rigore.

Enterprise. Costruire la catena causale documentata dalle metriche di ingegneria ai risultati di business è davvero difficile a questa scala, data la complessità organizzativa e i molti fattori di confondimento, ma è anche dove l’investimento rende di più, dato che la credibilità dell’ingegneria nelle conversazioni sull’allocazione del capitale dipende direttamente da questo tipo di prova difendibile.

Settore pubblico. Le metriche dei risultati per cittadini e missione sono sempre più ciò che gli organi di controllo si aspettano, e un programma che può riportare solo metriche di consegna (funzionalità rilasciate, nei tempi) invita proprio lo scetticismo che questo argomento è costruito per aiutarvi ad anticipare. Investite nel tracciare esplicitamente i risultati per i cittadini, anche dove sono più difficili da misurare di un semplice conteggio di consegne, dato che quell’investimento protegge direttamente finanziamenti e credibilità futuri.

Esempi

Enterprise. La dirigenza di ingegneria di un’azienda software-as-a-service voleva giustificare l’investimento continuo nel lavoro sull’affidabilità della piattaforma presso un team finanziario scettico concentrato sulla velocità delle funzionalità. Anziché affermare la causalità diretta dai miglioramenti di affidabilità ai ricavi, il team costruì una catena documentata: l’investimento in affidabilità ridusse gli incidenti di indisponibilità segnalati dai clienti, gli incidenti di indisponibilità correlavano fortemente con un maggior rischio di abbandono nei trenta giorni successivi secondo il modello di abbandono dell’azienda stessa, e la coorte di clienti che avevano subito meno incidenti dopo l’investimento mostrava un abbandono misurabilmente più basso di una coorte comparabile precedente all’investimento, con stagionalità e cambi di prezzo esplicitamente verificati ed esclusi come fattori di confondimento. Questa catena accuratamente documentata e onestamente prudente si rivelò più persuasiva per il team finanziario scettico di quanto lo fosse stata l’anno prima un’affermazione precedente, di causalità diretta e più generica.

Settore pubblico. Un programma nazionale di identità digitale doveva dimostrare il proprio valore a una commissione legislativa scettica sul costo continuo del programma. Anziché riportare metriche di consegna (moduli rilasciati, nei tempi), il programma riportò direttamente metriche di risultato per i cittadini: il tempo mediano per completare una verifica di identità scese da diversi giorni a meno di dieci minuti, e il tasso di completamento in autoservizio, senza bisogno di una visita di persona in ufficio, salì sensibilmente. Queste metriche di risultato, combinate con la testimonianza qualitativa di cittadini che avevano usato il servizio, si rivelarono molto più persuasive per la commissione della reportistica incentrata sulla consegna usata dal programma nei cicli di bilancio precedenti, e sostennero direttamente l’approvazione del proseguimento del finanziamento.

Business case: motivazioni, ROI e TCO

Il ritorno di una misurazione rigorosa e onesta dei risultati per clienti e business è la credibilità dell’ingegneria nelle conversazioni strategiche: un’organizzazione che sa collegare in modo difendibile il proprio lavoro a risultati reali, con la dovuta onestà sui limiti di attribuzione, si guadagna una posizione più forte nelle decisioni di investimento future rispetto a una che o sopravvaluta il proprio caso (e viene scoperta) o evita del tutto le affermazioni sui risultati (e sembra un centro di costo privo di valore di business dimostrabile).

Il costo totale di proprietà è lo sforzo analitico per costruire e documentare le catene causali, verificare i fattori di confondimento e combinare prove quantitative e qualitative, che è davvero più lavoro di una semplice affermazione di correlazione priva di sostegno. Vale la pena fare quell’investimento proprio perché l’alternativa, un’affermazione sopravvalutata che poi non regge all’esame, costa molto più in credibilità a lungo termine di quanto costi in anticipo il rigore aggiuntivo.

Antipattern e insidie

Affermare la causalità diretta senza verificare i fattori di confondimento: sopravvaluta la certezza e rischia un danno alla credibilità se contestata.
Presentare affiancate le metriche di ingegneria e di risultato senza una catena causale documentata: invita il pubblico a dedurre un collegamento che potrebbe non reggere.
Ripiegare su metriche di sola consegna per il lavoro del settore pubblico o guidato da una missione perché più facili da misurare: non riesce a dimostrare i risultati a cui gli stakeholder tengono davvero.
Trattare i dati quantitativi sui risultati come intrinsecamente più autorevoli delle prove qualitative: perde contesto e potere esplicativo che i soli numeri non possono fornire.
Presentare a stakeholder non tecnici nel vocabolario dell’ingegneria anziché in quello dei risultati: indebolisce il potere persuasivo di un caso davvero forte.
Evitare del tutto le affermazioni sui risultati per eludere la difficoltà di attribuzione: lascia non dimostrato e sottovalutato il reale valore di business dell’ingegneria.

Modello di maturità

Livello 1, Avvio (Initiate): L’ingegneria riporta solo metriche di consegna e di attività; non si tenta alcun collegamento con i risultati di business o dei cittadini.
Livello 2, Sviluppo (Develop): Si fanno alcune affermazioni sui risultati, ma senza una catena causale documentata né considerazione dei fattori di confondimento.
Livello 3, Standardizzazione (Standardize): Le affermazioni sui risultati si basano su catene causali documentate a più anelli, con i fattori di confondimento considerati esplicitamente, in tutta l’organizzazione.
Livello 4, Gestione (Manage): Le prove quantitative e qualitative sui risultati sono combinate sistematicamente, e i dati sui risultati sono presentati in modo coerente nel vocabolario degli stakeholder.
Livello 5, Orchestrazione (Orchestrate): L’ingegneria ha una storia dimostrata e affidabile di affermazioni sui risultati difendibili che hanno retto all’esame, e i dati sui risultati informano direttamente e di routine le decisioni di investimento strategico ai massimi livelli dell’organizzazione.

Spunti di discussione

Qual è la nostra prova attuale più forte che collega il lavoro di ingegneria a un risultato reale di business o dei cittadini?
Quale fattore di confondimento non abbiamo mai davvero verificato prima di fare un’affermazione sui risultati?
Tracciamo i risultati per cittadini o missione con lo stesso rigore di quelli finanziari, se applicabile a noi?
Quale prova qualitativa rafforzerebbe la nostra migliore storia quantitativa attuale sui risultati?
Come cambierebbe la nostra ultima grande presentazione agli stakeholder se aprissimo con i risultati anziché con le metriche di consegna?

Punti chiave

I risultati sono raramente attribuibili alla sola ingegneria; usa prove convergenti e un linguaggio onesto di correlazione, non false affermazioni di causalità esclusiva.
Costruisci una catena causale esplicita e documentata dalle metriche di ingegneria ai risultati di business, verificando i fattori di confondimento a ogni anello.
Traccia i risultati per cittadini e missione nel lavoro del settore pubblico e guidato da una missione con lo stesso rigore che le organizzazioni private applicano ai ricavi.
Combina prove quantitative e qualitative; i soli numeri perdono spesso il contesto che spiega perché un risultato si è mosso.
Presenta i dati sui risultati nel vocabolario del tuo pubblico, aprendo con i risultati, non con le metriche di ingegneria, per gli stakeholder non tecnici.

Riferimenti e letture di approfondimento

Continuous Discovery Habits, di Teresa Torres (collegare le decisioni di prodotto e di ingegneria alle prove sui risultati per i clienti).
Lean Analytics, di Alistair Croll e Benjamin Yoskovitz (metriche di risultato e l’impostazione della One Metric That Matters).
How to Measure Anything, di Douglas W. Hubbard (quantificare il valore di business e gestire con onestà l’incertezza sull’attribuzione).
Linee guida del U.S. Government Accountability Office (GAO) sulla misurazione delle prestazioni e sul GPRA Modernization Act: standard di rendicontazione del settore pubblico basati sui risultati.