8.4 Modello di maturità per i programmi di metriche di ingegneria

Panoramica e motivazione

Ogni argomento delle Parti dalla 1 alla 7 di questo libro termina con un proprio modello di maturità a cinque livelli, circoscritto alla specifica famiglia di metriche di quell’argomento. Questo argomento fa qualcosa di diverso: fa un passo indietro e chiede che aspetto abbia la maturità del programma di metriche nel suo insieme, la capacità organizzativa che produce, governa e agisce su tutte quelle singole metriche insieme. Un’organizzazione può essere al Livello 4 sulla maturità delle singole metriche DORA pur essendo al Livello 1 sulla maturità complessiva del programma, se, per esempio, ha un’ottima strumentazione ma nessuna governance (argomento 1.4), o ottime singole metriche ma una diffusione dettata dalla paura (argomento 8.3) che ha corrotto i dati sottostanti a prescindere da quanto bene ogni metrica sia stata progettata.

Il modello di questo argomento è costruito attorno a cinque dimensioni che attraversano ogni famiglia di metriche che questo libro tratta: governance e responsabilità (argomento 1.4), qualità della strumentazione (argomento 1.5), equilibrio tra risultati e output (argomento 1.3, argomento 7.4), fiducia culturale (argomento 8.3) e miglioramento continuo (la disciplina di ritiro e revisione che l’argomento 1.1 ha stabilito all’inizio di questo libro). La maturità complessiva del programma di un’organizzazione è realisticamente il minimo, non la media, di queste cinque dimensioni, dato che una grave debolezza in una qualsiasi, in particolare la fiducia culturale, può minare il valore della forza in tutte le altre, esattamente come l’argomento 8.3 ha sostenuto direttamente.

Per i team grandi, questo modello consolidato dà alla dirigenza un unico strumento onesto di autovalutazione organizzativa, distinto da, e complementare a, i controlli di maturità argomento per argomento che questo libro offre ovunque. Le organizzazioni enterprise che confrontano la maturità delle metriche tra unità di business e le organizzazioni governative che riferiscono la maturità del programma agli organi di controllo traggono entrambe vantaggio da questa singola valutazione trasversale anziché dover sintetizzare da sole quarantacinque letture separate di maturità a livello di argomento in un quadro complessivo coerente.

Principi chiave

La maturità del programma è il minimo tra le sue dimensioni, non la media. Una grave debolezza nella fiducia culturale mina la forza ovunque altrove.
Le cinque dimensioni trasversali sono governance, strumentazione, equilibrio dei risultati, fiducia culturale e miglioramento continuo. Ciascuna dimensione riunisce fili provenienti da molti argomenti individuali.
Questo modello integra, non sostituisce, i modelli di maturità dei singoli argomenti. Usali insieme per un quadro completo.
L’autovalutazione dovrebbe essere onesta e specifica, non aspirazionale. Assegna il punteggio a dove sei davvero, con prove concrete, non a dove intendi essere.
Il passaggio tra livelli richiede un investimento deliberato, non solo il passare del tempo; la maturità non si accumula automaticamente.

Raccomandazioni

Valuta ciascuna delle cinque dimensioni in modo indipendente, con prove concrete

Per la governance, controlla se ogni metrica rilevante abbia un responsabile con nome e una carta documentata (argomento 1.4). Per la strumentazione, controlla se le metriche vengano da fonti automatiche anziché dall’autodichiarazione ovunque possibile (argomento 1.5). Per l’equilibrio dei risultati, calcola il rapporto effettivo tra metriche ponderate sui risultati e metriche ponderate sull’output nelle tue dashboard principali (argomento 7.4). Per la fiducia culturale, valuta con onestà se la storia della tua diffusione abbia mai incluso un uso punitivo e mal gestito di una metrica e come sia stato affrontato (argomento 8.3). Per il miglioramento continuo, controlla se la tua organizzazione abbia una storia documentata di ritiro di metriche che avevano smesso di guadagnarsi il posto (argomento 1.1). Assegna un punteggio a ciascuna dimensione in modo indipendente prima di combinarle.

Prendi il minimo tra le dimensioni come tuo punteggio complessivo onesto

Resisti alla tentazione di fare la media dei tuoi cinque punteggi in un unico composito più lusinghiero. Un programma con un’ottima strumentazione (Livello 4) ma una debole fiducia culturale (Livello 1) non è, in alcun senso significativo, un programma di Livello 2 o 3; la dimensione debole mina attivamente il valore di quelle forti, dato che dati inaffidabili corrotti da una manipolazione dettata dalla paura non vengono salvati dall’essere stati raccolti con un’ottima strumentazione. Riporta onestamente il minimo, anche se produce un quadro complessivo meno lusinghiero di quello che darebbe una media.

Usa questo modello accanto, non al posto, dei modelli dei singoli argomenti

Questo modello consolidato risponde a «quanto è maturo il nostro programma nel suo complesso»; i modelli dei singoli argomenti nelle Parti dalla 2 alla 8 rispondono a «quanto è matura la nostra pratica per questa specifica metrica». Usali insieme: il modello consolidato per dare priorità a quale dimensione trasversale abbia più bisogno di investimento, e i modelli dei singoli argomenti per individuare quali specifiche famiglie di metriche abbiano più bisogno di attenzione all’interno di quella dimensione.

Riesamina la valutazione con una cadenza fissa, non solo quando spinti da una crisi

Seguendo la disciplina di governance costante di questo libro (argomento 1.4), rivaluta la maturità del programma con una cadenza regolare, quella annuale è comune, anziché solo dopo che una crisi (un episodio di manipolazione scoperto, un rapporto pubblico dannoso per la credibilità) forza la questione. Un programma che esamina la propria maturità solo in reazione perde l’occasione di cogliere e affrontare una dimensione che si indebolisce prima che produca un incidente reale e costoso.

Tratta un punteggio basso con onestà come punto di partenza per l’investimento, non come voto negativo

Seguendo l’impostazione diagnostica e non valutativa che l’argomento 1.1 ha stabilito per l’intero libro, usa un punteggio di maturità basso, su qualsiasi dimensione, come punto di partenza per un piano di investimento deliberato (la tabella di marcia di adozione dell’argomento 8.5 è il passo successivo diretto), non come un verdetto di cui dispiacersi. La maggior parte delle organizzazioni, valutate con onestà, troverà debolezze reali da qualche parte in questo modello; la risposta produttiva è un investimento mirato, non difensività sul punteggio.

Compromessi: pro e contro

Approccio	Pro	Contro
Fare la media dei cinque punteggi delle dimensioni	Produce un unico numero semplice e più lusinghiero	Nasconde una debolezza critica in una dimensione che mina le altre
Prendere il minimo tra le dimensioni	Onesto, azionabile, individua correttamente il vero vincolo	Può scoraggiare se una dimensione resta molto indietro rispetto alle altre
Usare solo i modelli dei singoli argomenti	Indicazioni dettagliate e specifiche per metrica	Perde la vista trasversale sulla salute complessiva del programma
Usare solo questo modello consolidato	Semplice, di alto livello	Perde il dettaglio specifico e azionabile che i modelli dei singoli argomenti forniscono

La tensione centrale è semplicità contro onestà, riecheggiando l’avvertimento dell’argomento 5.5 contro un singolo numero falsamente preciso. Un punteggio mediato è più semplice e più comodo da riportare, ma nasconde attivamente il vero vincolo all’affidabilità e al valore complessivi del vostro programma. Si risolve la tensione a favore dell’onestà: riporta il minimo, e usa insieme questo modello consolidato e i modelli dei singoli argomenti per un quadro completo, accurato e azionabile.

Domande da discutere con il vostro team

Valutate con onestà e in modo indipendente, che livello ottiene ciascuna delle nostre cinque dimensioni, governance, strumentazione, equilibrio dei risultati, fiducia culturale e miglioramento continuo? Percorrete ogni dimensione in modo esplicito, con prove concrete anziché impressioni, prima di combinarle in una valutazione complessiva.
Qual è la nostra dimensione più debole, e corrisponde alla nostra intuizione sulla salute complessiva del programma, o rivela qualcosa che non avevamo nominato direttamente prima? Un punteggio basso nella fiducia culturale in particolare, per esempio, potrebbe minare la fiducia in dati che altrimenti sembrano tecnicamente eccellenti.
Abbiamo mediato i nostri punti di forza e di debolezza in un quadro complessivo più lusinghiero, anziché riportare onestamente la nostra dimensione più debole come vero vincolo? Siate onesti su come la vostra organizzazione abbia parlato in precedenza della propria maturità delle metriche.
Quando abbiamo rivalutato formalmente per l’ultima volta la maturità complessiva del nostro programma, e la spinta è stata una crisi o una cadenza deliberata e regolare? Se solo una crisi, discutete che aspetto avrebbe una cadenza regolare di valutazione d’ora in poi.
Che aspetto avrebbe concretamente un investimento mirato nella nostra dimensione più debole per il prossimo trimestre? Passate direttamente dalla valutazione all’azione, collegando la diagnostica di questo argomento alla tabella di marcia di adozione dell’argomento 8.5.
Come si confronterebbe la nostra autovalutazione con una revisione esterna onesta di qualcuno fuori dalla nostra organizzazione? Questa domanda mette alla prova se la vostra valutazione interna possa essa stessa soffrire di parte della stessa distorsione ottimistica da cui questo libro ha messo in guardia ovunque, cosa che vale la pena controllare periodicamente con una prospettiva davvero esterna.

Prospettiva settoriale

Startup. Una valutazione formale a cinque dimensioni è probabilmente superflua su scala molto piccola, dove la consapevolezza informale copre di solito la maggior parte di ciò che questo modello rivelerebbe. L’abitudine da adottare presto è semplicemente essere onesti in particolare sulla fiducia culturale, dato che la cultura iniziale delle metriche di un’azienda giovane pone una fondazione che diventa molto più difficile da cambiare una volta che l’organizzazione è cresciuta in modo significativo.

Piccola impresa. Una semplice e onesta rassegna informale delle cinque dimensioni una volta all’anno, anche senza punteggio formale, cattura la maggior parte del valore di questo argomento senza bisogno di un processo di valutazione strutturato a questa scala.

Enterprise. Questo modello consolidato è particolarmente prezioso per confrontare equamente la maturità delle metriche tra molte unità di business, dato che un confronto argomento per argomento su decine di team sarebbe ingestibile. Usatelo per dare priorità all’investimento a livello di organizzazione verso la dimensione che mostra la debolezza più diffusa tra le unità.

Settore pubblico. Un’autovalutazione di maturità documentata e onesta, che usi questo modello consolidato, è un manufatto davvero utile per dimostrare il rigore del programma a un organo di controllo, a patto che la valutazione sia condotta con onestà anziché in modo aspirazionale. Considerate una revisione esterna periodica della stessa autovalutazione, in particolare per la dimensione della fiducia culturale, che è la più difficile da valutare con accuratezza da una prospettiva puramente interna.

Esempi

Enterprise. L’autovalutazione iniziale di un’azienda di tecnologia per la logistica assegnò alla dimensione della strumentazione il Livello 4 (fonti di dati automatiche e complete da pipeline e sistemi) ma alla dimensione della fiducia culturale il Livello 1, dopo un episodio di uso improprio di una metrica non affrontato di due anni prima, mai riconosciuto direttamente né riparato (riecheggiando direttamente l’esempio governativo dell’argomento 8.3). L’istinto iniziale della dirigenza fu di mediare questi punteggi in un rispettabile quadro complessivo di Livello 2 o 3; un’applicazione più onesta del punteggio basato sul minimo di questo argomento individuò correttamente la fiducia culturale come vero vincolo al valore dell’intero programma, dato che persino un’ottima strumentazione produceva dati di cui gli ingegneri, consapevoli dell’episodio passato, ancora non si fidavano del tutto né su cui riportavano con onestà. Un investimento mirato specificamente nella riparazione della fiducia culturale, seguendo direttamente le indicazioni dell’argomento 8.3, fu messo in priorità rispetto a ulteriori investimenti in strumentazione come diretta conseguenza di questa valutazione onesta e basata sul minimo.

Settore pubblico. Un’agenzia statistica nazionale che conduceva la sua prima autovalutazione formale di maturità, usando questo modello consolidato nell’ambito di una più ampia revisione di governance tecnologica, scoprì che la sua dimensione di governance otteneva un buon punteggio (responsabilità chiare, carte documentate) ma la sua dimensione di equilibrio dei risultati un punteggio scarso, con la schiacciante maggioranza delle metriche tracciate basata su output e attività nonostante l’argomentazione della Parte 7 a favore della ponderazione sui risultati fosse stata ben compresa dal punto di vista intellettuale all’interno della dirigenza tecnica dell’agenzia. Questa scoperta onesta e specifica, anziché una vaga sensazione generale che «dovremmo misurare di più i risultati», diede al successivo piano di investimento dell’agenzia (argomento 8.5) un punto di partenza concreto e basato sulle prove, e la rendicontazione successiva al consiglio di controllo dell’agenzia citò specificamente questa valutazione di maturità come base per una strategia di investimento in metriche reindirizzata.

Business case: motivazioni, ROI e TCO

Il ritorno di un’autovalutazione di maturità onesta e basata sul minimo è individuare correttamente il vincolo effettivo al valore di un programma di metriche, anziché investire ulteriormente in una dimensione già forte mentre una debole continua a minare l’affidabilità dell’intero programma, esattamente lo schema che entrambi gli esempi qui sopra illustrano. Questo effetto di mira è il valore primario del modello: dirige il limitato investimento di miglioramento dove farà davvero muovere la maturità complessiva del programma, anziché dove l’investimento capita di essere più facile o più familiare.

Il costo totale di proprietà è lo sforzo di valutazione stesso, modesto e periodico, da pesare rispetto al rischio di continuare a investire in una dimensione già forte mentre una debole non affrontata, in particolare la fiducia culturale, continua a corrompere in silenzio il valore di tutto il resto che il programma ha costruito.

Antipattern e insidie

Mediare i punteggi delle dimensioni in un composito più lusinghiero: nasconde il vero vincolo al valore complessivo del programma.
Valutare solo in modo aspirazionale, sulla base della policy dichiarata anziché della pratica effettiva: produce un quadro inaccurato e troppo ottimistico.
Usare questo modello consolidato in sostituzione, anziché a integrazione, dei modelli dei singoli argomenti: perde il dettaglio specifico e azionabile che quei modelli individuali offrono.
Rivalutare solo quando una crisi forza la questione: perde l’occasione di cogliere e affrontare in modo proattivo una dimensione che si indebolisce.
Trattare un punteggio basso come un voto negativo anziché come punto di partenza per l’investimento: invita alla difensività anziché alla risposta produttiva e diagnostica che questo libro raccomanda ovunque.
Non cercare mai una prospettiva esterna onesta sull’autovalutazione: rischia che la stessa distorsione ottimistica da cui questo libro mette in guardia ovunque influenzi la valutazione stessa.

Modello di maturità

Livello 1, Avvio (Initiate): Non esiste alcuna valutazione trasversale formale; le singole famiglie di metriche possono essere valutate in modo indipendente, ma la salute complessiva del programma non è esaminata.
Livello 2, Sviluppo (Develop): Esiste una certa consapevolezza informale dei punti di forza e di debolezza complessivi del programma, ma non è stata condotta alcuna valutazione strutturata a cinque dimensioni.
Livello 3, Standardizzazione (Standardize): Una valutazione strutturata, onesta e basata sul minimo a cinque dimensioni è condotta con prove concrete in tutta l’organizzazione.
Livello 4, Gestione (Manage): La valutazione è ripetuta con una cadenza regolare, e i suoi risultati informano in modo diretto e coerente le priorità di investimento mirate.
Livello 5, Orchestrazione (Orchestrate): L’organizzazione ha una pratica dimostrata e sostenuta di autovalutazione onesta, inclusa una revisione esterna periodica, e sa indicare decisioni di investimento specifiche guidate direttamente dai risultati della valutazione.

Spunti di discussione

Qual è il nostro punteggio onesto e basato sulle prove su ciascuna delle cinque dimensioni in questo momento?
Quale dimensione è il nostro vero vincolo, e corrisponde alla nostra intuizione?
Abbiamo mai mediato i nostri punteggi in un quadro più lusinghiero di quello che mostrerebbe il minimo?
Quando abbiamo rivalutato formalmente l’ultima volta, e lo abbiamo fatto in modo proattivo o spinti da una crisi?
Che cosa rivelerebbe probabilmente una revisione esterna onesta della nostra autovalutazione?

Punti chiave

La maturità del programma attraversa cinque dimensioni trasversali: governance, strumentazione, equilibrio dei risultati, fiducia culturale e miglioramento continuo.
La maturità complessiva è il minimo tra le dimensioni, non la media; una debolezza nella fiducia culturale mina la forza ovunque altrove.
Usa questo modello consolidato accanto, non al posto, dei modelli di maturità dei singoli argomenti di tutto questo libro.
Rivaluta con una cadenza regolare, anziché aspettare che una crisi forzi la questione.
Tratta un punteggio basso come un onesto punto di partenza per l’investimento, non come un voto negativo, seguendo l’impostazione diagnostica di questo libro.

Riferimenti e letture di approfondimento

Capability Maturity Model Integration (CMMI), Software Engineering Institute (la metodologia generale dei modelli di maturità da cui l’approccio di questo argomento trae ispirazione strutturale).
Accelerate: The Science of Lean Software and DevOps, di Nicole Forsgren, Jez Humble e Gene Kim (la base di ricerca dei modelli di maturità dei singoli argomenti che questo modello consolidato riunisce).
Measuring and Managing Performance in Organizations, di Robert D. Austin (valutazione organizzativa della salute e delle disfunzioni di un programma di metriche).
The Fifth Discipline: The Art and Practice of the Learning Organization, di Peter M. Senge (autovalutazione organizzativa a livello di sistema e miglioramento continuo).