8.4 Mognadsmodell för ingenjörsmätetalsprogram

Översikt och motivation

Varje ämne i del 1 till 7 av den här boken avslutar med sin egen femnivå-mognadsmodell, avgränsad till det ämnets specifika mätetalsfamilj. Det här ämnet gör något annorlunda: det tar ett steg tillbaka och frågar vad mognad ser ut som för mätetalsprogrammet som helhet, den organisatoriska förmågan som producerar, styr, och agerar på alla de individuella mätetalen tillsammans. En organisation kan vara på Nivå 4 på individuell DORA-mätetalsmognad medan den fortfarande är på Nivå 1 på programmognad övergripande, om, till exempel, den har utmärkt instrumentering men ingen styrning (ämne 1.4), eller utmärkta individuella mätetal men en fruktandriven utrullning (ämne 8.3) som har korrumperat den underliggande datan oavsett hur väl varje mätetal designades.

Det här ämnets modell är byggd runt fem dimensioner som skär genom varje individuell mätetalsfamilj den här boken täcker: styrning och ägarskap (ämne 1.4), instrumenteringskvalitet (ämne 1.5), utfall-kontra-output-balans (ämne 1.3, ämne 7.4), kulturellt förtroende (ämne 8.3), och kontinuerlig förbättring (pensionerings- och revisionsdisciplinen ämne 1.1 etablerade i den här bokens allra start). En organisations övergripande programmognad är realistiskt minimum, inte genomsnittet, över de här fem dimensionerna, eftersom en allvarlig svaghet i någon enskild, särskilt kulturellt förtroende, kan undergräva värdet av styrka i alla de andra, exakt som ämne 8.3 argumenterade direkt.

För stora team ger den här konsoliderade modellen ledning ett enda, ärligt instrument för organisatorisk självbedömning, distinkt från och kompletterande till de ämne-för-ämne-mognadskontroller den här boken ger genomgående. Stora företag som jämför mätetalsmognad över affärsenheter, och myndigheter som rapporterar programmognad till tillsynsorgan, gynnas båda av den här enda, tvärgående bedömningen snarare än att behöva syntetisera fyrtiofem separata ämnesnivå-mognadsavläsningar till en sammanhängande övergripande bild själva.

Nyckelprinciper

Programmognad är minimum över dess dimensioner, inte genomsnittet. En allvarlig svaghet i kulturellt förtroende undergräver styrka överallt annars.
De fem tvärgående dimensionerna är styrning, instrumentering, utfallsbalans, kulturellt förtroende, och kontinuerlig förbättring. Varje dimension drar samman trådar från många individuella ämnen.
Den här modellen kompletterar, ersätter inte, de individuella ämnesnivå-mognadsmodellerna. Använd båda tillsammans för en komplett bild.
Självbedömning borde vara ärlig och specifik, inte aspirationell. Poängsätt var ni faktiskt är, med hjälp av konkret bevis, inte var ni avser vara.
Rörelse mellan nivåer kräver medveten investering, inte bara tid som förflyter; mognad ackumuleras inte automatiskt.

Rekommendationer

Bedöm var och en av de fem dimensionerna oberoende, med hjälp av konkret bevis

För styrning, kontrollera om varje konsekvensrikt mätetal har en namngiven ägare och en dokumenterad stadga (ämne 1.4). För instrumentering, kontrollera om mätetal kommer från automatiserade källor snarare än självrapportering där möjligt (ämne 1.5). För utfallsbalans, beräkna det faktiska förhållandet av utfallsviktade till outputviktade mätetal på era primära instrumentpaneler (ämne 7.4). För kulturellt förtroende, bedöm ärligt om er utrullningshistorik någonsin har inkluderat en felhanterad, bestraffande användning av ett mätetal och hur den adresserades (ämne 8.3). För kontinuerlig förbättring, kontrollera om er organisation har en dokumenterad historik av att pensionera mätetal som slutade förtjäna sin plats (ämne 1.1). Poängsätt varje dimension oberoende innan ni kombinerar dem.

Ta minimum över dimensioner som er ärliga övergripande poäng

Motstå frestelsen att genomsnittsberäkna era fem dimensionspoäng till ett enda, mer smickrande sammansatt. Ett program med utmärkt instrumentering (Nivå 4) men svagt kulturellt förtroende (Nivå 1) är inte, i någon meningsfull mening, ett Nivå 2- eller 3-program; den svaga dimensionen undergräver aktivt värdet av de starka, eftersom opålitlig data korrumperad av fruktandriven manipulation inte räddas av att ha samlats in med utmärkt instrumentering. Rapportera minimum ärligt, även om det producerar en mindre smickrande övergripande bild än ett genomsnitt skulle.

Använd den här modellen vid sidan av, inte istället för, ämnesnivå-modellerna

Den här konsoliderade modellen besvarar “hur moget är vårt övergripande program”; de individuella ämnesnivå-modellerna genom del 2 till 8 besvarar “hur mogen är vår praxis för det här specifika mätetalet.” Använd båda tillsammans: den konsoliderade modellen för att prioritera vilken tvärgående dimension som mest behöver investering, och ämnesnivå-modellerna för att identifiera vilka specifika mätetalsfamiljer som mest behöver uppmärksamhet inom den dimensionen.

Återbesök bedömningen på en fast cadens, inte bara när föranledd av en kris

Följande den här bokens konsekventa styrningsdisciplin (ämne 1.4), ombedöm programmognad på en regelbunden cadens, årligen är vanligt, snarare än bara efter att en kris (en upptäckt manipulationsincident, en trovärdighetsskadande offentlig rapport) tvingar fram frågan. Ett program som bara undersöker sin egen mognad reaktivt missar chansen att fånga och adressera en försvagande dimension innan den producerar en verklig, kostsam incident.

Behandla en låg poäng ärligt som en startpunkt för investering, inte ett underkänt betyg

Följande den diagnostiska, inte utvärderande, inramningen ämne 1.1 etablerade för hela den här boken, använd en låg mognadspoäng, på någon dimension, som startpunkten för en medveten investeringsplan (ämne 8.5:s antagandefärdplan är nästa direkta steg), inte som en dom att känna sig dålig över. De flesta organisationer, ärligt bedömda, kommer finna verkliga svagheter någonstans i den här modellen; det produktiva svaret är riktad investering, inte defensivitet om poängen.

Avvägningar: fördelar och nackdelar

Tillvägagångssätt	Fördelar	Nackdelar
Genomsnittsberäkning av de fem dimensionspoängen	Producerar ett enda, enkelt, mer smickrande tal	Döljer en kritisk svaghet i en dimension som undergräver resten
Att ta minimum över dimensioner	Ärligt, handlingsbart, identifierar korrekt den verkliga begränsningen	Kan kännas nedslående om en dimension ligger betydligt efter de andra
Att bara använda ämnesnivå-modeller	Detaljerad, mätetalsspecifik vägledning	Missar den tvärgående vyn av övergripande programhälsa
Att bara använda den här konsoliderade modellen	Enkel, hög nivå	Missar den specifika, handlingsbara detaljen ämnesnivå-modellerna ger

Den centrala spänningen är enkelhet kontra ärlighet, ekande ämne 5.5:s försiktighet mot ett falskt precist enda tal. En genomsnittsberäknad poäng är enklare och mer bekväm att rapportera, men den döljer aktivt den verkliga begränsningen på ert programs övergripande trovärdighet och värde. Lös spänningen till förmån för ärlighet: rapportera minimum, och använd både den här konsoliderade modellen och de individuella ämnesnivå-modellerna tillsammans för en komplett, korrekt, och handlingsbar bild.

Frågor att diskutera med ditt team

Bedömda ärligt och oberoende, vilken nivå poängsätter var och en av våra fem dimensioner, styrning, instrumentering, utfallsbalans, kulturellt förtroende, och kontinuerlig förbättring, faktiskt? Gå igenom varje dimension explicit, med hjälp av konkret bevis snarare än intryck, innan ni kombinerar dem till en övergripande bedömning.
Vad är vår svagaste dimension, och matchar det vår intuition om vårt programs övergripande hälsa, eller avslöjar det något vi inte tidigare namngett direkt? En låg poäng i kulturellt förtroende specifikt, till exempel, kan undergräva förtroende för data som annars ser tekniskt utmärkt ut.
Har vi genomsnittsberäknat våra styrkor och svagheter till en mer smickrande övergripande bild, snarare än ärligt rapportera vår svagaste dimension som den verkliga begränsningen? Var ärliga om hur er organisation tidigare har pratat om sin egen mätetalsmognad.
När ombedömde vi senast formellt vår övergripande programmognad, och var det föranlett av en kris eller av en medveten, regelbunden cadens? Om bara krisföranlett, diskutera hur en regelbunden bedömningscadens skulle se ut framåt.
Hur skulle riktad investering i vår svagaste dimension faktiskt se ut, konkret, för nästa kvartal? Flytta direkt från bedömning till handling, kopplande det här ämnets diagnos till ämne 8.5:s antagandefärdplan.
Hur skulle vår självbedömning jämföra sig med en ärlig extern granskning av någon utanför vår organisation? Den här frågan testar om er interna bedömning själv kan vara föremål för några av samma optimistiska förspänningar den här boken har varnat mot genomgående, värt att kontrollera periodiskt med genuint utanförstående perspektiv.

Sektorperspektiv

Startup. Formell femdimensionsbedömning är troligen onödig på mycket liten skala, där informell medvetenhet vanligtvis täcker det mesta av vad den här modellen skulle avslöja. Vanan värd att anta tidigt är helt enkelt att vara ärlig om kulturellt förtroende specifikt, eftersom ett ungt företags tidiga mätetalskultur sätter en grund som blir mycket svårare att ändra när organisationen har växt betydligt.

Litet företag. En enkel, ärlig, informell genomgång av de fem dimensionerna en gång per år, även utan formell poängsättning, fångar det mesta av det här ämnets värde utan att behöva en strukturerad bedömningsprocess på den här skalan.

Stort företag. Den här konsoliderade modellen är särskilt värdefull för att jämföra mätetalsmognad över många affärsenheter rättvist, eftersom en ämne-för-ämne-jämförelse över dussintals team skulle vara ohanterlig. Använd den för att prioritera organisationsövergripande investering mot vilken dimension som visar den mest utbredda svagheten över enheter.

Myndighet. En dokumenterad, ärlig mognadssjälvbedömning, med hjälp av den här konsoliderade modellen, är en genuint användbar artefakt för att demonstrera programrigör för ett tillsynsorgan, förutsatt att bedömningen genomförs ärligt snarare än aspirationellt. Överväg periodisk extern granskning av självbedömningen själv, särskilt för kulturellt-förtroende-dimensionen, som är svårast att bedöma korrekt från rent internt perspektiv.

Exempel

Stort företag. Ett logistikteknikbolags initiala självbedömning poängsatte sin instrumenteringsdimension på Nivå 4 (automatiserad, heltäckande datakällning från pipelines och system) men sin kulturellt-förtroende-dimension på Nivå 1, följande en oadresserad mätetalsmissbruksincident från två år tidigare som aldrig direkt hade erkänts eller reparerats (ekande ämne 8.3:s myndighetsexempel direkt). Ledningens initiala instinkt var att genomsnittsberäkna de här till en respektabel Nivå 2- eller 3-övergripande bild; en mer ärlig tillämpning av det här ämnets minimum-baserade poängsättning identifierade korrekt kulturellt förtroende som den verkliga begränsningen på hela programmets värde, eftersom även utmärkt instrumentering producerade data som ingenjörer, medvetna om den tidigare incidenten, fortfarande inte fullt litade på eller rapporterade ärligt in i. Riktad investering specifikt i kulturellt-förtroende-reparation, följande ämne 8.3:s vägledning direkt, prioriterades över ytterligare instrumenteringsinvestering som ett direkt resultat av den här ärliga, minimum-baserade bedömningen.

Myndighet. En nationell statistikmyndighet som genomförde sin första formella mognadssjälvbedömning, med hjälp av den här konsoliderade modellen som en del av en bredare teknikstyrningsgranskning, fann att dess styrningsdimension poängsatte väl (tydligt ägarskap, dokumenterade stadgar) men dess utfallsbalansdimension poängsatte dåligt, med den överväldigande majoriteten av spårade mätetal varande output- och aktivitetsbaserade trots del 7:s argument för utfallsviktning väl förstått intellektuellt inom myndighetens tekniska ledning. Det här ärliga, specifika fyndet, snarare än en vag allmän känsla att “vi borde mäta utfall mer,” gav myndighetens efterföljande investeringsplan (ämne 8.5) en konkret, evidensbaserad startpunkt, och uppföljningsrapportering till myndighetens tillsynsnämnd citerade specifikt den här mognadsbedömningen som grunden för en omdirigerad mätetalsinvesteringsstrategi.

Verksamhetsnytta: motiv, ROI och TCO

Avkastningen på en ärlig, minimum-baserad mognadssjälvbedömning är att korrekt identifiera den faktiska begränsningen på ett mätetalsprograms värde, snarare än att investera vidare i en redan-stark dimension medan en svag fortsätter undergräva hela programmets trovärdighet, exakt mönstret båda exemplen ovan illustrerar. Den här riktningseffekten är modellens primära värde: den riktar begränsad förbättringsinvestering mot var den genuint kommer flytta det övergripande programmets mognad, snarare än mot var investering råkar vara lättast eller mest bekant.

Den totala ägandekostnaden är bedömningsinsatsen själv, blygsam och periodisk, vägd mot risken av att fortsätta investera i en redan-stark dimension medan en oadresserad svag, särskilt kulturellt förtroende, fortsätter tyst korrumpera värdet av allt annat programmet har byggt.

Antimönster och fallgropar

Att genomsnittsberäkna dimensionspoäng till ett mer smickrande sammansatt: döljer den verkliga begränsningen på programmets övergripande värde.
Att bara bedöma aspirationellt, baserat på uttalad policy snarare än faktisk praxis: producerar en felaktig, överdrivet optimistisk bild.
Att använda den här konsoliderade modellen som en ersättning för, snarare än ett komplement till, ämnesnivå-modellerna: förlorar den specifika, handlingsbara detaljen de individuella modellerna ger.
Att bara ombedöma efter att en kris tvingar fram frågan: missar chansen att fånga och adressera en försvagande dimension proaktivt.
Att behandla en låg poäng som ett underkänt betyg snarare än en investeringsstartpunkt: inbjuder defensivitet snarare än det produktiva, diagnostiska svaret den här boken rekommenderar genomgående.
Att aldrig söka ett ärligt externt perspektiv på självbedömningen: riskerar samma optimistiska förspänning den här boken varnar mot genomgående som påverkar bedömningen själv.

Mognadsmodell

Nivå 1, Initiera: Ingen formell tvärgående bedömning existerar; individuella mätetalsfamiljer kan bedömas oberoende, men övergripande programhälsa är oundersökt.
Nivå 2, Utveckla: Viss informell medvetenhet om övergripande programstyrkor och svagheter existerar, men ingen strukturerad, femdimensionsbedömning har genomförts.
Nivå 3, Standardisera: En strukturerad, ärlig, minimum-baserad femdimensionsbedömning genomförs, med hjälp av konkret bevis, organisationsövergripande.
Nivå 4, Hantera: Bedömningen upprepas på en regelbunden cadens, och dess fynd informerar direkt och konsekvent riktade investeringsprioriteringar.
Nivå 5, Orkestrera: Organisationen har en demonstrerad, upprätthållen praxis av ärlig självbedömning, inklusive periodisk extern granskning, och kan peka på specifika investeringsbeslut bedömningens fynd direkt drev.

Diskussionsidéer

Vad är vår ärliga, evidensbaserade poäng på var och en av de fem dimensionerna just nu?
Vilken dimension är vår verkliga begränsning, och matchar det vår intuition?
Har vi någonsin genomsnittsberäknat våra poäng till en mer smickrande bild än minimum skulle visa?
När ombedömde vi senast formellt, och var det proaktivt eller krisdrivet?
Vad skulle en ärlig extern granskning av vår självbedömning troligen avslöja?

Viktiga slutsatser

Programmognad spänner fem tvärgående dimensioner: styrning, instrumentering, utfallsbalans, kulturellt förtroende, och kontinuerlig förbättring.
Övergripande mognad är minimum över dimensioner, inte genomsnittet; en svaghet i kulturellt förtroende undergräver styrka överallt annars.
Använd den här konsoliderade modellen vid sidan av, inte istället för, de individuella ämnesnivå-mognadsmodellerna genom den här boken.
Ombedöm på en regelbunden cadens, snarare än att vänta tills en kris tvingar fram frågan.
Behandla en låg poäng som en ärlig investeringsstartpunkt, inte ett underkänt betyg, följande den här bokens diagnostiska inramning genomgående.

Källor och vidare läsning

Capability Maturity Model Integration (CMMI), Software Engineering Institute (den allmänna mognadsmodellsmetodologin det här ämnets tillvägagångssätt drar strukturell inspiration från).
Accelerate: The Science of Lean Software and DevOps, av Nicole Forsgren, Jez Humble, och Gene Kim (forskningsbasen för de individuella ämnesnivå-mognadsmodellerna den här konsoliderade modellen drar samman).
Measuring and Managing Performance in Organizations, av Robert D. Austin (organisatorisk bedömning av mätetalsprogramhälsa och dysfunktion).
The Fifth Discipline: The Art and Practice of the Learning Organization, av Peter M. Senge (systemnivå organisatorisk självbedömning och kontinuerlig förbättring).