8.4 Volwassenheidsmodel voor ingenieursmetrieken-programma’s

Overzicht en motivatie

Elk onderwerp in delen 1 tot en met 7 van dit boek eindigt met zijn eigen vijf-niveau-volwassenheidsmodel, afgestemd op de specifieke metriekfamilie van dat onderwerp. Dit onderwerp doet iets anders: het stapt terug en vraagt hoe volwassenheid eruitziet voor het metriekenprogramma als geheel, de organisatorische capaciteit die al die individuele metrieken samen produceert, bestuurt, en erop handelt. Een organisatie kan op Niveau 4 zitten voor individuele DORA-metriekvolwassenheid terwijl het nog steeds op Niveau 1 zit voor algehele programmavolwassenheid, als het, bijvoorbeeld, uitstekende instrumentatie heeft maar geen governance (onderwerp 1.4), of uitstekende individuele metrieken maar een vrees-gedreven uitrol (onderwerp 8.3) die de onderliggende data gecorrumpeerd heeft ongeacht hoe goed elke metriek ontworpen was.

Het model van dit onderwerp is gebouwd rond vijf dimensies die doorheen elke individuele metriekfamilie snijden die dit boek behandelt: governance en eigenaarschap (onderwerp 1.4), instrumentatiekwaliteit (onderwerp 1.5), uitkomst-versus-output-balans (onderwerp 1.3, onderwerp 7.4), cultureel vertrouwen (onderwerp 8.3), en continue verbetering (de pensionerings- en herzieningsdiscipline die onderwerp 1.1 vestigde aan het allerbegin van dit boek). De algehele programmavolwassenheid van een organisatie is realistisch het minimum, niet het gemiddelde, over deze vijf dimensies, omdat een ernstige zwakte in enige een, vooral cultureel vertrouwen, de waarde van sterkte in alle andere kan ondermijnen, precies zoals onderwerp 8.3 direct beargumenteerde.

Voor grote teams geeft dit geconsolideerde model leiderschap een enkel, eerlijk instrument voor organisatorische zelfbeoordeling, onderscheiden van en complementair aan de onderwerp-per-onderwerp-volwassenheidschecks die dit boek doorheen levert. Grote bedrijven die metriekvolwassenheid vergelijken over bedrijfsonderdelen, en overheidsorganisaties die programmavolwassenheid rapporteren aan toezichthoudende instanties, profiteren beide van deze enkele, doorsnijdende beoordeling in plaats van vijfenveertig afzonderlijke onderwerpniveau-volwassenheidsaflezingen zelf te moeten synthetiseren in een coherent algeheel beeld.

Kernprincipes

Programmavolwassenheid is het minimum over zijn dimensies, niet het gemiddelde. Een ernstige zwakte in cultureel vertrouwen ondermijnt sterkte overal elders.
De vijf doorsnijdende dimensies zijn governance, instrumentatie, uitkomstbalans, cultureel vertrouwen, en continue verbetering. Elke dimensie brengt draden samen van veel individuele onderwerpen.
Dit model complementeert, vervangt niet, de individuele onderwerpniveau-volwassenheidsmodellen. Gebruik beide samen voor een compleet beeld.
Zelfbeoordeling zou eerlijk en specifiek moeten zijn, niet aspiratief. Score waar je daadwerkelijk bent, echt bewijs gebruikend, niet waar je van plan bent te zijn.
Beweging tussen niveaus vereist doelbewuste investering, niet alleen tijd die verstrijkt; volwassenheid accumuleert niet automatisch.

Aanbevelingen

Beoordeel elke van de vijf dimensies onafhankelijk, echt bewijs gebruikend

Voor governance, check of elke consequentiële metriek een genoemde eigenaar en een gedocumenteerd charter heeft (onderwerp 1.4). Voor instrumentatie, check of metrieken komen van geautomatiseerde bronnen in plaats van zelfrapportage waar mogelijk (onderwerp 1.5). Voor uitkomstbalans, berekenen de daadwerkelijke ratio van uitkomst-gewogen tot output-gewogen metrieken op je primaire dashboards (onderwerp 7.4). Voor cultureel vertrouwen, beoordeel eerlijk of je uitrolgeschiedenis ooit een verkeerd afgehandeld, punitief gebruik van een metriek omvat heeft en hoe het aangepakt werd (onderwerp 8.3). Voor continue verbetering, check of je organisatie een gedocumenteerde geschiedenis heeft van metrieken pensioneren die hun plaats niet meer verdienden (onderwerp 1.1). Score elke dimensie onafhankelijk voordat je ze combineert.

Neem het minimum over dimensies als je eerlijke algehele score

Weersta de verleiding om je vijf dimensiescores te gemiddelden tot een enkel, vleiendere compositie. Een programma met uitstekende instrumentatie (Niveau 4) maar zwak cultureel vertrouwen (Niveau 1) is niet, in enige betekenisvolle zin, een Niveau-2- of 3-programma; de zwakke dimensie ondermijnt actief de waarde van de sterke, omdat onvertrouwde data gecorrumpeerd door vrees-gedreven manipulatie niet gered wordt door verzameld te zijn geweest met uitstekende instrumentatie. Rapporteer het minimum eerlijk, zelfs al produceert het een minder vleiend algeheel beeld dan een gemiddelde zou doen.

Gebruik dit model naast, niet in plaats van, de onderwerpniveau-modellen

Dit geconsolideerde model beantwoordt “hoe volwassen is ons algehele programma”; de individuele onderwerpniveau-modellen doorheen delen 2 tot en met 8 beantwoorden “hoe volwassen is onze praktijk voor deze specifieke metriek.” Gebruik beide samen: het geconsolideerde model om te prioriteren welke doorsnijdende dimensie het meest investering nodig heeft, en de onderwerpniveau-modellen om te identificeren welke specifieke metriekfamilies het meest aandacht nodig hebben binnen die dimensie.

Herbezoek de beoordeling op een vaste cadans, niet louter wanneer getriggerd door een crisis

De consistente governancediscipline van dit boek volgend (onderwerp 1.4), herbeoordeel programmavolwassenheid op een regelmatige cadans, jaarlijks is gewoon, in plaats van alleen nadat een crisis (een ontdekt manipulatie-incident, een geloofwaardigheid-beschadigend publiek rapport) de vraag afdwingt. Een programma dat alleen zijn eigen volwassenheid reactief onderzoekt mist de kans om een verzwakkende dimensie te vangen en aan te pakken voordat het een echt, duur incident produceert.

Behandel een lage score eerlijk als een startpunt voor investering, geen falend cijfer

De diagnostische, niet evaluatieve, framing volgend die onderwerp 1.1 vestigde voor dit hele boek, gebruik een lage volwassenheidsscore, op enige dimensie, als het startpunt voor een doelbewust investeringsplan (de adoptieroadmap van onderwerp 8.5 is de directe volgende stap), niet als een oordeel om je slecht over te voelen. De meeste organisaties, eerlijk beoordeeld, zullen echte zwaktes vinden ergens in dit model; de productieve reactie is gerichte investering, geen defensiviteit over de score.

Afwegingen: voor- en nadelen

Aanpak	Voordelen	Nadelen
De vijf dimensiescores gemiddelden	Produceert een enkel, simpel, vleiendere cijfer	Verhult een kritieke zwakte in een dimensie die de rest ondermijnt
Het minimum over dimensies nemen	Eerlijk, handelbaar, identificeert correct de echte beperking	Kan ontmoedigend aanvoelen als een dimensie significant achterblijft bij de andere
Alleen onderwerpniveau-modellen gebruiken	Gedetailleerd, metriek-specifieke begeleiding	Mist de doorsnijdende blik op algehele programmagezondheid
Alleen dit geconsolideerde model gebruiken	Simpel, hoog-niveau	Mist het specifieke, handelbare detail dat de onderwerpniveau-modellen leveren

De centrale spanning is simpliciteit versus eerlijkheid, de voorzichtigheid van onderwerp 5.5 tegen een vals-precies enkel cijfer echoënd. Een gemiddelde score is simpeler en comfortabeler om te rapporteren, maar het verhult actief de echte beperking op de algehele betrouwbaarheid en waarde van je programma. Los de spanning op in het voordeel van eerlijkheid: rapporteer het minimum, en gebruik zowel dit geconsolideerde model als de individuele onderwerpniveau-modellen samen voor een compleet, accuraat, en handelbaar beeld.

Vragen om met je team te bespreken

Eerlijk en onafhankelijk beoordeeld, welk niveau scoort elke van onze vijf dimensies, governance, instrumentatie, uitkomstbalans, cultureel vertrouwen, en continue verbetering, daadwerkelijk? Loop elke dimensie expliciet door, echt bewijs gebruikend in plaats van indruk, voordat je ze combineert in een algehele beoordeling.
Wat is onze zwakste dimensie, en matcht dat onze intuïtie over de algehele gezondheid van ons programma, of onthult het iets dat we niet eerder direct benoemd hadden? Een lage score in cultureel vertrouwen specifiek, bijvoorbeeld, zou vertrouwen kunnen ondermijnen in data die anders technisch uitstekend oogt.
Hebben we onze sterktes en zwaktes gemiddeld in een vleiender algeheel beeld, in plaats van eerlijk onze zwakste dimensie te rapporteren als de echte beperking? Wees eerlijk over hoe je organisatie eerder gesproken heeft over zijn eigen metriekvolwassenheid.
Wanneer herbeoordeelden we laatst formeel onze algehele programmavolwassenheid, en werd het getriggerd door een crisis of door een doelbewuste, regelmatige cadans? Als alleen crisis-getriggerd, bespreek hoe een regelmatige beoordelingscadans eruit zou zien voorwaarts.
Hoe zou gerichte investering in onze zwakste dimensie daadwerkelijk eruitzien, concreet, voor het volgende kwartaal? Beweeg direct van beoordeling naar actie, de diagnose van dit onderwerp verbindend met de adoptieroadmap van onderwerp 8.5.
Hoe zou onze zelfbeoordeling zich vergelijken met een eerlijke externe review door iemand buiten onze organisatie? Deze vraag test of je interne beoordeling zelf onderhevig zou kunnen zijn aan enige van dezelfde optimistische bevooroordeling waar dit boek doorheen tegen waarschuwt, de moeite waard om periodiek te checken met echt extern perspectief.

Sectorperspectief

Startup. Formele vijf-dimensie-beoordeling is waarschijnlijk onnodig op heel kleine schaal, waar informeel bewustzijn meestal het meeste dekt van wat dit model zou onthullen. De gewoonte de moeite waard om vroeg te adopteren is simpelweg eerlijk zijn over cultureel vertrouwen specifiek, omdat de vroege metriekcultuur van een jong bedrijf een fundament stelt dat veel moeilijker te veranderen wordt eenmaal de organisatie significant gegroeid is.

Klein bedrijf. Een simpele, eerlijke, informele doorloop van de vijf dimensies eenmaal per jaar, zelfs zonder formele scoring, vangt het meeste van de waarde van dit onderwerp zonder een gestructureerd beoordelingsproces nodig te hebben op deze schaal.

Groot bedrijf. Dit geconsolideerde model is bijzonder waardevol voor het eerlijk vergelijken van metriekvolwassenheid over veel bedrijfsonderdelen, omdat een onderwerp-per-onderwerp-vergelijking over dozijnen teams onhandelbaar zou zijn. Gebruik het om organisatiebrede investering te prioriteren richting welke dimensie dan ook de meest wijdverspreide zwakte over onderdelen toont.

Overheid. Een gedocumenteerde, eerlijke volwassenheidszelfbeoordeling, dit geconsolideerde model gebruikend, is een echt nuttig artefact voor het aantonen van programmarigoureusheid aan een toezichthoudende instantie, mits de beoordeling eerlijk uitgevoerd wordt in plaats van aspiratief. Overweeg periodieke externe review van de zelfbeoordeling zelf, vooral voor de culturele-vertrouwen-dimensie, wat het moeilijkst accuraat te beoordelen is vanuit puur intern perspectief.

Voorbeelden

Groot bedrijf. De initiële zelfbeoordeling van een logistiektechnologiebedrijf scoorde zijn instrumentatiedimensie op Niveau 4 (geautomatiseerde, uitgebreide databron van pijplijnen en systemen) maar zijn culturele-vertrouwen-dimensie op Niveau 1, na een onaangepakt metriekmisbruikincident van twee jaar eerder dat nooit direct erkend of hersteld was (het overheidsvoorbeeld van onderwerp 8.3 direct echoënd). Het initiële instinct van leiderschap was om deze te gemiddelden in een respectabel Niveau-2- of 3-algeheel-beeld; een eerlijkere toepassing van de minimum-gebaseerde scoring van dit onderwerp identificeerde correct cultureel vertrouwen als de echte beperking op de waarde van het hele programma, omdat zelfs uitstekende instrumentatie data produceerde die ingenieurs, bewust van het verleden incident, nog steeds niet volledig vertrouwden of eerlijk erin rapporteerden. Gerichte investering specifiek in culturele-vertrouwens-herstel, de begeleiding van onderwerp 8.3 direct volgend, werd geprioriteerd boven verdere instrumentatie-investering als een direct resultaat van deze eerlijke, minimum-gebaseerde beoordeling.

Overheid. Een nationaal statistiekbureau dat zijn eerste formele volwassenheidszelfbeoordeling uitvoerde, dit geconsolideerde model gebruikend als deel van een bredere technologiegovernance-review, vond dat zijn governancedimensie goed scoorde (duidelijk eigenaarschap, gedocumenteerde charters) maar zijn uitkomstbalansdimensie slecht scoorde, met de overweldigende meerderheid van bijgehouden metrieken output- en activiteitsgebaseerd ondanks dat het argument van deel 7 voor uitkomstweging intellectueel goed begrepen was binnen het technisch leiderschap van het bureau. Deze eerlijke, specifieke bevinding, in plaats van een vaag algemeen gevoel dat “we zouden meer uitkomsten moeten meten,” gaf het daaropvolgende investeringsplan van het bureau (onderwerp 8.5) een concreet, bewijs-gebaseerd startpunt, en vervolgrapportage aan de toezichthoudende raad van het bureau citeerde deze volwassenheidsbeoordeling specifiek als de basis voor een herrichte metriekinvesteringsstrategie.

Zakelijke onderbouwing: motivatie, ROI en TCO

Het rendement van een eerlijke, minimum-gebaseerde volwassenheidszelfbeoordeling is correct de daadwerkelijke beperking op de waarde van een metriekenprogramma identificeren, in plaats van verder te investeren in een al-sterke dimensie terwijl een zwakke de betrouwbaarheid van het hele programma blijft ondermijnen, precies het patroon dat beide voorbeelden hierboven illustreren. Dit richtingseffect is de primaire waarde van het model: het richt beperkte verbeteringsinvestering naar waar het echt de algehele volwassenheid van het programma zal bewegen, in plaats van naar waar investering toevallig het makkelijkst of meest bekend is.

De totale eigendomskosten zijn de beoordelingsinspanning zelf, bescheiden en periodiek, afgewogen tegen het risico van doorgaan met investeren in een al-sterke dimensie terwijl een onaangepakte zwakke, vooral cultureel vertrouwen, stilletjes de waarde blijft corrumperen van alles anders wat het programma gebouwd heeft.

Antipatronen en valkuilen

Dimensiescores gemiddelen in een vleiendere compositie: verhult de echte beperking op de algehele waarde van het programma.
Alleen aspiratief beoordelen, gebaseerd op gesteld beleid in plaats van daadwerkelijke praktijk: produceert een inaccuraat, te optimistisch beeld.
Dit geconsolideerde model gebruiken als een vervanging voor, in plaats van een complement aan, de onderwerpniveau-modellen: verliest het specifieke, handelbare detail dat die individuele modellen leveren.
Alleen herbeoordelen nadat een crisis de vraag afdwingt: mist de kans om een verzwakkende dimensie proactief te vangen en aan te pakken.
Een lage score behandelen als een falend cijfer in plaats van een investeringsstartpunt: nodigt defensiviteit uit in plaats van de productieve, diagnostische reactie die dit boek doorheen aanbeveelt.
Nooit een eerlijk extern perspectief zoeken op de zelfbeoordeling: riskeert dezelfde optimistische bevooroordeling waar dit boek doorheen tegen waarschuwt die de beoordeling zelf beïnvloedt.

Volwassenheidsmodel

Niveau 1, Initiëren: Geen formele doorsnijdende beoordeling bestaat; individuele metriekfamilies zouden onafhankelijk beoordeeld kunnen worden, maar algehele programmagezondheid is ongeëxamineerd.
Niveau 2, Ontwikkelen: Enig informeel bewustzijn van algehele programmasterktes en zwaktes bestaat, maar geen gestructureerde, vijf-dimensie-beoordeling is uitgevoerd.
Niveau 3, Standaardiseren: Een gestructureerde, eerlijke, minimum-gebaseerde vijf-dimensie-beoordeling wordt uitgevoerd, echt bewijs gebruikend, organisatiebreed.
Niveau 4, Beheren: De beoordeling wordt herhaald op een regelmatige cadans, en zijn bevindingen informeren direct en consistent gerichte investeringsprioriteiten.
Niveau 5, Orkestreren: De organisatie heeft een aangetoonde, aanhoudende praktijk van eerlijke zelfbeoordeling, inclusief periodieke externe review, en kan wijzen naar specifieke investeringsbeslissingen die de bevindingen van de beoordeling direct dreven.

Discussie-ideeën

Wat is onze eerlijke, bewijs-gebaseerde score op elke van de vijf dimensies nu?
Welke dimensie is onze echte beperking, en matcht dat onze intuïtie?
Hebben we onze scores ooit gemiddeld in een vleiender beeld dan het minimum zou tonen?
Wanneer herbeoordeelden we laatst formeel, en was het proactief of crisis-gedreven?
Wat zou een eerlijke externe review van onze zelfbeoordeling waarschijnlijk onthullen?

Belangrijkste inzichten

Programmavolwassenheid omspant vijf doorsnijdende dimensies: governance, instrumentatie, uitkomstbalans, cultureel vertrouwen, en continue verbetering.
Algehele volwassenheid is het minimum over dimensies, niet het gemiddelde; een zwakte in cultureel vertrouwen ondermijnt sterkte overal elders.
Gebruik dit geconsolideerde model naast, niet in plaats van, de individuele onderwerpniveau-volwassenheidsmodellen doorheen dit boek.
Herbeoordeel op een regelmatige cadans, in plaats van te wachten totdat een crisis de vraag afdwingt.
Behandel een lage score als een eerlijk investeringsstartpunt, geen falend cijfer, de diagnostische framing van dit boek doorheen volgend.

Bronnen en verder lezen

Capability Maturity Model Integration (CMMI), Software Engineering Institute (de algemene volwassenheidsmodelmethodologie waarvan de aanpak van dit onderwerp structurele inspiratie put).
Accelerate: The Science of Lean Software and DevOps, door Nicole Forsgren, Jez Humble, en Gene Kim (de onderzoeksbasis voor de individuele onderwerpniveau-volwassenheidsmodellen die dit geconsolideerde model samenbrengt).
Measuring and Managing Performance in Organizations, door Robert D. Austin (organisatorische beoordeling van metriekenprogramma-gezondheid en -disfunctie).
The Fifth Discipline: The Art and Practice of the Learning Organization, door Peter M. Senge (systeemniveau-organisatorische zelfbeoordeling en continue verbetering).