1.0 Inleiding tot deel 1: De grondslagen van meten

Voordat dit boek ook maar één metriek benoemt, moet het een moeilijkere vraag beantwoorden: waarvoor dient meten eigenlijk? Elk team dat ooit een dashboard heeft gebouwd, heeft ook, vroeg of laat, een cijfer zien verbeteren terwijl het ding dat het zou moeten vertegenwoordigen juist slechter werd. Dat is geen tooling-fout. Het is het voorspelbare resultaat van het overslaan van de grondslagen die dit deel behandelt: waarom je überhaupt meet, wat er met een metriek gebeurt zodra mensen weten dat die wordt bekeken, hoe je uitkomsten boven activiteit weegt, wie een cijfer en zijn definitie bezit, waar de data daadwerkelijk vandaan komt, en hoe je een ruizig signaal leest zonder jezelf voor de gek te houden.

Voor grote teams stoppen deze grondslagen ermee om optioneel te zijn. Een enkel team kan wegkomen met een ad hoc cijfer waar een manager eens per week naar kijkt. Een organisatie met honderden ingenieurs, tientallen dashboards, en een leiderschapsteam dat naar boven rapporteert, kan dat niet. Op die schaal misleidt een niet-geëigende of slecht gedefinieerde metriek niet alleen één team, het misleidt iedereen stroomafwaarts die het cijfer vertrouwt zonder te controleren hoe het werd gebouwd, en het is duur om terug te draaien zodra gedrag zich heeft aangepast om het te manipuleren.

Grote bedrijven en overheidsinstanties voelen dit het scherpst, omdat hun metrieken vaak gevolgen dragen die verder gaan dan het team dat ze produceert: budgetbeslissingen, openbare prestatierapportages, auditbevindingen, en leveranciersovereenkomsten. Een metriek die aanvoelt als een interne ingenieursgemak kan stilletjes een kritische, onbetwiste input worden voor beslissingen genomen door mensen die de pijplijn die hem genereerde nooit zien. De grondslagen goed krijgen is wat dat gewicht draaglijk maakt.

Onderwerpen in dit deel

• 1.1 Waarom softwareontwikkeling meten: Het argument voor meten in het algemeen, wat het zou moeten bereiken, en het verschil tussen meten om te leren en meten om te oordelen.
• 1.2 Goodharts wet en de psychologie van metrieken: Het ene idee dat elk ander onderwerp in dit boek regeert: een maatstaf die een doel wordt, stopt een goede maatstaf te zijn, en de psychologische mechanismen die manipulatie bijna onvermijdelijk maken zodra mensen weten dat ze worden bekeken.
• 1.3 Uitkomsten boven output: kiezen wat je meet: Hoe je een metriekenset weegt richting uitkomsten in plaats van activiteit, met gebruik van het klassieke input/output/uitkomst-onderscheid en het noorderster-patroon.
• 1.4 Metriekengovernance en eigenaarschap: Wie beslist wat gemeten wordt, wie een definitie bezit, en hoe een metriekcharter een groeiend dashboard behoedt voor het worden van een onverantwoordelijke wildgroei.
• 1.5 Databronnen en instrumentatie: Waar ingenieursmetrieken daadwerkelijk vandaan komen, instrumentatie versus zelfrapportage, en de datakwaliteitsproblemen die een dashboard stilletjes ongeldig maken voordat iemand het merkt.
• 1.6 Statistische geletterdheid voor technische metrieken: Het minimale statistische oordeel dat een team nodig heeft om een metriek eerlijk te lezen: percentielen versus gemiddelden, steekproefgrootte, regressie naar het gemiddelde, en verstorende variabelen.

Hoe deze onderwerpen samenhangen

Deze zes onderwerpen bouwen in een strikte volgorde. Onderwerp 1.1 vraagt waarom je überhaupt meet, wat ertoe doet omdat een team dat die vraag niet heeft beantwoord, cijfers verzamelt waarop niemand handelt. Onderwerp 1.2 is het scharnierpunt waarop de rest van het boek draait: zodra je aanvaardt dat elke maatstaf een doel kan worden en gemanipuleerd kan worden, volgen alle latere aanbevelingen uit het ontwerpen tegen dat risico. Onderwerp 1.3 verandert die voorzichtigheid in een positieve regel: weeg richting uitkomsten, omdat die de moeilijkste categorie zijn om goedkoop te manipuleren. Onderwerp 1.4 maakt de governance concreet, onderwerp 1.5 maakt de data concreet, en onderwerp 1.6 geeft je het statistische oordeel om niet voor de gek gehouden te worden door ruis, zelfs nadat governance en instrumentatie op orde zijn.

Alles stroomafwaarts hangt af van dit deel. Deel 2’s flowmetrieken en DORA-metrieken, en het SPACE-raamwerk in deel 3, zijn allemaal, in essentie, uitgewerkte voorbeelden van de uitkomst-weging- en beschermmetriek-paringsprincipes uiteengezet in onderwerp 1.2 en 1.3. De dashboardontwerprichtlijnen in onderwerp 8.1 gaan uit van het governance-model uit onderwerp 1.4. En het volwassenheidsmodel dat elk onderwerp in dit boek afsluit, is, onder zijn vijf niveaus, een volwassenheidsmodel voor precies de discipline die dit deel introduceert: meten alsof je het serieus bedoelt, en je eigen werk controleren.