1.3 Niðurstöður fram yfir afurðir: að velja hvað á að mæla

Yfirlit og tilgangur

Sérhver verkfræðimælikvarði fellur í einn af þremur flokkum, og að rugla þeim saman er næstalgengasti bilunarháttur þessarar bókar, á eftir að hunsa lögmál Goodharts alveg. Inntaksmælikvarði mælir fyrirhöfn sem varið er: verkfræðingatíma, dollara í notkun, sögupunkta skuldbundna. Afurðamælikvarði mælir hvað kerfið framleiddi: eiginleika afhenta, sameiningarbeiðnir sameinaðar, miða lokaða. Niðurstöðumælikvarði mælir breytinguna sem skipti í raun máli: tekjur varðveittar, atvik forðuð, tími sparaður fyrir notanda. Teymi hneigjast að inntökum og afurðum því þau eru auðveld að telja og fullkomlega innan stjórnar teymis. Virðið býr, næstum alltaf, í niðurstöðum, sem eru hægari að birtast, hávaðasamari að mæla og erfiðari að eigna vinnu nokkurs eins teymis.

Þetta viðfangsefni snýst um að standast þann þyngdarkraft vísvitandi. Mælaborð byggt alfarið úr inntökum og afurðum getur litið áhrifamikið upptekið út meðan það framleiðir alls ekkert raunverulegt virði: teymi getur afhent tugi eiginleika sem enginn notar, lokað hundruðum miða sem opnast aftur viku síðar eða staðist hvert sögupunktamat meðan raunverulegar niðurstöður vörunnar, varðveisla, ánægja, tekjur, standa í stað eða minnka. Ekkert af þeirri önnum birtist sem vandamál á mælaborði sem sýnir aðeins afurðir, því slík mælaborð eru ekki byggð til að sjá það.

Í mæli stórfyrirtækja og hins opinbera ræður þessi greinarmunur hvort forysta getur greint muninn á teymi sem er afkastamikið og teymi sem er bara virkt. Deild getur sýnt framúrskarandi afurðatölur árum saman, eiginleika afhenta, spretti lokaða, meðan niðurstaðan sem fjármögnunaraðili eða löggjafarvald lætur sig í raun varða, tekjur varðveittar, biðtími borgara styttur, rýrnar hljóðlega undir. „Við afhentum vegvísinn“ er ekki sama fullyrðing og „vegvísirinn bætti hlutina“, og aðeins niðurstöðuvegið mælikvarðasafn getur greint þetta tvennt að.

Lykilmeginreglur

Inntök og afurðir eru staðgenglar; niðurstöður eru hluturinn sjálfur. Vegðu mælikvarðasafn þitt í átt að niðurstöðum hvar sem þú nærð til þeirra.
Auðveld mæling er ekki ástæða til að mæla eitthvað. Auðveldustu hlutirnir að telja eru yfirleitt inntök og afurðir, ekki því þau skipta mestu máli heldur því þau eru vélrænt einföld að fanga.
Eignun verður erfiðari eftir því sem þú færir þig í átt að niðurstöðum. Samþykktu þá málamiðlun vísvitandi frekar en að hörfa í afurðir því niðurstöður eru erfiðari að eigna.
Teymi getur stjórnað inntökum sínum og afurðum en aðeins haft áhrif á niðurstöður. Hannaðu ábyrgð í samræmi: láttu teymi bera ábyrgð á því sem þau geta í raun stjórnað, og raktu niðurstöður sem sameiginleg, þvert-teymis merki.
Ein pólstjörnuniðurstaða, með litlu safni drifkrafta, slær vegg afurðaflísa. Þekja ætti að koma af uppbyggingu, ekki af hreinu mælaborðsmagni.

Ráðleggingar

Flokkaðu sérhvern mælikvarða áður en þú tekur hann upp

Fyrir hvern frambjóðandamælikvarða, spyrðu í hvern flokkanna þriggja hann fellur. „Sameiningarbeiðnir sameinaðar á viku“ er afurð. „Hundraðshluti sameinaðra sameiningarbeiðna sem ollu framleiðsluatviki innan viku“ er nær niðurstöðu, því hann mælir afleiðingu frekar en magn. Þessi flokkun tekur þrjátíu sekúndur og ætti að vera skyldubundin áður en mælikvarða er bætt við nokkuð teymis- eða skipulagsmælaborð, því hún er fljótlegasta leiðin til að grípa mælaborð sem fyllist hljóðlega af auðteljanlegum afurðum meðan það trúir að það mæli virði.

Byggðu mælikvarðatré undir einni niðurstöðu

Raktu ekki flatan lista. Raðaðu mælikvörðum sem mælikvarðatré (stundum kallað KPI-tré): efsti niðurstöðumælikvarði brotinn niður í drifkraftana sem orsaka- eða stærðfræðilega næra hann, niður í rekstrarafurða- og inntaksmælikvarðana sem einstök teymi eiga í raun. Þegar efsta niðurstaðan hreyfist segir tréð þér hvaða lægra stigs drifkraft á að rannsaka, sem breytir „talan er niður“ í „þetta tiltekna skref í leiðslunni er orsökin“. Nefndu einn pólstjörnumælikvarða efst hvar sem svið þitt styður einn: mælikvarðann sem best fangar afhent virði, afhendingartíðni paraða við breytingabilunarhlutfall fyrir vettvangsteymi, eða vikuleg virk notkun kjarnaeiginleika fyrir vöruteymi.

Vegðu niðurstöður í yfirferð, ekki bara á mælaborðinu

Mælikvarðatré er aðeins jafn gott og hvernig það er notað í reynd. Á sprettyfirferðum, ársfjórðungslegum viðskiptayfirferðum og forystuuppfærslum, leiddu með niðurstöðustigstölunni og notaðu afurða- og inntaksmælikvarðana fyrir neðan hana aðeins til að útskýra hreyfingu, ekki í stað hennar. Teymi sem skýrir „við lokuðum 40 miðum þennan sprett“ án nokkurs niðurstöðusamhengis hefur sagt þér ekkert um hvort vinnan skipti máli; teymi sem skýrir „sloppnir gallar féllu um 30% og hér er prófunarfjárfestingin sem knúði það“ hefur sagt þér eitthvað raunverulegt.

Samþykktu hægari endurgjöf fyrir niðurstöðumælikvarða, og paraðu þá við hraðari leiðandi vísa

Niðurstöðumælikvarðar eru oft eftirliggjandi: þeir staðfesta niðurstöðu eftir að nægur tími er liðinn til að vera viss. Sú seinkun er sannarlega kostnaður, þar sem hún seinkar námi. Paraðu sérhvern niðurstöðumælikvarða við að minnsta kosti einn leiðandi vísi, mælikvarða sem hreyfist fyrr og spáir fyrir um niðurstöðuna, svo teymi geti stýrt áður en hin hæga, opinbera tala lendir loks. Afhendingartíðni er leiðandi vísir fyrir afhendingarniðurstöður; vaxandi galla-flóttaþróun er leiðandi vísir fyrir væntanlega áreiðanleikaniðurstöðu. Notaðu leiðandi vísa til að bregðast snemma við og eftirliggjandi niðurstöðumælikvarða til að staðfesta að þú hafðir rétt fyrir þér.

Málamiðlanir: kostir og gallar

Flokkur	Kostir	Gallar
Inntaksmælikvarðar	Fullkomlega innan stjórnar teymis, auðvelt að telja	Veikasti hlekkurinn við raunverulegt virði; auðvelt að leika með magni
Afurðamælikvarðar	Auðvelt að telja, skýrt eignarhald, hröð endurgjöf	Umbuna virkni fram yfir áhrif; geta hækkað meðan virði fellur
Niðurstöðumælikvarðar	Endurspegla beint það sem skiptir máli; erfitt að leika ódýrt	Hægir, hávaðasamir og erfiðir að eigna einu teymi
Mælikvarðatrésbygging	Tengir dagleg verk við stefnumótandi virði; hjálpar greiningu	Krefst raunverulegrar greiningarvinnu til að smíða og viðhalda rétt

Aðalspennan er stjórnanleiki á móti virði. Inntök og afurðir eru fullkomlega innan stjórnar teymis, sem gerir þau freistandi að láta teymi bera ábyrgð á; niðurstöður bera virðið en eru aðeins að hluta innan áhrifa nokkurs eins teymis, þar sem góður eiginleiki getur samt mistekist af ástæðum alveg utan verkfræðinnar. Leystu þetta með því að láta teymi bera ábyrgð á inntökunum og afurðunum sem þau stjórna fullkomlega, meðan niðurstöður eru raktar sem sameiginleg merki sem öll skipulagsheildin á saman, tengd gegnum skýrt mælikvarðatré frekar en skilin eftir sem óútskýrt bil milli „við unnum verkið“ og „hjálpaði það“.

Spurningar til að ræða með teyminu

Fyrir hvern mælikvarða á núverandi mælaborði okkar, er hann inntak, afurð eða niðurstaða, og segir jafnvægið milli þessara þriggja heiðarlega sögu? Flest mælaborð, endurskoðuð heiðarlega, reynast nær alfarið inntök og afurðir, því það er það sem tól skýra sjálfgefið. Flokkið hverja flís og teljið skiptinguna; mælaborð án nokkurra niðurstöðuflísa mælir virkni og setur hana fram sem frammistöðu.
Hver er einstaka pólstjörnuniðurstöðumælikvarði okkar, og getum við rakið hann niður gegnum mælikvarðatré að einhverju sem hvert teymi á í raun? Án þessarar tengibyggingar gefur hreyfandi efsta tala enga vísbendingu um hvar á að leita, og teymi sjá ekki hvernig dagleg afurðamælikvarðar þeirra tengjast neinu sem skiptir máli. Komið með núverandi efsta mælikvarða ykkar, ef þið hafið einn, og reynið að byggja tréð í beinni.
Hvar látum við teymi bera ábyrgð á niðurstöðu sem það getur aðeins haft áhrif á, ekki stjórnað? Þetta er algeng uppspretta gremju og hljóðláts leiks, því teymi refsað fyrir niðurstöðu mótaða af þáttum utan stjórnar þess hefur alla hvata til að verja sjálft sig frekar en að bæta raunverulega kerfið. Greinið þessi misræmi og annaðhvort aðlagið ábyrgðina eða bætið við vantandi lyftistöngum.
Hvaða leiðandi vísi höfum við fyrir hvern eftirliggjandi niðurstöðumælikvarða okkar, og hve langt fyrirfram spáir hann fyrir um þá? Hreint eftirliggjandi mælikvarðasafn þýðir að þið komist aðeins að því að þið höfðuð rangt fyrir ykkur eftir að það er of seint að breyta stefnu ódýrt. Komið með niðurstöðumælikvarða ykkar og athugið hvort sannarlega leiðandi vísir er til fyrir hvern, eða hvort þið fljúgið blind milli skýrslutímabila.
Hve mikið af því sem við fögnum í yfirferðum og afturlitum er afurð („við afhentum X“) á móti niðurstöðu („X breytti Y til hins betra“)? Málið sem teymi nota til að fagna vinnu mótar hvað þau fínstilla fyrir yfir tíma, oft meira en mælaborðið gerir. Hlustið á eigin yfirferðarfundi í einn sprett og teljið skiptinguna heiðarlega.
Ef helstu afurðamælikvarðar okkar tvöfölduðust á einni nóttu, myndu niðurstöðumælikvarðar okkar endilega batna, eða gætu þeir versnað? Þessi hugsunartilraun afhjúpar afurðamælikvarða sem hafa orðið aftengdir, eða jafnvel virkt andstæðir, niðurstöðunum sem þeir áttu að þjóna, svo sem eiginleikamagn sem eykur viðhaldsbyrði hraðar en það eykur upptöku.

Geirasjónarhorn

Sprotafyrirtæki. Veldu eina niðurstöðu, yfirleitt staðgengil fyrir hvort viðskiptavinir fái áfram virði, svo sem vikulega varðveislu eða virkjun, og meðhöndlaðu hana sem pólstjörnu þína frá degi eitt. Stenstu togið í átt að afurða-hégómamælikvörðum eins og uppsöfnuðum eiginleikafjölda, sem er freistandi að skýra frá til fjárfesta en segir þér ekkert um hvort varan virkar í raun fyrir einhvern.

Lítil fyrirtæki. Fyrirliggjandi tól þín, sölustaðarkerfi, stuðningsborð, greining, skýra yfirleitt þegar niðurstöðutengda tölu, endurkaupahlutfall, enduropnunarhlutfall miða. Notaðu þau frekar en að smíða sérsniðna niðurstöðutækjavæðingu sem þú hefur ekki getu til að viðhalda, og stenstu freistinguna að falla aftur á hráar virknitalningar bara af því þær eru sjálfgefna sýnin.

Stórfyrirtæki. Ríkjandi bilunarmátinn er safn teyma sem hvert fínstillir staðbundna afurðamælikvarða sem leggjast ekki saman í neina samhangandi skipulagsniðurstöðu. Byggðu mælikvarðatréð vísvitandi, staðlaðu niðurstöðuskilgreiningar yfir rekstrareiningar og krefstu þess að hvert stórt framtak lýsi niðurstöðutilgátu sinni fyrir fjármögnun, ekki bara afurðaáætlun sinni.

Hið opinbera. Eftirlitsstofnanir og almenningur eru sífellt læsari á muninn á „afhenti verklýsinguna“ og „bætti niðurstöðuna“, og skýrsla eingöngu um afurðir býður einmitt þá rýni. Skilgreindu árangur sem niðurstöðu sem snýr að borgurum (biðtími, villutíðni, ánægja) hvar sem lagalega og hagnýtt er mögulegt, og vertu skýr þegar aðeins afurðamælikvarði er tiltækur og hvers vegna.

Dæmi

Stórfyrirtæki. Verkfræðideild flutningafyrirtækis skýrði frá stöðugt vaxandi fjölda „eiginleika afhentra á ársfjórðungi“ í tvö ár, meðan kjarnaánægjueinkunn viðskiptavina fyrirtækisins flattist hljóðlega. Nýr verkfræðivarastjóri byggði mælikvarðatré með rót í tímanlegu afhendingarhlutfalli, hinni raunverulegu viðskiptaniðurstöðu, brotið niður gegnum dvalartíma í miðstöð og árangur síðasta spöls niður í verkfræðiafurðir á teymisstigi. Innan einnar skýrslulotu varð ljóst að nokkur afurðamikil teymi voru að afhenda eiginleika á sviðum án mælanlegra áhrifa á pólstjörnumælikvarðann, og fjárfesting færðist til drifkraftanna sem tréð sýndi að skiptu í raun máli.

Hið opinbera. Stafrænt teymi þjóðlegrar heilbrigðisþjónustu hafði skýrt frá „einingum afhentum samkvæmt verklýsingunni“ fyrir fjölára nútímavæðingaráætlun sjúkraskráa. Eftirlitsnefnd spurði annarrar spurningar: eyddu klínískir starfsmenn minni tíma í stjórnsýslugagnainnslátt. Teymið eftirbætti niðurstöðumælikvarða, miðgildismínútur stjórnsýslutíma á sjúklingasamskipti, og fann að fyrstu einingar höfðu í raun aukið þennan tíma vegna vinnuflæðisnúnings, þrátt fyrir að standast hvern afhendingaráfanga. Síðari einingar voru endurhannaðar beint kringum niðurstöðumælikvarðann, og opinber skýrslugjöf áætlunarinnar færðist úr afhendingargátlista í fyrir-og-eftir niðurstöðusamanburð.

Viðskiptarök: hvatar, ávöxtun fjárfestingar og heildareignarkostnaður

Ávöxtun af niðurstöðuvigtun er forðuð sóun: skipulagsheild sem getur séð, í nær rauntíma, að straumur afurða hreyfir enga niðurstöðu getur beint þeirri fjárfestingu annað áður en heil fjárlagalota er eytt í að komast að því á erfiðu leiðina. Ríkjandi falinn kostnaður í stórum verkfræðiskipulagsheildum er ekki vanfjárfesting, heldur vel framkvæmd vinna sem aldrei hefði átt að fjármagna því hún var aftengd allri raunverulegri niðurstöðu, og afurða-eingöngu mælaborð getur alls ekki séð þá aftengingu.

Heildareignarkostnaður niðurstöðumælingar er hærri en afurðamælingar, því niðurstöður eru sannarlega erfiðari að skilgreina, eigna og tækjavæða, og að byggja raunverulegt mælikvarðatré tekur vísvitandi greiningarfyrirhöfn frekar en að þiggja hvað sem tól flytur út sjálfgefið. Þann kostnað er vert að greiða fyrir hvert framtak yfir hóflegri stærð, því valkosturinn, að uppgötva eftir á að ár af sjálfsörugglega skýrðum afurðum framleiddi ekkert raunverulegt virði, kostar langtum meira en greiningin fyrirfram.

Andmynstur og gildrur

Mælaborð sem er alfarið afurðaflísar: mælir virkni og setur hana fram sem frammistöðu.
Að láta teymi bera fulla ábyrgð á niðurstöðu sem það stjórnar ekki: elur af sér gremju og býður leik til að verjast ósanngjarnri sök.
Enginn leiðandi vísir fyrir eftirliggjandi niðurstöðu: teymið kemst aðeins að því að það hafði rangt fyrir sér eftir að það er of dýrt að laga.
Að fagna afurðamáli í yfirferðum meðan því er haldið fram að niðurstöður séu metnar: yfirlýst forgangsröðun og raunverulegur hvati víkja, og raunverulegi hvatinn vinnur.
Flatur listi mælikvarða án trésbyggingar: hreyfandi efsta tala gefur enga vísbendingu um hvar á að leita.
Að meðhöndla niðurstöðumælingu sem of erfiða til að reyna: sjálfgefur skipulagsheild varanlega aftur á auðteljanleg inntök og afurðir.

Þroskalíkan

Stig 1, Upphaf: Mælikvarðar eru næstum alfarið inntök og afurðir; enginn getur nefnt niðurstöðumælikvarða skipulagsheildarinnar né rakið línu til þeirra.
Stig 2, Þróun: Sum teymi hafa greint niðurstöðumælikvarða óformlega, en ekkert sameiginlegt mælikvarðatré og engir samkvæmir leiðandi vísar eru til.
Stig 3, Stöðlun: Skjalfest mælikvarðatré tengir sameiginlega pólstjörnuniðurstöðu niður í teymiseigin afurðir, beitt samkvæmt yfir skipulagsheildina.
Stig 4, Stjórnun: Bæði leiðandi og eftirliggjandi vísar eru raktir og yfirfarnir saman; teymi bera ábyrgð aðeins á því sem þau stjórna, og niðurstöðumæling er virkt útveguð.
Stig 5, Samhæfing: Niðurstöðumæling er samþætt fjármögnunar- og forgangsröðunarákvörðunum beint; skipulagsheildin beinir reglulega fjárfestingu frá afurðamikilli, niðurstöðulítilli vinnu áður en heil fjárlagalota líður.

Hugmyndir til umræðu

Nefnið mikilvægasta niðurstöðumælikvarða skipulagsheildar okkar. Geta allir verið sammála um hann?
Hver er stærsta núverandi fjárfesting okkar í afurðum sem við getum ekki enn rakið til nokkurrar niðurstöðu?
Hvar refsar ábyrgðarbygging okkar teymi fyrir niðurstöðu sem það stjórnar ekki?
Hvernig myndi mælaborð okkar líta út ef við eyddum hverri hreinni afurðaflís?
Hve langan tíma tekur okkur núna að læra hvort afhentur eiginleiki hjálpaði í raun?

Helstu atriði til að muna

Flokkaðu sérhvern mælikvarða sem inntak, afurð eða niðurstöðu, og vegðu safn þitt vísvitandi í átt að niðurstöðum.
Byggðu mælikvarðatré undir einum pólstjörnumælikvarða svo hreyfandi efsta tala bendi á orsök.
Láttu teymi bera ábyrgð á því sem þau stjórna (inntök, afurðir); raktu niðurstöður sem sameiginleg merki sem öll skipulagsheildin hefur áhrif á saman.
Paraðu sérhvern eftirliggjandi niðurstöðumælikvarða við hraðari leiðandi vísi svo þú getir stýrt áður en hæga talan staðfestir að þú hafðir rangt fyrir þér.
Afurða-eingöngu mælaborð mælir virkni og kallar það frammistöðu; meðhöndlaðu það sem viðvörunarmerki, ekki huggun.

Heimildir og frekara lesefni

Accelerate: The Science of Lean Software and DevOps, eftir Nicole Forsgren, Jez Humble og Gene Kim (niðurstöðubyggð afhendingarmæling).
Lean Analytics, eftir Alistair Croll og Benjamin Yoskovitz (One Metric That Matters og inntaks-/afurða-/niðurstöðugreinarmunurinn í samhengi sprotafyrirtækis).
Measure What Matters, eftir John Doerr (niðurstöðumiðuð markmiðasetning og áhersla OKR-rammans á árangur fram yfir virkni).
The Lean Startup, eftir Eric Ries (framkvæmanlegir á móti hégómamælikvörðum og niðurstöðustaðfesting).
Key Performance Indicators, eftir David Parmenter (að byggja KPI- eða mælikvarðatrésbyggingu undir pólstjörnumælikvarða).