3.3 Frammistöðumælikvarðar og staðgenglar niðurstaðna

Yfirlit og tilgangur

Frammistaða, P-ið í SPACE (viðfangsefni 3.1), er víddin sem oftast er rugluð við virkni, og sá ruglingur er einmitt það sem þetta viðfangsefni er til að koma í veg fyrir. Frammistaða spyr hvort vinna verkfræðings eða teymis hafi í raun skilað góðri niðurstöðu: eiginleika sem var afhentur og virkaði, kerfi sem hélst áreiðanlegt, breytingu sem hreyfði viðskipta- eða notendamælikvarða í rétta átt. Virkni (viðfangsefni 3.4) spyr aðeins hve mikil hreyfing átti sér stað. Teymi getur verið mjög virkt og lágt í frammistöðu, afhent stöðugar smábreytingar sem hreyfa aldrei niðurstöðu, og andstæðan er jafn möguleg: teymi sem afhendir sjaldan en breytingar þess lenda áreiðanlega nákvæmlega rétt.

Erfiðleikar þessarar víddar eru að niðurstaða er oft ekki eignanleg einni manneskju eða jafnvel einu teymi; hugbúnaðarniðurstöður spretta af samvinnu, af ákvörðunum teknum mánuðum fyrr af fólki sem hefur síðan flust í önnur verkefni, af markaðsaðstæðum sem enginn verkfræðingur stjórnar. SPACE-rannsakendur voru skýrir um þetta: frammistöðu ætti að mæla á kerfis- eða teymisstigi með mörgum, samleitandi merkjum, ekki minnka í eina tölu og vissulega ekki eigna einstökum verkfræðingi í einangrun. Þetta viðfangsefni tekur þá leiðsögn alvarlega og meðhöndlar eignun einstaklingsframmistöðu sem gildru til að forðast virkt, ekki flýtileið til að taka þegar hentar.

Fyrir stór teymi er rétt frammistöðumæling það sem skilur að mælikvarðaáætlun sem raunverulega bætir niðurstöður frá þeirri sem aðeins umbunar sýnilegum annríkis. Stórfyrirtæki sem bera saman frammistöðu yfir mörg teymi þurfa merki sem standast leik gegnum hrátt afurðamagn; opinberar skipulagsheildir sem réttlæta tæknifjárfestingu fyrir eftirlitsaðilum þurfa að sýna að verkfræðifyrirhöfn framleiddi raunverulegar niðurstöður, ekki bara afhenta gripi, sem er einmitt niðurstöður-fram-yfir-afurðir meginregla viðfangsefnis 1.3 beitt á þessa tilteknu vídd.

Lykilmeginreglur

Frammistaða mælir hvort vinna skilaði góðri niðurstöðu, ekki hve mikil vinna átti sér stað. Þetta er kjarnagreinarmunurinn frá virknivíddinni.
Notaðu mörg, samleitandi merki, aldrei eina frammistöðutölu. Enginn einn staðgengill er nógu áreiðanlegur til að standa einn.
Mældu á teymis- eða kerfisstigi. Eignun niðurstöðu á einstaklinga er yfirleitt óáreiðanleg og býður einmitt þann leik sem þessi bók varar við í gegnum allt.
Gæði eru hluti af frammistöðu, ekki sérstakt áhyggjuefni. Vinna sem er afhent en bilar eitthvað annað stóð sig ekki í raun vel.
Frammistöðumerki án ákvörðunar er skraut, nákvæmlega samkvæmt almennri meginreglu viðfangsefnis 1.1 beittri á þessa vídd.

Ráðleggingar

Sameinaðu nokkur samleitandi merki frekar en eina frammistöðueinkunn

Sæktu frammistöðusönnunargögn úr mörgum uppsprettum: breytingabilunarhlutfall (viðfangsefni 2.10) og hlutfall sloppinna galla (viðfangsefni 5.1) fyrir gæði, afhendingarniðurstöður tengdar raunverulegri upptöku eiginleika (viðfangsefni 5.2) fyrir hvort vinnan skipti máli, og eigindlegt jafningja- eða stjórnendamat á framlagi teymis til stefnumarkmiða fyrir samhengi sem hreinn mælikvarði fangar ekki. Ekkert eitt þessara er áreiðanlegt eitt og sér; saman, þegar þau leiða að sömu niðurstöðu, eru þau langtum áreiðanlegri en nokkur stök tala gæti verið.

Mældu á teymisstigi, stenstu eignun á einstaklinga

Hugbúnaðarniðurstöður eru sjaldan afurð vinnu einnar manneskju; þær spretta af hönnunarákvörðunum, yfirferðarendurgjöf, fyrri vinnu fólks sem kann að hafa horfið úr teyminu og samvinnu þvert á mörk. Að eigna niðurstöðu einum verkfræðingi er yfirleitt fölsk nákvæmni sem hunsar þann veruleika og skapar sterkan hvata fyrir einstaklinga til að verja heiður sinn frekar en að vinna frjálslega saman, einmitt sú tegund hvatabrenglunar sem viðfangsefni 1.2 varar við.

Fléttaðu gæði beint inn í skilgreiningu frammistöðu

Eiginleiki sem er afhentur á réttum tíma en veldur bylgju framleiðsluatvika stóð sig ekki vel, þótt barnaleg sýn eingöngu á afurðir myndi telja hann afhentan. Byggðu breytingabilunarhlutfall, hlutfall sloppinna galla og atvikagögn eftir útgáfu beint inn í hvernig þú metur frammistöðu, frekar en að meðhöndla gæði sem sérstakt, aftengt áhyggjuefni mælt aðeins í 4. hluta og 6. hluta þessarar bókar.

Notaðu frammistöðugögn til að upplýsa fjárfestingar- og ferlisákvarðanir, ekki einstaklingsraðanir

Gagnleg notkun frammistöðugagna er að ákveða hvar á að fjárfesta frekar (teymi sem skilar stöðugt sterkum niðurstöðum verðskuldar meiri úrræði og sjálfræði) og hvar á að rannsaka (teymi þar sem vinna lendir stöðugt ekki rétt verðskuldar hjálp, ekki sök, samkvæmt greiningarrömmun viðfangsefnis 1.1). Að raða einstaklingum eða teymum samkeppnislega hverjum gegn öðrum á frammistöðugögnum býður einmitt þann leik og móralsskaða sem þessi bók varar við og framleiðir sjaldan betri niðurstöður en greiningarnotkunin gerir.

Vertu heiðarlegur um eignunartakmörk, einkum fyrir vettvangs- og stuðningsteymi

Teymi sem smíða sameiginlega innviði, innri tól eða vettvangsgetu (viðfangsefnið um vettvangsverkfræði í systurbókinni software-engineering-guide nær beint yfir þetta) hafa oft framlag sitt til niðurstaðna nokkrum skrefum frá nokkrum stökum mælikvarða sem snýr að viðskiptavinum. Mældu frammistöðu þessara teyma gegnum áhrif þeirra á teymin sem þau gera kleift, upptöku vettvangs þeirra, minnkun núnings sem neytendateymi tilkynna, frekar en að þvinga illa passandi beinan niðurstöðumælikvarða á vinnu sem er í eðli sínu óbein.

Málamiðlanir: kostir og gallar

Nálgun	Kostir	Gallar
Ein frammistöðueinkunn á teymi	Einfalt að setja fram og bera saman	Fölsk nákvæmni; felur hvaða undirliggjandi merki knúði einkunnina
Mörg samleitandi merki	Áreiðanlegra, stenst eins mælikvarða leik	Erfiðara að draga saman í eina tölu; krefst meira samhengis til túlkunar
Frammistöðumæling á teymisstigi	Passar við hvernig hugbúnaðarniðurstöður spretta í raun	Getur ekki svarað beint spurningum um einstaklingsframlag
Eignun frammistöðu á einstaklingsstigi	Finnst beint framkvæmanlegra fyrir yfirferðir	Yfirleitt fölsk nákvæmni; sterk leik- og heiðursverndaráhætta

Aðalspennan er nákvæmni á móti heiðarleika. Ein frammistöðutala á teymi, eða verra, á einstakling, er auðveld að bera saman og raða, en sú nákvæmni er yfirleitt fölsk og felur raunverulega óvissu um eignun og gæði á bak við hreint útlítandi tölu. Leystu spennuna með því að samþykkja minna snyrtilega, margmerkjamynd sem þá heiðarlegu, og með því að standast þrýsting frá forystu eða frammistöðuyfirferðarferlum um að þjappa henni aftur í eina, falskt nákvæma einkunn.

Spurningar til að ræða með teyminu

Sameinar núverandi frammistöðumæling okkar mörg samleitandi merki, eða treystir hún á eina tölu sem finnst nákvæmari en hún er í raun? Endurskoðið hvað sem þið kallið núna „frammistöðumælikvarða“ og athugið hve mörg óháð, samleitandi merki næra hann í raun.
Höfum við nokkurn tímann eignað frammistöðu teymis eða einstaklings án þess að taka tillit til samvinnu- og þvert-teymis eðlis þess hvernig niðurstaðan varð í raun? Veljið nýlega velgengnisögu og rekið hve mikið af henni velti á fólki, ákvörðunum eða fyrri vinnu utan teymisins eða einstaklingsins sem fær heiðurinn.
Inniheldur frammistöðumæling okkar gæði, eða aðeins afhendingarhraða og afurðamagn? Afhentur eiginleiki sem olli síðar verulegum framleiðsluatvikum ætti ekki að skora sem há frammistaða; athugið hvort núverandi mæling ykkar myndi í raun grípa þetta tilvik.
Hvernig mælum við frammistöðu vettvangs- eða stuðningsteyma sem framlag þeirra til niðurstaðna er óbeint? Ef heiðarlega svarið er „við gerum það ekki, vel“, er það bil vert að nefna og taka á beint frekar en að láta þessi teymi vera í reynd ómæld eða ósanngjarnt mæld gegn niðurstöðumælikvörðum sem snúa að viðskiptavinum og passa ekki vinnu þeirra.
Hafa frammistöðugögn nokkurn tímann verið notuð til að raða einstaklingum samkeppnislega hverjum gegn öðrum, formlega eða óformlega? Þetta rek, líkt og ánægjugagnaáhættan í viðfangsefni 3.2, skaðar bæði heiðarleika gagnanna og vilja teymisins til að vinna opið saman.
Þegar samleitandi merki okkar eru ósammála, mikill afhendingarhraði en vaxandi gallahlutfall til dæmis, hvað ályktum við, og meðhöndlar ferli okkar þann ágreining vel? Ágreiningur milli merkja er sjálfur verðmætar upplýsingar; ræðið hvort teymi ykkar meðhöndlar hann núna sem hávaða til að hunsa eða sem raunverulega niðurstöðu sem vert er að rannsaka.

Geirasjónarhorn

Sprotafyrirtæki. Frammistaða er yfirleitt sýnileg beint: virkaði eiginleikinn, tóku viðskiptavinir hann upp, hreyfðist mælikvarðinn. Formleg margmerkjamæling er oft óþörf í þessum mæli; áhættan er í staðinn að eigna velgengni eða mistök of fljótt einni manneskju í hraðfara, mjög samvinnuðu litlu teymi þar sem heiður og sök eiga sjaldan heima hjá aðeins einum einstaklingi.

Lítil fyrirtæki. Sameinaðu hvaða afhendingar- og gæðagögn sem þú hefur þegar (viðfangsefni 2.10, viðfangsefni 5.1) með beinu, heiðarlegu samtali um hvort nýleg vinna hjálpaði í raun rekstrinum, frekar en að smíða formlega margmerkjatækjavæðingu sem þú hefur ekki getu til að viðhalda.

Stórfyrirtæki. Hér vinnur agi teymisstigs, margmerkjamælingar fyrir fjárfestingu sinni, þar sem þrýstingur um að minnka frammistöðu í eina sambærilega tölu yfir tugi teyma er sterkastur, og skaði fölskrar nákvæmni magnast yfir mönnunarákvarðanir allrar skipulagsheildarinnar. Stenstu þann þrýsting skýrt og byggðu margmerkjarökin fyrir hvers vegna það skiptir máli.

Hið opinbera. Að sýna fram á að verkfræðifjárfesting skilaði raunverulegum niðurstöðum, ekki bara afhentum gripum, er oft miðlæga spurning eftirlitsaðila. Margmerkjaframmistöðumæling, tengd skýrt við niðurstöðumælikvarða (viðfangsefni 5.3) frekar en afhendingar-eingöngu staðgengla, gefur langtum sterkara, verjanlegra svar en virkni- eða afhendingartalning ein.

Dæmi

Stórfyrirtæki. Forysta smásölutæknifyrirtækis hafði óformlega raðað verkfræðiteymum eftir sögupunktum kláruðum á spretti, og meðhöndlað það sem frammistöðustaðgengil. Eftir að hafa tekið upp margmerkjanálgun, sem sameinar afhendingargögn, breytingabilunarhlutfall og upptöku eiginleika eftir útgáfu, fann forysta að teymið með hæsta sögupunktaklárunarhlutfallið hafði lægsta eiginleikaupptökuhlutfall í fyrirtækinu: það afhenti hratt en smíðaði hluti sem viðskiptavinir notuðu ekki. Að endurúthluta forgangsröðun vegvísis þess teymis byggt á fyllri frammistöðumynd, frekar en villandi stökutöluröðuninni, beindi umtalsverðri verkfræðigetu að áhrifameiri vinnu innan eins ársfjórðungs.

Hið opinbera. Verkfræðiáætlun landsskattstofu þurfti að sýna eftirlitsnefnd fram á að stór kerfafjárfesting hefði bætt frammistöðu, ekki bara afhent samningsbundið umfang. Í stað þess að skýra frá sögupunkta- eða áfangaklárun einni setti áætlunin fram samleitandi safn merkja: minnkað villuhlutfall vinnslu, minnkaðan miðgildisvinnslutíma og aukið hlutfall árangursríkrar sjálfsafgreiðslu, öll tengd tilteknum kerfishlutum sem voru afhentir. Margmerkja-, niðurstöðutengd framsetningin fullnægði rýni nefndarinnar á hátt sem einföld „afhent á áætlun“ skýrsla fyrri áætlunar hafði ekki gert árið áður.

Viðskiptarök: hvatar, ávöxtun fjárfestingar og heildareignarkostnaður

Ávöxtun af því að mæla frammistöðu gegnum samleitandi, niðurstöðutengd merki frekar en falskt nákvæma stökutölu er betri mönnunarákvarðanir: skipulagsheild sem sér hvaða teyma vinna hreyfir niðurstöður í raun getur fjárfest frekar þar sem það skiptir máli og rannsakað þar sem það gerir það ekki, frekar en að umbuna því teymi sem tilviljun lætur líta uppteknast út. Smásöludæmið hér að ofan er dæmigert: villandi stökutöluröðun hafði beint fjárfestingarathygli frá því sem hefði í raun hjálpað.

Heildareignarkostnaður er hærri en einmælikvarðanálgun, því hann krefst þess að sameina gögn úr mörgum uppsprettum (afhendingu, gæðum, niðurstöðu) og standast skipulagsþrýsting um að þjappa myndinni aftur í eina sambærilega tölu. Þann kostnað er vert að greiða því valkosturinn, falskt nákvæm stök einkunn, villir virkt þær mönnunarákvarðanir sem frammistöðugögnum er ætlað að upplýsa.

Andmynstur og gildrur

Að rugla virkni við frammistöðu: algengustu mistökin sem þessi vídd er sérstaklega hönnuð til að koma í veg fyrir.
Eignun einstaklingsframmistöðu fyrir samvinnu-, þvert-teymis niðurstöður: yfirleitt fölsk nákvæmni sem letur samvinnu.
Að útiloka gæði úr skilgreiningu frammistöðu: umbunar vinnu sem er afhent en bilar eitthvað annað.
Að þvinga beinan niðurstöðumælikvarða á vettvangs- eða stuðningsteymi: mælir rangan hlut fyrir vinnu sem er í eðli sínu óbein.
Að þjappa mörgum samleitandi merkjum aftur í eina falskt nákvæma tölu undir skipulagsþrýstingi: týnir heiðarleikanum sem margmerkjanálgunin var byggð til að veita.
Að nota frammistöðugögn til að raða einstaklingum samkeppnislega: skaðar bæði heiðarleika gagna og teymissamvinnu.

Þroskalíkan

Stig 1, Upphaf: Frammistaða er sambræðd virkni eða afurðamagni, mæld með einni, órannsakaðri tölu.
Stig 2, Þróun: Sum gæðamerki eru tekin til greina samhliða afurðum, en engin samkvæm margmerkjanálgun er til og einstaklingseignun á sér enn stað óformlega.
Stig 3, Stöðlun: Frammistaða er mæld á teymisstigi með mörgum, samleitandi merkjum þar með töldum gæðum, samkvæmt í allri skipulagsheildinni.
Stig 4, Stjórnun: Ágreiningur milli samleitandi merkja er virkt rannsakaður; vettvangs- og stuðningsteymi hafa hæfilega óbeina frammistöðumælikvarða sniðna að raunverulegri vinnu þeirra.
Stig 5, Samhæfing: Frammistöðugögn upplýsa beint mönnunar- og fjárfestingarákvarðanir, og skipulagsheildin getur bent á tilteknar endurúthlutunarákvarðanir sem margmerkjasýn gerði mögulegar og stökutölusýn hefði misst af.

Hugmyndir til umræðu

Hvaða stöku tölu notum við núna sem frammistöðustaðgengil sem við ættum að leggja niður í þágu samleitandi safns?
Höfum við nokkurn tímann eignað niðurstöðu rangu teymi eða manneskju því eignun var óljós?
Hvernig mælum við núna frammistöðu vettvangs- eða stuðningsteymis?
Hvernig myndi það líta út ef samleitandi merki okkar væru ósammála hvert öðru næsta ársfjórðung?
Hvar hefur sögupunkta- eða afhendingartalningarröðun beint fjárfestingarathygli okkar á villigötur?

Helstu atriði til að muna

Frammistaða mælir hvort vinna skilaði góðri niðurstöðu, ekki hve mikil hreyfing átti sér stað; ruglaðu henni ekki við virkni (viðfangsefni 3.4).
Notaðu mörg, samleitandi merki, aldrei eina frammistöðutölu, og vertu tortrygginn á falska nákvæmni.
Mældu á teymis- eða kerfisstigi; eignun niðurstöðu á einstaklinga er yfirleitt óáreiðanleg og skaðar samvinnu.
Gæði eru hluti af frammistöðu, ekki sérstakt, aftengt áhyggjuefni.
Gefðu vettvangs- og stuðningsteymum hæfilega óbeina frammistöðumælikvarða frekar en að þvinga illa passandi beinan niðurstöðumælikvarða á vinnu þeirra.

Heimildir og frekara lesefni

Forsgren, Nicole, Margaret-Anne Storey, Chandra Maddila, Thomas Zimmermann, Brian Houck og Jenna Butler, „The SPACE of Developer Productivity,“ ACM Queue (2021).
Accelerate: The Science of Lean Software and DevOps, eftir Nicole Forsgren, Jez Humble og Gene Kim (niðurstöðubyggð frammistöðumæling).
Team Topologies, eftir Matthew Skelton og Manuel Pais (vettvangs- og stuðningsteymisbyggingar og hvernig á að mæla framlag þeirra).
Measuring and Managing Performance in Organizations, eftir Robert D. Austin (áhætta falskt nákvæmra frammistöðumælikvarða).