1.3 Canlyniadau dros allbwn: dewis beth i’w fesur

Trosolwg a chymhelliant

Mae pob metrig peirianneg yn syrthio i mewn i un o dri chategori, a dryswch rhyngddynt yw’r ail fodd methiant mwyaf cyffredin yn y llyfr hwn, ar ôl anwybyddu cyfraith Goodhart yn gyfan gwbl. Mae metrig mewnbwn yn mesur ymdrech a dreuliwyd: oriau peiriannydd, doleri wedi’u defnyddio, pwyntiau stori wedi’u hymrwymo. Mae metrig allbwn yn mesur beth a gynhyrchodd y system: nodweddion wedi’u cyflenwi, ceisiadau tynnu wedi’u cyfuno, tocynnau wedi’u cau. Mae metrig canlyniad yn mesur y newid a oedd wir yn bwysig: refeniw a gadwyd, digwyddiadau a osgowyd, amser a arbedwyd i ddefnyddiwr. Mae timau’n tueddu tuag at fewnbynnau ac allbwn oherwydd eu bod yn hawdd eu cyfrif ac yn gyfan gwbl o fewn rheolaeth tîm. Mae’r gwerth, bron bob amser, yn byw mewn canlyniadau, sy’n arafach i ymddangos, yn fwy swnllyd i’w mesur, ac yn anos eu priodoli i waith unrhyw un tîm.

Mae’r pwnc hwn yn ymwneud â gwrthsefyll y disgyrchiant hwnnw’n fwriadol. Gall dangosfwrdd wedi’i adeiladu’n gyfan gwbl o fewnbynnau ac allbwn edrych yn drawiadol o brysur tra na wneir unrhyw werth gwirioneddol o gwbl: gall tîm gyflenwi dwsinau o nodweddion nad oes neb yn eu defnyddio, cau cannoedd o docynnau sy’n ailagor wythnos yn ddiweddarach, neu daro pob amcangyfrif pwynt stori tra bo canlyniadau gwirioneddol y cynnyrch, cadw cwsmeriaid, boddhad, refeniw, yn aros yn wastad neu’n dirywio. Nid yw unrhyw un o’r prysurdeb hwnnw’n ymddangos fel problem ar ddangosfwrdd sy’n seiliedig ar allbwn yn unig, oherwydd ni adeiladwyd dangosfyrddau o’r fath i’w weld.

Ar raddfa menter a llywodraeth, mae’r gwahaniaeth hwn yn penderfynu a all arweinyddiaeth ddweud y gwahaniaeth rhwng tîm sy’n gynhyrchiol a thîm sydd dim ond yn weithgar. Gall is-adran bostio rhifau allbwn rhagorol am flynyddoedd, nodweddion wedi’u cyflenwi, sbrintiau wedi’u cau, tra bo’r canlyniad y mae ariannwr neu ddeddfwrfa wir yn poeni amdano, refeniw a gadwyd, amseroedd aros dinasyddion is, yn erydu’n dawel oddi tano. Nid yr un hawliad yw “cyflenwyd y map ffordd” ag “gwnaeth y map ffordd bethau’n well,” a dim ond set fetrigau wedi’i phwysoli tuag at ganlyniadau all wahaniaethu rhwng y ddau.

Egwyddorion allweddol

Dirprwyon yw mewnbynnau ac allbwn; y canlyniadau yw’r peth ei hun. Pwysolwch eich set fetrigau tuag at ganlyniadau ble bynnag y gallwch eu cyrraedd.
Nid yw hawdded mesur yn rheswm dros fesur rhywbeth. Y pethau hawsaf i’w cyfrif fel arfer yw mewnbynnau ac allbwn, nid oherwydd eu bod bwysicaf ond oherwydd eu bod yn syml yn fecanyddol i’w dal.
Mae priodoli’n mynd yn anos wrth i chi symud tuag at ganlyniadau. Derbyniwch y cyfnewidiad hwnnw’n fwriadol yn hytrach na chilio i allbwn oherwydd bod canlyniadau’n anos eu priodoli.
Gall tîm reoli ei fewnbynnau a’i allbwn ond dim ond dylanwadu ar ganlyniadau. Dyluniwch atebolrwydd yn unol â hynny: dalwch dimau’n gyfrifol am yr hyn y gallant ei reoli mewn gwirionedd, ac olrheiniwch ganlyniadau fel signalau a rennir, traws-dîm.
Mae un canlyniad seren-y-gogledd, gyda set fach o yrwyr, yn curo wal o deils allbwn. Dylai cwmpas ddod o strwythur, nid o gyfaint dangosfwrdd noeth.

Argymhellion

Dosbarthwch bob metrig cyn ei fabwysiadu

Ar gyfer unrhyw fetrig ymgeisiol, gofynnwch pa un o’r tri chategori y mae’n syrthio iddo. Mae “ceisiadau tynnu wedi’u cyfuno bob wythnos” yn allbwn. Mae “canran y ceisiadau tynnu wedi’u cyfuno a achosodd ddigwyddiad cynhyrchu o fewn wythnos” yn nes at ganlyniad, oherwydd mae’n mesur canlyniad yn hytrach na chyfaint. Mae’r dosbarthiad hwn yn cymryd deg eiliad ar hugain a dylai fod yn orfodol cyn ychwanegu metrig at unrhyw ddangosfwrdd tîm neu sefydliadol, oherwydd dyma’r ffordd gyflymaf o ddal dangosfwrdd sy’n llenwi’n dawel ag allbwn hawdd-i’w-gyfrif tra’n credu ei fod yn mesur gwerth.

Adeiladwch goeden fetrigau o dan un canlyniad

Peidiwch ag olrhain rhestr fflat. Trefnwch fetrigau fel coeden fetrigau (a elwir weithiau’n goeden KPI): prif fetrig canlyniad wedi’i dorri i lawr i mewn i’r gyrwyr sy’n bwydo iddo’n achosol neu’n fathemategol, i lawr i’r mesurau allbwn a mewnbwn gweithredol y mae timau unigol yn berchen arnynt mewn gwirionedd. Pan fydd y prif ganlyniad yn symud, mae’r goeden yn dweud wrthych pa yrrwr lefel-is i’w ymchwilio, gan droi “mae’r rhif i lawr” yn “y cam penodol hwn yn y biblinell yw’r achos.” Enwch un metrig seren-y-gogledd ar y brig ble bynnag y mae eich parth yn cefnogi un: y mesur sy’n dal orau y gwerth a gyflwynwyd, amlder defnyddio wedi’i barejo â chyfradd methiant newid ar gyfer tîm platfform, neu ddefnydd gweithredol wythnosol o brif nodwedd ar gyfer tîm cynnyrch.

Pwysolwch ganlyniadau mewn adolygiad, nid dim ond ar y dangosfwrdd

Mae coeden fetrigau cystal â sut y’i defnyddir yn ymarferol. Mewn adolygiadau sbrint, adolygiadau busnes chwarterol, a diweddariadau arweinyddiaeth, arweiniwch â’r rhif lefel-canlyniad a defnyddiwch y metrigau allbwn a mewnbwn oddi tano dim ond i esbonio symudiad, nid i’w ddisodli. Mae tîm sy’n adrodd “fe gaeom 40 o docynnau’r sbrint hwn” heb unrhyw gyd-destun canlyniad wedi dweud dim wrthych ynghylch a oedd y gwaith yn bwysig; mae tîm sy’n adrodd “syrthiodd diffygion dianc 30% a dyma’r buddsoddiad profi a’i gyrrodd” wedi dweud rhywbeth gwirioneddol wrthych.

Derbyniwch adborth arafach ar gyfer metrigau canlyniad, a pharejwch nhw â dangosyddion rhagfynegi cyflymach

Mae metrigau canlyniad yn aml yn ddangosyddion ôl-fynegi: maent yn cadarnhau canlyniad ar ôl i ddigon o amser fynd heibio i fod yn sicr. Mae’r oedi hwnnw’n gost wirioneddol, gan ei fod yn oedi dysgu. Parejwch bob metrig canlyniad ag o leiaf un dangosydd rhagfynegi, metrig sy’n symud yn gynharach ac sy’n rhagfynegi’r canlyniad, fel y gall tîm lywio cyn i’r rhif awdurdodol, araf lanio o’r diwedd. Mae amlder defnyddio’n ddangosydd rhagfynegi ar gyfer canlyniadau cyflenwi; mae tuedd cynyddol o ddiffygion yn dianc yn ddangosydd rhagfynegi ar gyfer canlyniad dibynadwyedd sy’n dod. Defnyddiwch ddangosyddion rhagfynegi i weithredu’n gynnar a metrigau canlyniad ôl-fynegi i gadarnhau eich bod yn iawn.

Cyfnewidiadau: manteision ac anfanteision

Categori	Manteision	Anfanteision
Metrigau mewnbwn	Yn gyfan gwbl o fewn rheolaeth tîm, hawdd eu cyfrif	Y cyswllt gwannaf â gwerth gwirioneddol; hawdd eu twyllo trwy gyfaint
Metrigau allbwn	Hawdd eu cyfrif, perchnogaeth glir, adborth cyflym	Yn gwobrwyo gweithgarwch dros effaith; gall godi tra bo gwerth yn syrthio
Metrigau canlyniad	Yn adlewyrchu’n uniongyrchol yr hyn sy’n bwysig; anodd eu twyllo’n rhad	Araf, swnllyd, ac anodd eu priodoli i un tîm
Strwythur coeden fetrigau	Yn cysylltu gwaith dyddiol â gwerth strategol; yn cynorthwyo diagnosis	Angen gwaith dadansoddol gwirioneddol i’w adeiladu a’i gynnal yn gywir

Y tensiwn canolog yw rheolyddedd yn erbyn gwerth. Mae mewnbynnau ac allbwn yn gyfan gwbl o fewn rheolaeth tîm, sy’n eu gwneud yn ddeniadol i ddal timau’n atebol amdanynt; mae canlyniadau’n cario’r gwerth ond dim ond yn rhannol o fewn dylanwad unrhyw un tîm, gan y gall nodwedd dda barhau i fethu am resymau y tu allan i beirianneg yn gyfan gwbl. Datryswch hyn trwy ddal timau’n atebol am y mewnbynnau a’r allbwn y maent yn eu rheoli’n gyfan gwbl, tra’n olrhain canlyniadau fel signalau a rennir y mae’r sefydliad cyfan yn berchen arnynt gyda’i gilydd, wedi’u cysylltu trwy goeden fetrigau benodol yn hytrach na’u gadael fel bwlch heb ei esbonio rhwng “gwnaethom y gwaith” a “wnaeth e helpu.”

Cwestiynau i’w trafod gyda’ch tîm

Ar gyfer pob metrig ar ein dangosfwrdd presennol, ai mewnbwn, allbwn, neu ganlyniad ydyw, ac a yw’r cydbwysedd ar draws y tri’n adrodd stori onest? Mae’r rhan fwyaf o ddangosfyrddau, wedi’u harchwilio’n onest, yn troi allan i fod bron yn gyfan gwbl yn fewnbynnau ac allbwn, oherwydd dyna beth mae offer yn ei adrodd yn ddiofyn. Dosbarthwch bob teilsen a chyfrifwch y rhaniad; mae dangosfwrdd heb unrhyw deils canlyniad o gwbl yn mesur gweithgarwch ac yn ei gyflwyno fel perfformiad.
Beth yw ein hunig fetrig canlyniad seren-y-gogledd, ac a allwn ei olrhain i lawr trwy goeden fetrigau at rywbeth y mae pob tîm mewn gwirionedd yn berchen arno? Heb y strwythur cysylltiol hwn, nid yw rhif llinell-uchaf sy’n symud yn rhoi unrhyw gliw ynghylch ble i edrych, ac ni all timau weld sut mae eu metrigau allbwn dyddiol yn cysylltu â dim byd sy’n bwysig. Dewch â’ch metrig llinell-uchaf presennol, os oes gennych un, a cheisiwch adeiladu’r goeden yn fyw.
Ble ydym yn dal tîm yn atebol am ganlyniad y gall ddim ond ei ddylanwadu, nid ei reoli? Mae hyn yn ffynhonnell gyffredin o rwystredigaeth a thwyllo tawel, oherwydd mae gan dîm a gosbir am ganlyniad a lunnir gan ffactorau y tu allan i’w reolaeth bob cymhelliant i’w amddiffyn ei hun yn hytrach na gwella’r system wirioneddol. Nodwch y camgyfateb hyn a naill ai addaswch yr atebolrwydd neu ychwanegwch y lifelau coll.
Pa ddangosydd rhagfynegi sydd gennym ar gyfer pob un o’n metrigau canlyniad ôl-fynegi, a pha mor bell ymlaen llaw mae’n eu rhagfynegi? Mae set fetrigau sy’n gyfan gwbl ôl-fynegi yn golygu dim ond eich bod yn darganfod eich bod yn anghywir ar ôl iddi fod yn rhy hwyr i newid cwrs yn rhad. Dewch â’ch metrigau canlyniad a gwiriwch a oes dangosydd rhagfynegi gwirioneddol yn bodoli ar gyfer pob un, neu a ydych yn hedfan yn ddall rhwng cyfnodau adrodd.
Faint o’r hyn a ddathlwn mewn adolygiadau ac ôl-drafodaethau sy’n allbwn (“cyflenwom X”) yn erbyn canlyniad (“newidiodd X Y er gwell”)? Mae’r iaith y mae timau’n ei defnyddio i ddathlu gwaith yn llunio’r hyn y maent yn ei optimeiddio drosto amser, yn aml yn fwy na’r dangosfwrdd. Gwrandewch ar eich cyfarfodydd adolygu eich hun am sbrint a chyfrifwch y rhaniad yn onest.
Petai ein prif fetrigau allbwn yn dyblu dros nos, a fyddai ein metrigau canlyniad o reidrwydd yn gwella, neu a allent waethygu? Mae’r arbrawf meddwl hwn yn dinoethi metrigau allbwn sydd wedi dod yn ddatgysylltiedig oddi wrth, neu hyd yn oed yn weithredol yn erbyn, y canlyniadau yr oeddent i fod i’w gwasanaethu, megis cyfaint nodweddion sy’n cynyddu baich cynnal a chadw’n gyflymach nag y mae’n cynyddu mabwysiadu.

Golwg sector

Cwmni newydd. Dewiswch un canlyniad, fel arfer dirprwy ar gyfer a yw cwsmeriaid yn parhau i gael gwerth, megis cadw wythnosol neu actifadu, a’i drin fel eich seren-y-gogledd o’r diwrnod cyntaf. Gwrthsefwch y tyniad tuag at fetrigau gwagedd allbwn fel cyfrif nodweddion cronnus, sy’n ddeniadol i’w hadrodd i fuddsoddwyr ond nad ydynt yn dweud dim wrthych a yw’r cynnyrch mewn gwirionedd yn gweithio i unrhyw un.

Busnes bach. Mae eich offer presennol, pwynt gwerthu, desg gymorth, dadansoddeg, fel arfer eisoes yn adrodd rhif canlyniad-agos, cyfradd prynu ailadroddus, cyfradd ailagor tocynnau. Defnyddiwch y rheini yn hytrach nag adeiladu cyfrifianeg canlyniad bwrpasol nad oes gennych y gallu i’w chynnal, a gwrthsefwch y demtasiwn i gilio i gyfrifon gweithgarwch crai dim ond oherwydd mai dyna’r olwg ddiofyn.

Menter. Y modd methiant dominyddol yw portffolio o dimau, pob un yn optimeiddio metrigau allbwn lleol nad ydynt yn crynhoi i unrhyw ganlyniad sefydliadol cydlynol. Adeiladwch y goeden fetrigau’n fwriadol, safonwch ddiffiniadau canlyniad ar draws unedau busnes, a mynnwch fod pob menter fawr yn nodi ei damcaniaeth canlyniad cyn cyllido, nid dim ond ei chynllun cynnyrch.

Llywodraeth. Mae cyrff goruchwylio a’r cyhoedd yn gynyddol lythrennog yn y gwahaniaeth rhwng “cyflenwyd datganiad y gwaith” a “gwelliannwyd y canlyniad,” ac mae adroddiad allbwn-yn-unig yn gwahodd yn union y craffu hwnnw. Diffiniwch lwyddiant fel canlyniad dinesig-wynebus (amser aros, cyfradd gwall, boddhad) ble bynnag y bo’n gyfreithiol ac yn ymarferol bosibl, a byddwch yn benodol pan mai dim ond metrig allbwn sydd ar gael a pham.

Enghreifftiau

Menter. Adroddodd is-adran beirianneg cwmni logisteg gyfrif cyson gynyddol o “nodweddion wedi’u cyflenwi’r chwarter” am ddwy flynedd, tra bo sgôr boddhad cwsmeriaid craidd y cwmni’n gwastadu’n dawel. Adeiladodd Is-lywydd peirianneg newydd goeden fetrigau wedi’i gwreiddio yn y gyfradd cyflenwi mewn pryd, y canlyniad busnes gwirioneddol, wedi’i thorri i lawr trwy amser aros hyb a llwyddiant y filltir olaf i lawr i allbwn peirianneg lefel-tîm. O fewn un cylch adrodd daeth yn glir bod nifer o dimau allbwn-uchel yn cyflenwi nodweddion mewn ardaloedd heb effaith fesuradwy ar y metrig seren-y-gogledd, a symudodd buddsoddiad tuag at y gyrwyr yr oedd y goeden yn dangos oedd mewn gwirionedd yn bwysig.

Llywodraeth. Roedd tîm digidol gwasanaeth iechyd cenedlaethol wedi adrodd “modiwlau wedi’u cyflenwi yn erbyn datganiad y gwaith” ar gyfer rhaglen foderneiddio cofnodion cleifion aml-flwyddyn. Gofynnodd pwyllgor goruchwylio gwestiwn gwahanol: a wariodd clinigwyr lai o amser ar gofnodi data gweinyddol. Ôl-osododd y tîm fetrig canlyniad, munudau canolrifol o amser gweinyddol fesul cyfarfyddiad claf, a chanfod bod modiwlau cynnar mewn gwirionedd wedi cynyddu’r amser hwn oherwydd ffrithiant llif gwaith, er gwaethaf taro pob carreg filltir cyflenwi. Cafodd modiwlau diweddarach eu hailddylunio o gwmpas y metrig canlyniad yn uniongyrchol, a symudodd adrodd cyhoeddus y rhaglen o restr wirio cyflenwi i gymhariaeth canlyniad cyn-ac-ar-ôl.

Achos busnes: cymhellion, ROI, a TCO

Gwastraff a osgowyd yw’r enillion ar bwysoli canlyniadau: gall sefydliad sy’n gallu gweld, mewn amser bron yn real, nad yw ffrwd o allbwn yn symud unrhyw ganlyniad ailgyfeirio’r buddsoddiad hwnnw cyn i gylch cyllideb cyfan gael ei dreulio’n darganfod y ffordd anodd. Nid tanfuddsoddiad yw’r gost gudd ddominyddol mewn sefydliadau peirianneg mawr, ond gwaith a weithredwyd yn dda na ddylai byth fod wedi’i gyllido oherwydd ei fod wedi’i ddatgysylltu oddi wrth unrhyw ganlyniad gwirioneddol, ac ni all dangosfwrdd allbwn-yn-unig weld y datgysylltiad hwnnw o gwbl.

Mae cost cyfanswm perchnogaeth mesur canlyniad yn uwch na mesur allbwn, oherwydd mae canlyniadau’n wirioneddol anos eu diffinio, eu priodoli, a’u cyfrifiannu, ac mae adeiladu coeden fetrigau wirioneddol yn cymryd ymdrech ddadansoddol fwriadol yn hytrach na derbyn beth bynnag y mae offeryn yn ei allforio’n ddiofyn. Mae’r gost honno’n werth ei thalu ar gyfer unrhyw fenter uwchlaw maint cymedrol, oherwydd mae’r dewis arall, darganfod ar ôl y ffaith fod blwyddyn o allbwn a adroddwyd yn hyderus wedi cynhyrchu dim gwerth gwirioneddol, yn costio llawer mwy na’r dadansoddiad ymlaen llaw.

Gwrth-batrymau a risgiau

Dangosfwrdd sy’n gyfan gwbl yn deils allbwn: yn mesur gweithgarwch ac yn ei gyflwyno fel perfformiad.
Dal tîm yn gyfan gwbl atebol am ganlyniad na all ei reoli: yn magu rhwystredigaeth ac yn gwahodd twyllo i amddiffyn yn erbyn beio annheg.
Dim dangosydd rhagfynegi ar gyfer canlyniad ôl-fynegi: mae’r tîm yn dysgu ei fod yn anghywir dim ond ar ôl iddi fod yn rhy ddrud i’w drwsio.
Dathlu iaith allbwn mewn adolygiadau tra’n hawlio gwerthfawrogi canlyniadau: mae’r flaenoriaeth a nodwyd a’r cymhelliant byw yn gwahaniaethu, a’r cymhelliant byw sy’n ennill.
Rhestr fflat o fetrigau heb strwythur coeden: nid yw rhif llinell-uchaf sy’n symud yn rhoi unrhyw gliw ynghylch ble i edrych.
Trin mesur canlyniad fel rhy anodd i’w geisio: yn diofynnu sefydliad yn barhaol yn ôl at fewnbynnau ac allbwn hawdd-i’w-cyfrif.

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae metrigau bron yn gyfan gwbl yn fewnbynnau ac allbwn; ni all neb enwi metrigau canlyniad y sefydliad na olrhain llinell atynt.
Lefel 2, Datblygu: Mae rhai timau wedi nodi metrigau canlyniad yn anffurfiol, ond nid oes coeden fetrigau a rennir a dim dangosyddion rhagfynegi cyson.
Lefel 3, Safoni: Mae coeden fetrigau ddogfennedig yn cysylltu canlyniad seren-y-gogledd a rennir i lawr at allbwn a berchnogir gan dimau, wedi’i gymhwyso’n gyson ar draws y sefydliad.
Lefel 4, Rheoli: Olrheinir dangosyddion rhagfynegi ac ôl-fynegi gyda’i gilydd ac fe’u hadolygir gyda’i gilydd; dim ond am yr hyn y maent yn ei reoli y dalir timau’n atebol, ac ariennir mesur canlyniad yn weithredol.
Lefel 5, Cerddorfaru: Mae mesur canlyniad wedi’i integreiddio i benderfyniadau cyllido a blaenoriaethu’n uniongyrchol; mae’r sefydliad yn ailgyfeirio buddsoddiad yn rheolaidd oddi wrth waith allbwn-uchel, canlyniad-isel cyn i gylch cyllideb cyfan fynd heibio.

Syniadau ar gyfer trafodaeth

Enwch fetrig canlyniad pwysicaf ein sefydliad. A all pawb gytuno arno?
Beth yw ein buddsoddiad allbwn presennol mwyaf na allwn eto ei olrhain i unrhyw ganlyniad?
Ble mae ein strwythur atebolrwydd yn cosbi tîm am ganlyniad na all ei reoli?
Sut fyddai ein dangosfwrdd yn edrych petaem yn dileu pob teilsen allbwn pur?
Faint o amser mae’n ei gymryd i ni ddysgu a helpodd nodwedd a gyflenwyd mewn gwirionedd?

Prif gasgliadau

Dosbarthwch bob metrig fel mewnbwn, allbwn, neu ganlyniad, a phwysolwch eich set yn fwriadol tuag at ganlyniadau.
Adeiladwch goeden fetrigau o dan un metrig seren-y-gogledd fel bod rhif llinell-uchaf sy’n symud yn pwyntio at achos.
Daliwch dimau’n atebol am yr hyn y maent yn ei reoli (mewnbynnau, allbwn); olrheiniwch ganlyniadau fel signalau a rennir y mae’r sefydliad cyfan yn eu dylanwadu gyda’i gilydd.
Parejwch bob metrig canlyniad ôl-fynegi â dangosydd rhagfynegi cyflymach fel y gallwch lywio cyn i’r rhif araf gadarnhau eich bod yn anghywir.
Mae dangosfwrdd allbwn-yn-unig yn mesur gweithgarwch ac yn ei alw’n berfformiad; triniwch hynny fel arwydd rhybudd, nid cysur.

Cyfeiriadau a darllen pellach

Accelerate: The Science of Lean Software and DevOps, gan Nicole Forsgren, Jez Humble, a Gene Kim (mesur cyflenwi wedi’i seilio ar ganlyniadau).
Lean Analytics, gan Alistair Croll a Benjamin Yoskovitz (y Metrig Sengl Sy’n Bwysig a’r gwahaniaeth mewnbwn/allbwn/canlyniad mewn cyd-destun cwmni newydd).
Measure What Matters, gan John Doerr (gosod nodau wedi’u seilio ar ganlyniadau a phwyslais fframwaith OKR ar ganlyniadau dros weithgarwch).
The Lean Startup, gan Eric Ries (metrigau gweithredadwy yn erbyn metrigau gwagedd a dilysu canlyniadau).
Key Performance Indicators, gan David Parmenter (adeiladu strwythur coeden KPI neu fetrigau o dan fesur seren-y-gogledd).