1.2 Cyfraith Goodhart a seicoleg metrigau

Trosolwg a chymhelliant

Mae cyfraith Goodhart, a enwyd ar ôl yr economegydd Charles Goodhart, fel arfer yn cael ei nodi fel: pan fydd mesur yn dod yn darged, mae’n peidio â bod yn fesur da. Roedd arsylwad gwreiddiol Goodhart o 1975 ynghylch polisi ariannol, ond ailddatganiad diweddarach yr anthropolegydd Marilyn Strathern yw’r fersiwn sydd wir ei angen ar dimau meddalwedd, a dyma’r frawddeg y mae’r llyfr cyfan hwn wedi’i adeiladu arni. Mae pob metrig ym mhob pwnc diweddarach, amlder defnyddio, cwmpas profi, sgoriau boddhad, yn cario’r risg hon, ac mae pob argymhelliad yn y llyfr hwn, mewn rhyw ffurf, yn strategaeth ar gyfer ei reoli.

Nid yw’r mecanwaith yn ddirgel. Mae pobl yn ymateb i gymhellion, ac mae metrig sydd ynghlwm wrth wobr, adolygiad, neu enw da yn gymhelliant p’un a oedd unrhyw un yn bwriadu iddo fod yn un ai peidio. Unwaith y bydd tîm yn gwybod bod “amlder defnyddio” yn cael ei wylio, nid dyma bob amser y ffordd rataf o symud y rhif hwnnw yw’r un a fwriadwyd: hollti un newid ystyrlon yn bum defnydd dibwys, a bydd y rhif yn codi tra na wellodd dim gwirioneddol. Nid stori am actorion drwg yw hon. Mae peirianwyr cyffredin, o ewyllys da, yn ymateb yn union fel hyn i gymhellion wedi’u dylunio’n wael, oherwydd y cymhelliant, nid y bwriad y tu ôl iddo, sy’n llunio ymddygiad o dan bwysau.

I sefydliadau mawr mae’r risg yn uwch oherwydd bod y pellter rhwng dylunydd y metrig a’r person y mae’n llunio ei ymddygiad yn tyfu gyda graddfa. Gall arweinydd tîm sy’n adeiladu metrig ar gyfer ei dîm wyth person ei hun wylio am dwyllo’n uniongyrchol a chywiro cwrs yn gyflym. Mae metrig a lansiwyd ar draws is-adran o chwe chant o bobl, neu a gyhoeddwyd mewn adroddiad perfformiad llywodraeth a ddarllenir gan ddeddfwrfa, yn teithio trwy haenau o bobl nad ydynt erioed wedi cyfarfod â’i awdur ac sydd â phob rheswm i drin llythyren y metrig fel y nod. Mae’r ystumio’n cronni gyda phellter, a dyna’n union pam mae’r pwnc hwn, nid un diweddarach, lle mae’r llyfr yn rhoi ei ganolbwynt disgyrchiant.

Egwyddorion allweddol

Tybiwch y bydd pob metrig sy’n cael ei gymell yn cael ei dwyllo. Dyluniwch yn ei erbyn o’r fersiwn cyntaf, nid ar ôl darganfod yr ystumio.
Mae’r twyllo’n rhesymegol, nid yn faleisus. Mae pobl yn ymateb yn synhwyrol i’r cymhelliant a adeiladoch chi; nid yw eu beio amdano’n trwsio dim.
Mae pellter oddi wrth berchennog y metrig yn cynyddu risg ystumio. Po bellaf y mae rhif yn teithio oddi wrth y person sy’n deall ei fwriad, y mwyaf y mae’n dod yn llythyren y rheol yn hytrach nag ysbryd.
Mae cymarebau ac amrediadau’n gwrthsefyll twyllo’n well na chyfrifon crai. Mae cyfrif crai’n gwobrwyo cyfaint; mae cymhareb wedi’i dewis yn dda’n gwobrwyo’r ymddygiad gwirioneddol a ddymunwch.
Nid yw cledr ddiogelwch yn ddewisol ar fetrig sy’n cael ei gymell. Mae angen contra-fetrig wedi’i barejo ar bob metrig y rhowch wobr ynghlwm wrtho, na ddylai ddirywio.

Argymhellion

Dosbarthwch bob metrig yn ôl amlygiad cymhelliant

Cyn cyhoeddi metrig yn unrhyw le gweladwy, gofynnwch yn uniongyrchol: a yw gwobr, adolygiad, enw da, neu gyllideb unrhyw un yn dibynnu ar y rhif hwn yn symud i gyfeiriad penodol? Os felly, mae’n fetrig sy’n cael ei gymell ac mae angen cledr ddiogelwch (isod) arno cyn iddo fynd yn fyw. Os na, mae’n fetrig diagnostig (pwnc 1.1) ac mae’n cario risg twyllo is, er byth yn sero, oherwydd gall pobl barhau i lunio rhif y maent yn disgwyl yn unig gael eu barnu arno’n ddiweddarach hyd yn oed heb gymhelliant ffurfiol ynghlwm wrtho heddiw.

Ffafriwch gymarebau, cyfraddau, a garfannau dros gyfrifon crai

Mae cyfrif crai fel “tocynnau wedi’u cau” yn agored i dwyllo trwy wneud mwy o rywbeth gwerth isel. Mae cymhareb fel “canran y tocynnau a ddatryswyd ar y cyswllt cyntaf” yn gwobrwyo’r ymddygiad sylfaenol yn hytrach na’r cyfaint. Mae garfan, grŵp a ddiffinnir gan bwynt cychwyn a rennir megis pob defnydd mewn wythnos benodol, yn atal tuedd wael ddiweddar rhag cuddio y tu mewn i gyfanswm hirdymor sy’n gwneud iddo edrych yn dda. Ble bynnag y dewiswch rhwng cyfrif a chyfradd sy’n dal yr un ymddygiad sylfaenol, dewiswch y gyfradd.

Parejwch bob metrig sy’n cael ei gymell â chledr ddiogelwch

Contra-fetrig wedi’i barejo yw metrig cledr ddiogelwch na ddylai ddirywio tra bo’r prif fetrig yn gwella. Mae amlder defnyddio’n parejo â chyfradd methiant newid; mae amser arwain yn parejo â chyfradd diffyg dianc; mae amser trin tîm cymorth yn parejo â boddhad cwsmer. Y gledr ddiogelwch sy’n gwneud twyllo rhad yn weladwy ddrud: mae tîm sy’n gwella’r rhif a gymhellir trwy ddirywio’r gledr ddiogelwch yn cael ei ddal gan y parejiad, nid gan lwc. Dyluniwch y gledr ddiogelwch ar yr un pryd â’r prif fetrig, byth fel meddwl ail unwaith y darganfyddir twyllo’n barod.

Gwyliwch am y pedwar patrwm twyllo clasurol

Mae ystumio o dan gyfraith Goodhart yn tueddu i syrthio i mewn i nifer bach o ffurfiau adnabyddadwy. Mae twyllo trothwy yn optimeiddio hyd at darged ac yn stopio (mae targed cwmpas profi 95% yn cynhyrchu profion dibwys i gyrraedd yn union 95%, nid cwmpas gwirioneddol). Mae twyllo diffiniad yn newid beth sy’n cyfrif yn hytrach na beth sy’n digwydd (ailddiffinio “datrys” i eithrio achosion anodd). Mae twyllo amseru yn symud pryd y cofnodir gwaith yn hytrach na phryd y digwyddodd (swp-brosesu defnyddiadau ychydig cyn i ffenestr adrodd gau). Mae twyllo amnewid yn cyflwyno llythyren y metrig tra’n gadael ei fwriad (hollti un newid gwirioneddol yn nifer o rai dibwys i chwyddo amlder defnyddio). Mae enwi’r patrymau hyn i’ch tîm, yn benodol, yn eu gwneud yn llawer haws i’w gweld pan ymddangosant yn eich rhifau eich hun.

Gwahanwch fesur oddi wrth wobr lle bynnag y gallwch

Y gledr ddiogelwch gryfaf oll yw un strwythurol: datgyplu’r metrig oddi wrth wobr unigol. Mae metrig a ddefnyddir yn bur i ddeall system, heb i gyflog, sgôr, na sefyllfa unrhyw berson ddibynnu ar ei gyfeiriad, yn wynebu pwysau twyllo llawer gwannach nag un ynghlwm wrth werthusiad. Dyma pam mae gwahaniaeth diagnostig-yn-erbyn-gwerthusol pwnc 1.1 mor bwysig yn ymarferol: mae cadw metrig yn ddiagnostig yn aml yn rhatach ac yn fwy effeithiol nag unrhyw faint o beirianneg cledr ddiogelwch a gymhwysir ar ôl y ffaith.

Cyfnewidiadau: manteision ac anfanteision

Dull	Manteision	Anfanteision
Cyfrifon crai	Syml i’w cyfrifo a’u hesbonio	Yn hynod agored i dwyllo trwy gyfaint
Cymarebau a chyfraddau	Yn gwobrwyo’r ymddygiad cywir, yn gwrthsefyll twyllo cyfaint	Gall guddio problem enwadur sy’n crebachu
Parejiad cledr ddiogelwch	Yn gwneud twyllo rhad yn weladwy ddrud	Yn dyblu’r metrigau i’w diffinio, eu perchen, a’u cynnal
Diagnostig-yn-unig (dim gwobr unigol)	Y pwysau twyllo isaf o unrhyw ddewis	Trosoledd cymhellol uniongyrchol gwannach i arweinyddiaeth ei dynnu
Metrigau a gymhellir yn drwm	Ymateb ymddygiadol cryf, cyflym	Risg ystumio uchel, yn aml o fewn un cylch adrodd

Y tensiwn canolog yw pŵer cymhellol yn erbyn risg ystumio. Y metrigau sy’n symud ymddygiad gyflymaf, gan glymu rhif yn uniongyrchol wrth wobr, yw’n union y rhai sydd fwyaf agored i gyfraith Goodhart. Datryswch y tensiwn trwy neilltuo cymhellion cryf ar gyfer metrigau canlyniad sy’n wirioneddol anodd eu twyllo’n rhad, a thrwy barejo unrhyw beth a gymhellwch â chledr ddiogelwch wedi’i dylunio ar yr un pryd, nid wedi’i folltio ymlaen ar ôl i’r ystumio cyntaf ymddangos.

Cwestiynau i’w trafod gyda’ch tîm

Ar gyfer pob metrig y mae gwobr unrhyw un yn dibynnu arno, beth yw’r ffordd rataf o’i dwyllo, ac a fyddem yn dal y twyllo hwnnw heddiw? Eisteddwch i lawr a dyluniwch yn fwriadol yr ecsbloetiad ar gyfer pob rhif a gymhellir ar eich dangosfwrdd: sut byddai tîm rhesymegol, o ewyllys da, yn gwneud i hyn edrych yn dda heb wneud y gwaith sylfaenol? Os na allwch enwi ffordd y byddech yn dal y twyllo hwnnw, nid ydych yn barod i gymell y metrig eto. Mae’r ymarfer hwn yn anghyfforddus a’r anghysur hwnnw yw’r pwynt.
Pa rai o’n metrigau presennol sydd eisoes wedi drifftio i mewn i un o’r pedwar patrwm twyllo, trothwy, diffiniad, amseru, neu amnewid, heb i unrhyw un ei alw allan? Yn anaml y mae ystumio’n cyhoeddi ei hun; mae’n ymddangos fel rhif sy’n edrych yn wych tra bo’r cwynion, digwyddiadau, neu adborth cwsmer sylfaenol yn adrodd stori wahanol. Ewch trwy’ch dangosfwrdd yn erbyn pob patrwm yn ôl enw a byddwch yn onest am gydweddau.
A oes gan bob metrig a gymhellir ar ein dangosfwrdd gledr ddiogelwch wedi’i pharejo, ac a ddyluniwyd y gledr ddiogelwch honno ar yr un pryd â’r metrig? Mae cledr ddiogelwch a ychwanegwyd dim ond ar ôl darganfod twyllo’n drwsiad, nid dewis dylunio, ac mae fel arfer yn cyrraedd yn rhy hwyr i atal y rownd gyntaf o niwed i ymddiriedaeth. Archwiliwch eich metrigau a gymhellir am y parejiad hwn yn benodol.
Pa mor bell y mae’r metrig hwn yn teithio oddi wrth y person sy’n deall ei fwriad cyn iddo gyrraedd y person y mae’n llunio ei ymddygiad? Mae metrig a adeiladwyd gan dîm platfform ac a ddefnyddir dair haen reoli i ffwrdd, neu a gyhoeddwyd mewn adroddiad cyhoeddus a ddarllenir gan bobl nad ydynt erioed wedi gweld y cyfrifianeg, yn llawer mwy agored i dwyllo llythyren-nid-ysbryd nag un a ddyluniodd tîm ar ei gyfer ei hun. Mapiwch y pellter hwnnw ar gyfer eich metrigau mwyaf canlyniadol.
A ydym erioed wedi tynnu cymhelliant oddi wrth fetrig ar ôl darganfod ei fod yn cael ei dwyllo, a beth gostiodd hynny i ni mewn ymddiriedaeth i’w drwsio? Yn aml mae sefydliadau’n darganfod cyfraith Goodhart y ffordd anodd, ar ôl chwarter neu flwyddyn o ymddygiad wedi’i ystumio, ac mae’r trwsiad yn costio mwy nag y byddai atal wedi’i wneud. Dewch â digwyddiad gwirioneddol, os oes gennych un, a thynnwch y wers yn benodol yn hytrach na symud ymlaen yn dawel.
Ble ydym wedi tybio mai problem uniondeb personol oedd twyllo yn hytrach nag ymateb rhesymegol i gymhelliant wedi’i ddylunio’n wael? Yn anaml y mae beio unigolion am ymateb yn rhagweladwy i gymhelliant a adeiladoch chi’n trwsio dim ac yn aml yn niweidio ymddiriedaeth ymhellach. Ail-fframiwch bob digwyddiad twyllo y gallwch ei gofio fel problem ddylunio yn y metrig, nid problem gymeriad yn y person, a gofynnwch pa ailddyluniad a fyddai wedi ei atal.

Golwg sector

Cwmni newydd. Gyda thîm bach, y gledr ddiogelwch gyflymaf yw sgwrs uniongyrchol: gall pawb weld rhif a gofyn ar unwaith “arhoswch, pam neidiodd hwnna.” Y risg wirioneddol yw sylfaenydd yn clymu metrig wrth naratif codi cyllid (twf ar bob cost) heb gledr ddiogelwch wedi’i pharejo, oherwydd mae buddsoddwyr allanol yn cymhwyso’n union y math hwnnw o bwysau pell, risg uchel sy’n gwneud twyllo’n ddeniadol.

Busnes bach. Mae offer parod yn aml yn llongi dangosfyrddau diofyn wedi’u hadeiladu o gwmpas cyfrifon (tocynnau wedi’u cau, galwadau wedi’u trin) oherwydd bod cyfrifon yn hawdd i’w cyfrifo. Trosi’r rhain yn weithredol yn gyfraddau ble bynnag y mae’r offeryn yn caniatáu, a gwrthsefwch glymu unrhyw rif sengl wrth fonws neu adolygiad heb nodi ei gledr ddiogelwch yn gyntaf.

Menter. Pellter yw’r risg dominyddol: mae metrig a ddyluniwyd gan dîm platfform ar gyfer diagnosis mewnol yn cael ei godi dair haen reoli’n ddiweddarach a’i droi’n KPI na fyddai neb a’i hadeiladodd yn ei adnabod. Llywodraethwch hyn yn benodol (pwnc 1.4): mynnwch gledr ddiogelwch ddogfennedig cyn i unrhyw fetrig gael ei gymeradwyo i’w ddefnyddio mewn adolygiad perfformiad neu sgorgerdyn gweithredol.

Llywodraeth. Mae mesurau perfformiad a gyhoeddir yn wynebu’r pwysau twyllo cryfaf o unrhyw gategori yn y llyfr hwn, oherwydd gall targed a gollir gario canlyniadau cyllideb neu wleidyddol. Archwiliwch y diffiniad ei hun ar gadwedd sefydlog, nid dim ond y rhif, gan mai’r patrwm twyllo sector cyhoeddus clasurol yw ailddiffinio pwy sy’n cyfrif yn dawel (rhestr aros “wedi’i datrys” trwy ailddosbarthu pwy sy’n aros) yn hytrach na gwella’r gwasanaeth sylfaenol.

Enghreifftiau

Menter. Gosododd cwmni technoleg manwerthu darged o 99% cwmpas profi awtomataidd ar draws pob gwasanaeth, ynghlwm wrth sgôr ansawdd lefel-tîm a ddefnyddiwyd mewn adolygiadau chwarterol. O fewn dau chwarter, cyrhaeddodd cwmpas 99%, a chododd cyfradd digwyddiadau. Canfu archwiliad dimau’n ysgrifennu profion dibwys, gan haeru bod ffwythiant wedi dychwelyd heb daflu, yn bur i fodloni’r offeryn cwmpas, tra na wellodd profi achosion ymyl gwirioneddol o gwbl. Disodlodd y trwsiad y targed cwmpas crai â metrig wedi’i barejo: cwmpas ynghyd â sgôr profi-mwtasiwn (pwnc 4.2) sy’n mesur a yw profion mewn gwirionedd yn dal namau wedi’u chwistrellu, sy’n llawer anos ei dwyllo’n rhad.

Llywodraeth. Mesurwyd asiantaeth yswiriant diweithdra talaith ar ddiwrnodau canolrifol i’r taliad cyntaf, a gyhoeddwyd i’w deddfwrfa. O dan bwysau i gyrraedd targed, dechreuodd un swyddfa ranbarthol ailddosbarthu’n dawel hawliadau anos eu prosesu fel “anghyflawn” a’u heithrio o’r enwadur, a wnaeth i’r canolrif a gyhoeddwyd edrych yn wych tra bod rhai hawlwyr wedi aros yn llawer hirach nag yr awgrymai’r adroddiad. Datgelodd archwiliad annibynnol o’r diffiniad ei hun, nid dim ond y rhif, yr arfer. Rhewodd trwsiad yr asiantaeth y diffiniad, cyhoeddodd y meini prawf eithrio’n gyhoeddus, ac ychwanegodd fetrig cledr ddiogelwch yn olrhain cyfradd yr hawliadau anghyflawn ei hun, fel bod pigyn mewn ailddosbarthu bellach yn weladwy yn hytrach na chudd.

Achos busnes: cymhellion, ROI, a TCO

Ailwaith a osgowyd yw’r enillion ar gymryd cyfraith Goodhart o ddifrif. Mae sefydliad sy’n dylunio cledrau diogelwch ymlaen llaw yn treulio swm cymedrol o ymdrech ychwanegol yn diffinio ail fetrig ochr yn ochr â’r cyntaf. Mae sefydliad sy’n hepgor y cam hwn yn aml yn treulio chwarter cyfan neu fwy o ymdrech wedi’i chamgyfeirio cyn i’r ystumio ddod i’r amlwg, ac yna cost llawer anos dadwneud ymddygiad wedi’i dwyllo ac ailadeiladu ymddiriedaeth yn y rhif wedyn. Mae’r enghraifft fanwerthu uchod yn nodweddiadol: rhad i’w atal, drud i’w drwsio.

Nid yw cost cyfanswm perchnogaeth cledr ddiogelwch yn rhad ac am ddim: mae’n ail fetrig i’w ddiffinio, ei gyfrifiannu, a’i adolygu. Ond mae’r gost honno’n fach ac yn sefydlog o’i chymharu â chost ddiderfyn cymhelliant sy’n gwobrwyo’n dawel yr ymddygiad anghywir am fisoedd cyn i unrhyw un sylwi. Mae pob pwnc ar ôl hon yn prisio’r cyfnewidiad hwnnw i mewn, a dyna pam mae parejiad cledr ddiogelwch yn ymddangos fel argymhelliad drwy gydol gweddill y llyfr hwn yn hytrach na dim ond yma.

Gwrth-batrymau a risgiau

Cyhoeddi metrig a gymhellir heb gledr ddiogelwch: yr achos gwraidd mwyaf cyffredin o ddangosfwrdd wedi’i ystumio yn y llyfr hwn.
Trin twyllo fel methiant personol: yn beio unigolion am ymateb rhesymegol i gymhelliant wedi’i ddylunio’n wael, ac yn trwsio dim.
Archwilio’r rhif ond byth y diffiniad: y modd methiant sector cyhoeddus clasurol, lle mae’r metrig yn edrych yn iawn oherwydd bod pwy sy’n cyfrif wedi newid yn dawel.
Tybio y bydd metrig a weithiodd fel diagnostig yn aros yn ddiogel unwaith y daw’n werthusol: mae’r amlygiad yn newid yr eiliad y clymir gwobr, hyd yn oed os na newidiodd dim arall am y metrig.
Dylunio’r gledr ddiogelwch dim ond ar ôl y digwyddiad twyllo cyntaf: trwsiad sy’n cyrraedd ar ôl i’r niwed i ymddiriedaeth eisoes gael ei wneud.
Anwybyddu pellter: tybio y bydd metrig yn cael ei ddarllen fel y bwriadwyd gan ei ddylunydd unwaith y bydd yn teithio sawl haen reoli neu adroddiad cyhoeddus i ffwrdd oddi wrthynt.

Model aeddfedrwydd

Lefel 1, Cychwyn: Mae metrigau’n cael eu cymell ad hoc, heb ystyriaeth o risg twyllo, a chanfyddir ystumio dim ond ar ôl i ansawdd neu ymddiriedaeth ddioddef yn amlwg.
Lefel 2, Datblygu: Mae rhai timau’n cydnabod twyllo ar ôl y ffaith ac yn addasu’n anffurfiol, ond nid oes arfer cyson o ddylunio cledrau diogelwch ymlaen llaw.
Lefel 3, Safoni: Mae angen cledr ddiogelwch ddogfennedig ar bob metrig a gymhellir yn sefydliadol gyfan cyn cymeradwyaeth, ac mae’r pedwar patrwm twyllo’n cael eu henwi a’u dysgu.
Lefel 4, Rheoli: Monitorir risg twyllo’n weithredol: archwilir diffiniadau’n gyfnodol, adolygir parau cledrau diogelwch am a ydynt yn dal i ddal ystumio, ac olrheinir digwyddiadau twyllo fel metrig yn eu hawl eu hunain.
Lefel 5, Cerddorfaru: Mae’r sefydliad yn trin cyfraith Goodhart fel cyfyngiad dylunio sefydlog, wedi’i adolygu’n awtomatig pryd bynnag y cynigir metrig newydd, a gall bwyntio at ailddyluniadau penodol a ataliodd ystumio cyn iddo ddigwydd yn hytrach na dim ond wedyn.

Syniadau ar gyfer trafodaeth

Beth yw’r metrig mwyaf canlyniadol yn ein sefydliad heb gledr ddiogelwch heddiw?
A ydym erioed wedi gweld rhif yn gwella tra bo’r realiti sylfaenol wedi gwaethygu?
Pwy fyddai’n sylwi petai diffiniad y tu ôl i un o’n metrigau cyhoeddus yn newid yn dawel?
Pa un o’r pedwar patrwm twyllo (trothwy, diffiniad, amseru, amnewid) y mae ein sefydliad fwyaf tueddol iddo?
Beth fyddai’n ei gostio i ni, mewn ymddiriedaeth, ddarganfod bod prif fetrig wedi cael ei dwyllo am flwyddyn?

Prif gasgliadau

Cyfraith Goodhart: mae mesur sy’n dod yn darged yn peidio â bod yn fesur da, ac mae hyn yn llywodraethu pob metrig yn y llyfr hwn.
Mae twyllo’n ymateb rhesymegol i gymhelliant, nid diffyg cymeriad; trwsiwch ddyluniad y cymhelliant, nid y bobl.
Ffafriwch gymarebau, cyfraddau, a garfannau dros gyfrifon crai ble bynnag y maent yn dal yr un ymddygiad.
Mae angen cledr ddiogelwch ar bob metrig a gymhellir, wedi’i dylunio ar yr un pryd, nid wedi’i hychwanegu ar ôl darganfod ystumio.
Gwyliwch am y pedwar patrwm twyllo yn ôl enw: twyllo trothwy, diffiniad, amseru, ac amnewid.
Mae pellter rhwng dylunydd metrig a’r person y mae’n llunio ei ymddygiad yn cynyddu risg ystumio; cadwch y pellter hwnnw’n fyr lle gallwch.

Cyfeiriadau a darllen pellach

Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975): tarddiad cyfraith Goodhart.
Strathern, Marilyn, “‘Improving Ratings’: Audit in the British University System” (1997): yr ailddatganiad a ddyfynnir yn eang, “pan fydd mesur yn dod yn darged, mae’n peidio â bod yn fesur da.”
Seeing Like a State, gan James C. Scott (sut mae metrigau darllenadwy yn ystumio’r systemau y maent yn eu mesur, ar raddfa cenhedloedd).
The Tyranny of Metrics, gan Jerry Z. Muller (triniaeth hyd llyfr o sefydlogrwydd metrig a’i gostau ar draws llawer o broffesiynau).
Lean Analytics, gan Alistair Croll a Benjamin Yoskovitz (metrigau gwagedd yn erbyn rhai gweithredadwy, a dyluniad cledr ddiogelwch mewn cyd-destun cwmni newydd).
Arweiniad Swyddfa Atebolrwydd Llywodraeth (GAO) Unol Daleithiau ar fesur perfformiad a Deddf Foderneiddio GPRA: adrodd perfformiad sector cyhoeddus a risg twyllo.