1.0 Cyflwyniad i Ran 1: Sylfeini Mesur

Cyn i’r llyfr hwn enwi un fetrig, mae’n rhaid iddo ateb cwestiwn anos: at ba ddiben y mae mesur? Mae pob tîm sydd erioed wedi adeiladu dangosfwrdd hefyd, yn y pen draw, wedi gwylio rhif yn gwella tra bo’r peth yr oedd i fod i’w gynrychioli yn gwaethygu. Nid methiant offer yw hynny. Canlyniad rhagweladwy ydyw i hepgor y sylfeini y mae’r rhan hon yn eu cwmpasu: pam eich bod yn mesur o gwbl, beth sy’n digwydd i fetrig unwaith y bydd pobl yn gwybod ei fod yn cael ei wylio, sut i bwysoli canlyniadau dros weithgarwch, pwy sy’n berchen ar rif a’i ddiffiniad, o ble y daw’r data mewn gwirionedd, a sut i ddarllen signal aflonydd heb dwyllo’ch hun.

I dimau mawr mae’r sylfeini hyn yn peidio â bod yn ddewisol. Gall un tîm ymdopi â rhif ad hoc y mae rheolwr yn bwrw golwg drosto unwaith yr wythnos. Ni all sefydliad â channoedd o beirianwyr, dwsinau o ddangosfyrddau, a thîm arweinyddiaeth sy’n adrodd i fyny. Ar y raddfa honno, nid yn unig y mae metrig heb berchennog neu wedi’i ddiffinio’n wael yn camarwain un tîm, mae’n camarwain pawb i lawr yr afon sy’n ymddiried yn y rhif heb wirio sut y cafodd ei adeiladu, ac mae’n gostus ei ddadwneud unwaith y bydd ymddygiad wedi addasu i’w drin yn dwyllodrus.

Mae sefydliadau menter a llywodraeth yn teimlo hyn yn fwyaf dwys, oherwydd mae eu metrigau’n aml yn cario canlyniadau y tu hwnt i’r tîm sy’n eu cynhyrchu: penderfyniadau cyllideb, adroddiadau perfformiad cyhoeddus, canfyddiadau archwilio, a chontractau gwerthwyr. Gall metrig sy’n edrych fel cyfleustra peirianneg mewnol ddod, yn dawel bach, yn fewnbwn hanfodol, di-gwestiwn i benderfyniadau a wneir gan bobl nad ydynt byth yn gweld y llif gwaith a’i cynhyrchodd. Cael y sylfeini’n iawn yw’r hyn sy’n gwneud y pwysau hwnnw’n oddefadwy.

Pynciau yn y rhan hon

1.1 Pam mesur peirianneg meddalwedd: Yr achos dros fesur o gwbl, yr hyn y mae i fod i’w gyflawni, a’r gwahaniaeth rhwng mesur i ddysgu a mesur i farnu.
1.2 Cyfraith Goodhart a seicoleg metrigau: Yr un syniad sy’n llywodraethu pob pwnc arall yn y llyfr hwn: mae mesur sy’n dod yn darged yn peidio â bod yn fesur da, a’r mecanweithiau seicolegol sy’n gwneud twyllo bron yn anochel unwaith y bydd pobl yn gwybod eu bod yn cael eu gwylio.
1.3 Canlyniadau dros allbwn: dewis beth i’w fesur: Sut i bwysoli set o fetrigau tuag at ganlyniadau yn hytrach na gweithgarwch, gan ddefnyddio’r gwahaniaeth clasurol mewnbwn/cynnyrch/canlyniad a’r patrwm seren y gogledd.
1.4 Llywodraethiant a pherchnogaeth metrigau: Pwy sy’n penderfynu beth sy’n cael ei fesur, pwy sy’n berchen ar ddiffiniad, a sut y mae siarter metrigau’n atal dangosfwrdd sy’n tyfu rhag dod yn wasgariad di-atebolrwydd.
1.5 Ffynonellau data a chyfrifianeg: O ble y daw metrigau peirianneg mewn gwirionedd, cyfrifianeg yn erbyn hunan-adrodd, a’r problemau ansawdd data sy’n dirymu dangosfwrdd yn dawel cyn i unrhyw un sylwi.
1.6 Llythrennedd ystadegol ar gyfer metrigau peirianneg: Y lleiafswm barn ystadegol y mae ar dîm ei angen i ddarllen metrig yn onest: canraddau yn erbyn cyfartaleddau, maint sampl, atchweliad tuag at y cymedr, a newidynnau drysu.

Sut mae’r pynciau hyn yn cydberthyn

Mae’r chwe phwnc hyn yn adeiladu mewn trefn gaeth. Mae pwnc 1.1 yn gofyn pam mesur o gwbl, sy’n bwysig oherwydd bydd tîm nad yw wedi ei ateb yn casglu rhifau nad oes neb yn gweithredu arnynt. Pwnc 1.2 yw’r echel y mae gweddill y llyfr yn troi arni: unwaith y byddwch yn derbyn y gall unrhyw fesur ddod yn darged a chael ei drin yn dwyllodrus, mae argymhellion pob pwnc diweddarach yn dilyn o ddylunio yn erbyn y risg honno. Mae pwnc 1.3 yn troi’r rhybudd hwnnw’n rheol gadarnhaol: pwysoli tuag at ganlyniadau, oherwydd hwy yw’r categori anoddaf i’w drin yn dwyllodrus yn rhad. Mae pwnc 1.4 yn gwneud y llywodraethiant yn gyngrid, mae pwnc 1.5 yn gwneud y data’n gyngrid, ac mae pwnc 1.6 yn rhoi’r farn ystadegol i chi osgoi cael eich twyllo gan sŵn hyd yn oed ar ôl i lywodraethiant a chyfrifianeg fod yn gadarn.

Mae popeth i lawr yr afon yn dibynnu ar y rhan hon. Mae metrigau llif Rhan 2 a metrigau DORA, a fframwaith SPACE yn Rhan 3, i gyd yn, i bob pwrpas, enghreifftiau wedi’u gweithio o’r egwyddorion pwysoli-canlyniadau ac efeilio-cledrau diogelwch a nodir ym mhynciau 1.2 a 1.3. Mae’r arweiniad dylunio dangosfwrdd ym mhwnc 8.1 yn cymryd yn ganiataol y model llywodraethiant o bwnc 1.4. Ac mae’r model aeddfedrwydd sy’n cau pob pwnc yn y llyfr hwn, o dan ei bum lefel, yn fodel aeddfedrwydd ar gyfer union y ddisgyblaeth y mae’r rhan hon yn ei chyflwyno: mesur fel eich bod o ddifrif, a gwirio’ch gwaith eich hun.