1.2 Lögmál Goodharts og sálfræði mælikvarða

Yfirlit og tilgangur

Lögmál Goodharts, kennt við hagfræðinginn Charles Goodhart, er venjulega orðað svo: þegar mælikvarði verður markmið hættir hann að vera góður mælikvarði. Upprunaleg athugun Goodharts frá 1975 snerist um peningastefnu, en síðari endurorðun mannfræðingsins Marilyn Strathern er sú útgáfa sem hugbúnaðarteymi þurfa í raun, og hún er setningin sem öll þessi bók er byggð á. Sérhver mælikvarði í sérhverju síðara viðfangsefni, afhendingartíðni, prófþekja, ánægjueinkunnir, ber þessa áhættu, og sérhver ráðlegging í þessari bók er, í einhverri mynd, aðferð til að stýra henni.

Vélbúnaðurinn er ekki dularfullur. Fólk bregst við hvötum, og mælikvarði festur við umbun, yfirferð eða orðspor er hvati hvort sem nokkur ætlaði hann sem slíkan. Þegar teymi veit að fylgst er með „afhendingartíðni“ er ódýrasta leiðin til að hreyfa þá tölu ekki alltaf sú ætlaða: skiptu einni marktækri breytingu í fimm léttvægar afhendingar, og talan hækkar meðan ekkert raunverulegt batnaði. Þetta er ekki saga um illa aðila. Venjulegir, velviljaðir verkfræðingar bregðast nákvæmlega svona við illa hönnuðum hvötum, því hvatinn, ekki ásetningurinn að baki honum, er það sem mótar hegðun undir þrýstingi.

Fyrir stórar skipulagsheildir eru hagsmunirnir hærri því fjarlægðin milli hönnuðar mælikvarðans og manneskjunnar sem hegðun hans mótar vex með umfangi. Teymisleiðtogi sem byggir mælikvarða fyrir eigið átta manna teymi getur fylgst beint með leik og leiðrétt stefnu fljótt. Mælikvarði útfærður yfir sex hundruð manna deild, eða birtur í opinberri frammistöðuskýrslu lesinni af löggjafarvaldi, ferðast gegnum lög fólks sem aldrei hitti höfund hans og hefur alla ástæðu til að meðhöndla bókstaf mælikvarðans sem markmiðið. Röskunin magnast með fjarlægð, sem er einmitt ástæðan fyrir því að bókin setur þungamiðju sína í þetta viðfangsefni, ekki síðara.

Lykilmeginreglur

Gerðu ráð fyrir að sérhver hvatabundinn mælikvarði verði leikinn. Hannaðu gegn því frá fyrstu útgáfu, ekki eftir að röskunin uppgötvast.
Leikurinn er skynsamlegur, ekki illviljaður. Fólk bregst skynsamlega við hvatanum sem þú byggðir; að kenna því um lagar ekkert.
Fjarlægð frá eiganda mælikvarðans eykur röskunaráhættu. Því lengra sem tala ferðast frá manneskjunni sem skilur ásetning hennar, því meira verður hún bókstafur reglunnar frekar en andi hennar.
Hlutföll og bil standast leik betur en hráar talningar. Hrá talning umbunar magn; vel valið hlutfall umbunar hegðunina sem þú raunverulega vilt.
Varnarmælikvarði er ekki valkvæður á hvatabundnum mælikvarða. Sérhver mælikvarði sem þú festir umbun við þarfnast paraðs gagnmælikvarða sem má ekki versna.

Ráðleggingar

Flokkaðu sérhvern mælikvarða eftir hvataútsetningu

Áður en þú birtir mælikvarða nokkurs staðar sýnilegan, spyrðu beint: veltur umbun, yfirferð, orðspor eða fjárlög einhvers á að þessi tala hreyfist í tiltekna átt? Ef já, er hann hvatabundinn mælikvarði og þarfnast varnarmælikvarða (hér að neðan) áður en hann fer í loftið. Ef nei, er hann greiningarmælikvarði (viðfangsefni 1.1) og ber lægri leikáhættu, þó aldrei núll, því fólk getur samt mótað tölu sem það býst aðeins við að verða dæmt eftir síðar jafnvel án formlegs hvata fest við í dag.

Kjóstu hlutföll, tíðni og árganga fram yfir hráar talningar

Hrá talning eins og „miðar lokaðir“ er leikanleg með því að gera meira af einhverju lítilvirði. Hlutfall eins og „hundraðshluti miða leystra við fyrstu snertingu“ umbunar undirliggjandi hegðun í stað magns. Árgangur, hópur skilgreindur af sameiginlegum upphafspunkti eins og allar afhendingar tiltekinnar viku, kemur í veg fyrir að slæm nýleg þróun feli sig inni í flatterandi langtímasafni. Hvar sem þú velur milli talningar og hlutfalls sem fangar sömu undirliggjandi hegðun, veldu hlutfallið.

Paraðu sérhvern hvatabundinn mælikvarða við varnarmælikvarða

Varnarmælikvarði er paraður gagnmælikvarði sem má ekki versna meðan aðalmælikvarðinn batnar. Afhendingartíðni parast við breytingabilunarhlutfall; leiðartími parast við hlutfall sloppinna galla; meðhöndlunartími stuðningsteymis parast við ánægju viðskiptavina. Varnarmælikvarðinn er það sem gerir ódýran leik sýnilega dýran: teymi sem bætir hvatabundnu töluna með því að rýra varnarmælikvarðann er gripið af pöruninni, ekki af tilviljun. Hannaðu varnarmælikvarðann samtímis aðalmælikvarðanum, aldrei sem eftiráhugsun þegar leikur er þegar uppgötvaður.

Gættu að fjórum klassískum leikmynstrum

Röskun undir lögmáli Goodharts hefur tilhneigingu til að falla í fáar auðþekkjanlegar lögun. Þröskuldsleikur fínstillir alveg upp að markmiði og stoppar (95% prófþekjumarkmið framleiðir léttvægar prófanir til að ná nákvæmlega 95%, ekki raunverulegri þekju). Skilgreiningarleikur breytir því sem telur frekar en því sem gerist (að endurskilgreina „leyst“ til að útiloka erfið tilvik). Tímasetningarleikur færir hvenær vinna er skráð frekar en hvenær hún átti sér stað (að hópa afhendingar rétt áður en skýrslutímabil lokar). Staðgengilsleikur afhendir bókstaf mælikvarðans meðan ásetningi hans er yfirgefið (að skipta einni raunverulegri breytingu í margar léttvægar til að blása upp afhendingartíðni). Að nefna þessi mynstur við teymi þitt, skýrt, gerir þau langtum auðveldari að koma auga á þegar þau birtast í eigin tölum.

Aðgreindu mælingu frá umbun þar sem þú getur

Sterkasti varnarmælikvarðinn er byggingarlegur: aðskildu mælikvarðann frá einstaklingsumbun. Mælikvarði notaður eingöngu til að skilja kerfi, án þess að laun, einkunn eða staða nokkurrar manneskju velti á stefnu hans, stendur frammi fyrir langtum veikari leikþrýstingi en sá bundinn mati. Þess vegna skiptir greining-á-móti-mati greinarmunurinn úr viðfangsefni 1.1 svo miklu máli í reynd: að halda mælikvarða greinandi er oft ódýrara og árangursríkara en nokkurt magn varnarmælikvarðaverkfræði beitt eftir á.

Málamiðlanir: kostir og gallar

Nálgun	Kostir	Gallar
Hráar talningar	Einfalt að reikna og útskýra	Mjög leikanlegt með magni
Hlutföll og tíðni	Umbuna réttri hegðun, standast magnleik	Geta falið vanda minnkandi nefnara
Varnarmælikvarðapörun	Gerir ódýran leik sýnilega dýran	Tvöfaldar mælikvarðana til að skilgreina, eiga og viðhalda
Greining eingöngu (engin einstaklingsumbun)	Lægsti leikþrýstingur allra valkosta	Veikari bein hvatningarlyftistöng fyrir forystu að toga í
Mjög hvatabundnir mælikvarðar	Sterk, hröð hegðunarviðbrögð	Mikil röskunaráhætta, oft innan einnar skýrslulotu

Aðalspennan er hvatningarmáttur á móti röskunaráhættu. Mælikvarðarnir sem hreyfa hegðun hraðast, að binda tölu beint við umbun, eru einmitt þeir sem eru mest útsettir fyrir lögmáli Goodharts. Leystu spennuna með því að taka sterka hvata frá fyrir niðurstöðumælikvarða sem eru sannarlega erfiðir að leika ódýrt, og með því að para allt sem þú gerir hvatabundið við varnarmælikvarða hannaðan samtímis, ekki boltaðan á eftir að fyrsta röskun birtist.

Spurningar til að ræða með teyminu

Fyrir hvern mælikvarða sem umbun einhvers veltur á, hver er ódýrasta leiðin til að leika hann, og myndum við grípa þann leik í dag? Setjist niður og hannið vísvitandi gallann fyrir hverja hvatabundna tölu á mælaborði ykkar: hvernig myndi skynsamt, velviljað teymi láta þetta líta vel út án þess að vinna undirliggjandi verkið? Ef þið getið ekki nefnt leið sem þið mynduð grípa þann leik eruð þið ekki tilbúin að hvatabinda mælikvarðann enn. Þessi æfing er óþægileg og þau óþægindi eru einmitt málið.
Hverjir núverandi mælikvarða okkar hafa þegar rekið inn í eitt af fjórum leikmynstrunum, þröskulds-, skilgreiningar-, tímasetningar- eða staðgengilsleik, án þess að nokkur kallaði það út? Röskun tilkynnir sig sjaldan; hún birtist sem tala sem lítur frábærlega út meðan undirliggjandi kvartanir, atvik eða endurgjöf viðskiptavina segja aðra sögu. Gangið mælaborð ykkar gegn hverju mynstri með nafni og verið heiðarleg um samsvörun.
Hefur sérhver hvatabundinn mælikvarði á mælaborði okkar paraðan varnarmælikvarða, og var sá varnarmælikvarði hannaður samtímis mælikvarðanum? Varnarmælikvarði bættur við aðeins eftir að leikur uppgötvast er viðgerð, ekki hönnunarval, og kemur yfirleitt of seint til að koma í veg fyrir fyrstu umferð skaða á trausti. Endurskoðið hvatabundna mælikvarða ykkar sérstaklega fyrir þessa pörun.
Hve langt ferðast þessi mælikvarði frá manneskjunni sem skilur ásetning hans áður en hann nær manneskjunni sem hegðun hans mótar? Mælikvarði smíðaður af vettvangsteymi og neytt þremur stjórnunarlögum fjær, eða birtur í opinberri skýrslu lesinni af fólki sem aldrei sá tækjavæðinguna, er langtum útsettari fyrir bókstafur-ekki-andi leik en sá sem teymi hannaði fyrir sjálft sig. Kortleggið þá fjarlægð fyrir afdrifaríkustu mælikvarða ykkar.
Höfum við nokkurn tímann fjarlægt hvata af mælikvarða eftir að hafa uppgötvað að hann var leikinn, og hvað kostaði það okkur í trausti að laga? Skipulagsheildir uppgötva oft lögmál Goodharts á erfiðu leiðina, eftir ársfjórðung eða ár af brenglaðri hegðun, og viðgerðin kostar meira en forvörn hefði gert. Komið með raunverulegt atvik, ef þið hafið eitt, og dragið lærdóminn út skýrt frekar en að halda hljóðlega áfram.
Hvar höfum við gert ráð fyrir að leikur væri persónulegt heilindavandamál frekar en skynsamleg viðbrögð við illa hönnuðum hvata? Að kenna einstaklingum um að bregðast fyrirsjáanlega við hvata sem þú byggðir lagar sjaldan nokkuð og skaðar oft traust enn frekar. Endurrammið sérhvert leikatvik sem þið munið sem hönnunarvanda í mælikvarðanum, ekki skapgerðarvanda í manneskjunni, og spyrjið hvaða endurhönnun hefði komið í veg fyrir það.

Geirasjónarhorn

Sprotafyrirtæki. Með örlítið teymi er hraðasti varnarmælikvarðinn bein samræða: allir geta séð tölu og spurt strax „bíddu, hvers vegna stökk þetta“. Raunverulega áhættan er stofnandi sem festir mælikvarða við fjármögnunarfrásögn (vöxt hvað sem það kostar) án paraðs varnarmælikvarða, því utanaðkomandi fjárfestar beita nákvæmlega þeirri fjarlægu, háum hagsmunaþrýstingi sem gerir leik aðlaðandi.

Lítil fyrirtæki. Tilbúin tól senda oft sjálfgefin mælaborð byggð kringum talningar (miðar lokaðir, símtöl meðhöndluð) því talningar eru auðveldar að reikna. Breyttu þessum virkt í hlutföll hvar sem tólið leyfir það, og stenstu að binda nokkra stakar tölu við bónus eða yfirferð án þess að greina varnarmælikvarða hennar fyrst.

Stórfyrirtæki. Fjarlægð er ríkjandi áhættan: mælikvarði hannaður af vettvangsteymi til innri greiningar er tekinn upp þremur stjórnunarlögum síðar og breytt í KPI sem enginn sem smíðaði hann myndi þekkja. Stýrðu þessu skýrt (viðfangsefni 1.4): krefstu skjalfests varnarmælikvarða áður en nokkur mælikvarði er samþykktur til notkunar í frammistöðuyfirferð eða framkvæmdastigatöflu.

Hið opinbera. Birtir frammistöðumælikvarðar standa frammi fyrir sterkasta leikþrýstingi allra flokka í þessari bók, því misst markmið getur borið fjárlaga- eða pólitískar afleiðingar. Endurskoðaðu skilgreininguna sjálfa á fastri tíðni, ekki bara töluna, því klassíska leikmynstrið hjá hinu opinbera er að breyta hljóðlega hver telur (biðlisti „leystur“ með því að endurflokka hver bíður) frekar en að bæta undirliggjandi þjónustu.

Dæmi

Stórfyrirtæki. Smásölutæknifyrirtæki setti markmið um 99% sjálfvirka prófþekju yfir allar þjónustur, bundið við gæðaeinkunn á teymisstigi notaða í ársfjórðungsyfirferðum. Innan tveggja ársfjórðunga náði þekja 99%, og atvikatíðni hækkaði. Úttekt fann teymi skrifa léttvægar prófanir, sem staðhæfðu að fall skilaði án þess að kasta villu, eingöngu til að fullnægja þekjutólinu, meðan raunveruleg jaðartilvikaprófun hafði ekkert batnað. Lagfæringin skipti hrárri þekjumarkmiðinu út fyrir paraðan mælikvarða: þekju auk stökkbreytingarprófunareinkunnar (viðfangsefni 4.2) sem mælir hvort prófanir grípi í raun innsprautaða galla, sem er langtum erfiðara að leika ódýrt.

Hið opinbera. Atvinnuleysistryggingastofnun ríkis var mæld á miðgildisdögum til fyrstu greiðslu, birt löggjafarvaldi sínu. Undir þrýstingi að ná markmiði byrjaði eitt svæðisskrifstofa hljóðlega að endurflokka erfiðari umsóknir sem „ófullkomnar“ og útiloka þær úr nefnaranum, sem lét birta miðgildið líta frábærlega út meðan sumir umsækjendur biðu langtum lengur en skýrslan benti til. Óháð úttekt á skilgreiningunni sjálfri, ekki bara tölunni, afhjúpaði venjuna. Lagfæring stofnunarinnar fraus skilgreininguna, birti útilokunarviðmiðin opinberlega og bætti við varnarmælikvarða sem rekur hlutfall ófullkominna umsókna sjálft, svo að stökk í endurflokkun yrði nú sýnilegt frekar en falið.

Viðskiptarök: hvatar, ávöxtun fjárfestingar og heildareignarkostnaður

Ávöxtun af því að taka lögmál Goodharts alvarlega er forðuð endurvinna. Skipulagsheild sem hannar varnarmælikvarða fyrirfram eyðir hóflegri aukafyrirhöfn í að skilgreina annan mælikvarða við hlið þess fyrsta. Skipulagsheild sem sleppir þessu skrefi eyðir oft heilum ársfjórðungi eða meira af misbeinni fyrirhöfn áður en röskunin kemur upp, fylgt af mun erfiðari kostnaði við að afturkalla leikna hegðun og endurbyggja traust á tölunni á eftir. Smásöludæmið hér að ofan er dæmigert: ódýrt að koma í veg fyrir, dýrt að laga.

Heildareignarkostnaður varnarmælikvarða er ekki ókeypis: hann er annar mælikvarði til að skilgreina, tækjavæða og yfirfara. En sá kostnaður er lítill og fastur miðað við ótakmarkaðan kostnað hvata sem hljóðlega umbunar rangri hegðun mánuðum saman áður en nokkur tekur eftir. Sérhvert viðfangsefni eftir þetta verðleggur þá málamiðlun inn, sem er ástæða þess að varnarmælikvarðapörun kemur fram sem ráðlegging í gegnum restina af þessari bók frekar en aðeins hér.

Andmynstur og gildrur

Að birta hvatabundinn mælikvarða án varnarmælikvarða: algengasta einstaka rótarorsök brenglaðs mælaborðs í þessari bók.
Að meðhöndla leik sem persónulegan galla: kennir einstaklingum um skynsamleg viðbrögð við illa hönnuðum hvata og lagar ekkert.
Að endurskoða töluna en aldrei skilgreininguna: klassíski bilunarháttur hins opinbera, þar sem mælikvarðinn lítur vel út því hver telur breyttist hljóðlega.
Að gera ráð fyrir að mælikvarði sem virkaði sem greining haldist öruggur þegar hann verður matskenndur: útsetningin breytist um leið og umbun festist, jafnvel þótt ekkert annað um mælikvarðann breytist.
Að hanna varnarmælikvarðann aðeins eftir fyrsta leikatvik: viðgerð sem berst eftir að skaðinn á trausti er þegar orðinn.
Að hunsa fjarlægð: að gera ráð fyrir að mælikvarði verði lesinn eins og hönnuður hans ætlaði þegar hann ferðast nokkur stjórnunarlög eða opinbera skýrslu frá þeim.

Þroskalíkan

Stig 1, Upphaf: Mælikvarðar eru hvatabundnir tilfallandi, án nokkurrar íhugunar leikáhættu, og röskun uppgötvast aðeins eftir að gæði eða traust líða sýnilega.
Stig 2, Þróun: Sum teymi þekkja leik eftir á og aðlaga óformlega, en engin samkvæm venja er að hanna varnarmælikvarða fyrirfram.
Stig 3, Stöðlun: Sérhver hvatabundinn mælikvarði í skipulagsheildinni krefst skjalfests varnarmælikvarða fyrir samþykki, og fjögur leikmynstrin eru nefnd og kennd.
Stig 4, Stjórnun: Leikáhætta er virkt vöktuð: skilgreiningar eru endurskoðaðar reglulega, varnarmælikvarðapör eru yfirfarin fyrir hvort þau grípi enn röskun, og leikatvik eru rakin sem mælikvarði út af fyrir sig.
Stig 5, Samhæfing: Skipulagsheildin meðhöndlar lögmál Goodharts sem varanlega hönnunarskorðu, yfirfarna sjálfvirkt þegar nýr mælikvarði er lagður til, og getur bent á tilteknar endurhönnun sem komu í veg fyrir röskun áður en hún átti sér stað frekar en aðeins eftir.

Hugmyndir til umræðu

Hver er afdrifaríkasti mælikvarðinn í skipulagsheild okkar sem hefur engan varnarmælikvarða í dag?
Höfum við nokkurn tímann séð tölu batna meðan undirliggjandi raunveruleiki versnaði?
Hver myndi taka eftir ef skilgreiningin að baki einum opinberu mælikvarða okkar breyttist hljóðlega?
Hvert fjögurra leikmynstranna (þröskuldur, skilgreining, tímasetning, staðgengill) er skipulagsheild okkar hættast við?
Hvað myndi það kosta okkur, í trausti, að uppgötva að stór mælikvarði hefði verið leikinn í ár?

Helstu atriði til að muna

Lögmál Goodharts: mælikvarði sem verður markmið hættir að vera góður mælikvarði, og þetta stýrir sérhverjum mælikvarða í þessari bók.
Leikur er skynsamleg viðbrögð við hvata, ekki skapgerðargalli; lagaðu hvatahönnunina, ekki fólkið.
Kjóstu hlutföll, tíðni og árganga fram yfir hráar talningar hvar sem þau fanga sömu hegðun.
Sérhver hvatabundinn mælikvarði þarfnast varnarmælikvarða, hannaðs samtímis, ekki bætts við eftir að röskun uppgötvast.
Gættu að fjórum leikmynstrunum með nafni: þröskulds-, skilgreiningar-, tímasetningar- og staðgengilsleik.
Fjarlægð milli hönnuðar mælikvarða og manneskjunnar sem hegðun hans mótar eykur röskunaráhættu; haltu þeirri fjarlægð stuttri þar sem þú getur.

Heimildir og frekara lesefni

Goodhart, C. A. E., „Problems of Monetary Management: The UK Experience“ (1975): uppruni lögmáls Goodharts.
Strathern, Marilyn, „‘Improving Ratings’: Audit in the British University System“ (1997): víða vitnaða endurorðunin, „when a measure becomes a target, it ceases to be a good measure.“
Seeing Like a State, eftir James C. Scott (hvernig læsilegir mælikvarðar brengla kerfin sem þeir mæla, í mælikvarða þjóða).
The Tyranny of Metrics, eftir Jerry Z. Muller (bókarlöng umfjöllun um mælikvarðabundningu og kostnað hennar yfir margar starfsgreinar).
Lean Analytics, eftir Alistair Croll og Benjamin Yoskovitz (hégómamælikvarðar á móti framkvæmanlegum og varnarmælikvarðahönnun í samhengi sprotafyrirtækis).
U.S. Government Accountability Office (GAO) leiðbeiningar um frammistöðumælingu og GPRA Modernization Act: opinber frammistöðuskýrslugjöf og leikáhætta.