1.6 Ujuzi wa takwimu kwa vipimo vya uhandisi

Muhtasari na msukumo

Huhitaji shahada ya takwimu kuendesha programu ya vipimo vizuri, lakini unahitaji kuepuka idadi ndogo ya makosa mahususi, ya kawaida yanayofanya vipimo vilivyotawaliwa vizuri na kupimwa vizuri viwe vya kupotosha kikamilifu. Timu inaweza kufanya kila kitu sawa, kutaja uamuzi wazi, kuepuka sheria ya Goodhart, kuelekeza uzito kwenye matokeo, kutawala umiliki, kupima kwa kutegemewa, na bado ikafikia hitimisho lisilo sahihi kwa sababu ilisoma wastani ilipohitaji asilimia, ilikosea kelele kwa mwelekeo, au ilidanganywa na bahati nasibu iliyovaa kama sababu. Mada hii ni busara ya chini ya takwimu ambayo kitabu hiki kinadhania kila msomaji wa mada za baadaye tayari anayo.

Tatizo kuu ni kwamba vipimo vya uhandisi kwa kawaida vina kelele, vimepinda, na vina sampuli ndogo kwa viwango vya takwimu rasmi. Hesabu ya usambazaji ya wiki ya timu moja si mkunjo laini wa kengele; ni pointi chache za data zenye vitu vya nje vikubwa mara kwa mara (toleo kubwa, mfululizo wa kurejesha nyuma unaosababishwa na tukio). Kutumia silika za kijinga zilizojengwa kwa seti kubwa za data zenye tabia nzuri kwenye data ya aina hii huzalisha hitimisho la ujasiri, lisilo sahihi mara kwa mara. Kujifunza kuona wakati namba ina kelele nyingi mno kuaminika, wakati wastani unakudanganya, na wakati vitu viwili vinavyosogea pamoja havisemi chochote kuhusu sababu si ukali wa hiari, ndio unaotofautisha programu ya vipimo inayolifundisha shirika kitu cha kweli na ile inayolifundisha kitu kinachosikika cha kuaminika lakini cha uongo.

Katika ukubwa wa biashara kubwa na serikali, makosa ya kitakwimu hujumlika kwa sababu hitimisho la kupotosha, likishakubaliwa na uongozi, linatendewa kuvuka timu nyingi kabla yeyote hajafikiria kuchunguza upya uchambuzi wa msingi. Ulinganisho wa kijinga kitakwimu kati ya vitengo viwili, au kati ya kabla na baada ya upangaji upya mkubwa wa shirika, unaweza kuumba maamuzi ya rasilimali kwa miaka kwa msingi wa kelele tu au kigezo kinachochanganya ambacho hakuna aliyedhibiti. Mada hii ipo kufanya kushindwa huko kuwe na uwezekano mdogo.

Kanuni kuu

Wastani wa kati au pesentaili kwa kawaida inakuambia zaidi kuliko wastani. Data ya uhandisi mara kwa mara inapindwa na vitu vya nje ambavyo wastani huvimeza na pesentaili hazivimezi.
Sampuli ndogo huzalisha namba zenye kelele. Asilimia iliyokokotolewa kutoka matukio machache hubadilika sana kwa sababu zisizo na uhusiano na mabadiliko halisi.
Kurudi kwenye wastani huwadanganya watu mara kwa mara. Usomaji mzuri au mbaya isivyo kawaida huelekea kufuatwa na wa kawaida zaidi, kukiwa na uingiliaji au bila.
Uhusiano si sababu, na vigezo vinavyochanganya vipo kila mahali. Vipimo viwili vinavyosogea pamoja vinaweza kushiriki sababu ya tatu iliyofichwa badala ya kimoja kuendesha kingine.
Chati ya udhibiti inashinda ulinganisho mmoja wa kabla-na-baada. Kuona safu ya kawaida ya tofauti ndiko kunakokuruhusu kutofautisha mabadiliko halisi na kelele.

Mapendekezo

Tumia wastani wa kati na asilimia kama chaguo-msingi kwa data iliyopindwa

Vipimo vya muda vya uhandisi, muda wa kuongoza, muda wa kupona kutoka tukio, ucheleweshaji wa mwitikio, karibu daima vimepindwa kulia: thamani nyingi zinakusanyika chini, zikiwa na mkia mrefu wa vitu vya nje vikubwa vya mara kwa mara. Wastani unaovutwa na mkia huo unaweza kuchora picha ambayo hakuna kesi ya kawaida inayofanana nayo. Ripoti wastani wa kati (thamani ya kati, ambapo nusu ya uchunguzi iko juu na nusu chini) pamoja na pesentaili ya 90 au ya 95 (thamani ambayo asilimia 90 au 95 ya uchunguzi iko chini yake), ambavyo kwa pamoja vinaonyesha kesi ya kawaida na mkia wa hali mbaya zaidi ambao timu inakabiliana nao kweli. Mada ya KPI ya kitabu mwenzi cha software-engineering-guide, na kila mada ya kipimo cha utoaji katika Sehemu ya 2 ya kitabu hiki, inadhania tabia hii kote.

Jua wakati sampuli ni ndogo mno kuaminika

Kiwango cha kushindwa kwa mabadiliko kilichokokotolewa kutoka usambazaji tatu katika wiki tulivu si ishara yenye maana; kushindwa mara moja kunasogeza asilimia kutoka 0% hadi 33% usiku mmoja kwa sababu ambazo zinaweza kutokuwa na uhusiano na hatari ya msingi. Kabla ya kuitikia kipimo cha asilimia, kagua hesabu ya msingi. Kama kanuni ya kidole gumba ya vitendo, chukulia kiwango kilichokokotolewa kutoka matukio ya msingi chini ya takriban ishirini hadi thelathini kama chenye kelele na kinachohitaji dirisha refu la uchunguzi kabla ya kufikia hitimisho, na ulisema hivyo waziwazi kwenye dashibodi badala ya kuwasilisha asilimia tete ya sampuli ndogo kwa ujasiri uleule kama ile thabiti ya sampuli kubwa.

Angalia kurudi kwenye wastani kabla ya kutoa sifa kwa uingiliaji

Wiki mbaya zaidi kuwahi ya matukio ya timu ikifuatiwa na umakini wa uongozi na uboreshaji wa baadaye, ni rahisi kutoa sifa kwa uingiliaji. Mara nyingi, sehemu ya uboreshaji huo ungetokea hata hivyo, kwa sababu usomaji uliokithiri isivyo kawaida huelekea kufuatwa na wa kawaida zaidi kama kasoro ya kitakwimu tu, jambo linaloitwa kurudi kwenye wastani. Jilinde dhidi ya hili kwa kulinganisha na msingi mrefu wa kihistoria badala ya pointi moja kali ya data iliyochochea umakini, na kwa kuwa mnyenyekevu ipasavyo kuhusu kiasi cha uboreshaji wowote uliozingatiwa cha kugawa kwa hatua mahususi.

Tafuta vigezo vinavyochanganya kabla ya kudai kipimo kilisababisha matokeo

Vipimo viwili vinaposogea pamoja, mzunguko wa usambazaji ukipanda sambamba na kuridhika kwa wateja, pinga mwitikio wa haraka wa kudai kimoja kilisababisha kingine kabla ya kuzingatia kigezo kinachochanganya: kipengele cha tatu kilichofichwa kinachoendesha vyote viwili. Uzinduzi wa kipengele kipya unaweza kuongeza kwa kujitegemea mzunguko wa usambazaji (marekebisho zaidi ya kufuatilia) na kuridhika (kipengele chenyewe), bila kiungo cha sababu kati ya vipimo hivi viwili hata kidogo. Kabla ya kuwasilisha uhusiano kama ushahidi wa sababu, uliza kikamilifu ni nini kingine kilibadilika wakati uleule ambacho kingeweza kueleza mienendo yote miwili.

Tumia chati ya udhibiti, si picha moja ya kabla-na-baada

Chati ya udhibiti huchora kipimo kwa muda na safu yake ya kawaida ya tofauti ikionyeshwa waziwazi, kwa kawaida kama bendi kuzunguka wastani wa kati. Hii inakuruhusu kutofautisha mabadiliko halisi, pointi ya data au mfululizo endelevu nje ya safu ya kawaida, na kelele ya kawaida ambayo ulinganisho mmoja wa kabla-na-baada hauwezi kuitofautisha. Kabla ya kutangaza “namba iliboreka baada ya badiliko,” chora data ya kihistoria ya kutosha kuona tofauti ya kawaida inaonekanaje, na ukague kama usomaji wa baada ya badiliko uko nje yake kweli.

Mabadilishano: faida na hasara

Mbinu	Faida	Hasara
Wastani	Rahisi, unaojulikana, rahisi kukokotoa	Unapotoshwa na vitu vya nje kwenye data ya uhandisi iliyopindwa
Wastani wa kati na pesentaili	Imara dhidi ya vitu vya nje, vinaonyesha kesi ya kawaida na mkia pamoja	Havijulikani sana kwa hadhira zisizo za kiufundi
Ulinganisho mmoja wa kabla-na-baada	Wa haraka, wa kimaumbile, rahisi kuwasilisha	Hatarini kwa kurudi kwenye wastani na kelele
Chati za udhibiti na misingi mirefu	Hutofautisha mabadiliko halisi na kelele kwa kutegemewa	Inahitaji data zaidi ya kihistoria na maelezo zaidi kwa hadhira isiyo ya kiufundi

Mvutano wa kati ni urahisi dhidi ya ukali. Wastani na ulinganisho mmoja wa kabla-na-baada ni rahisi kukokotoa na kueleza, ndiyo maana vinatawala kuripoti kwa kawaida, lakini pia ni mbinu mbili zenye uwezekano mkubwa wa kuzalisha hitimisho la ujasiri, lisilo sahihi kwenye data yenye kelele, iliyopindwa ambayo vipimo vya kitabu hiki vinazalisha. Litatue kwa kutumia mbinu kali zaidi kama chaguo-msingi, wastani wa kati, pesentaili, na chati za udhibiti, kwa uamuzi wowote wenye matokeo halisi, na kuhifadhi mbinu rahisi kwa mitazamo ya uchunguzi ya dau dogo ambapo usomaji uliokosewa unagharimu kidogo.

Maswali ya kujadili na timu yako

Vigae vipi vya dashibodi yetu vinaripoti wastani ambapo wastani wa kati au pesentaili ingesimulia hadithi ya kweli zaidi? Vipimo vya muda vya uhandisi karibu daima vimepindwa, na wastani kwenye data iliyopindwa unaweza kuonekana mzuri huku kesi ya kawaida, au mkia wa hali mbaya zaidi, ukisimulia hadithi tofauti kabisa. Kagua vigae vyenu vya muda kwa uingizwaji huu hasa.
Sampuli ya msingi nyuma ya vipimo vyetu vya asilimia ni ndogo kiasi gani, na je, tunachukulia kipimo cha matukio kumi kwa ujasiri uleule kama cha elfu? Kiwango tete cha sampuli ndogo kinachowasilishwa bila hesabu yake ya msingi kinaalika kuitikia kupita kiasi kelele. Kagua vigae vyenu vya kiwango cha kushindwa kwa mabadiliko na vya asilimia vinavyofanana kwa pengo hili.
Je, tumewahi kutoa sifa kwa uingiliaji kwa uboreshaji ambao kurudi kwenye wastani kungeuzalisha hata hivyo? Hili ni mojawapo ya makosa rahisi zaidi ya kitakwimu kufanya na magumu zaidi kuyaona baada ya tukio, kwa sababu uingiliaji na uboreshaji kweli ulitokea kwa mpangilio huo. Tazama nyuma hadithi ya hivi karibuni ya “tuliirekebisha” na uulize kwa uaminifu kama ulinganisho wa msingi ulikuwa mrefu vya kutosha kuondoa hili.
Wapi tumedhania kipimo kimoja kilisababisha kingine bila kukagua kigezo kinachochanganya? Vitu viwili kusogea pamoja ni kawaida; kimoja kusababisha kingine ni dai kali zaidi linalohitaji ushahidi zaidi. Chagua uhusiano ambao timu yenu inauamini sasa na mjaribu kutaja kigezo kinachochanganya kinachowezekana kingeueleza bila kiungo chochote cha sababu.
Je, tuna data ya kihistoria ya kutosha kujua tofauti ya kawaida inaonekanaje kwa vipimo vyetu muhimu zaidi, au tunalinganisha pointi moja moja? Bila ufahamu wa safu ya kawaida, usomaji wowote mmoja unaonekana wa kutisha au wa kutuliza kulingana na hali ya moyo badala ya ushahidi. Jadilini kama kipimo kinachotazamwa zaidi kimewahi kuchorwa kama chati ya udhibiti badala ya namba moja.
Tunawasilishaje kutokuwa na uhakika kwa wadau wasio wa kiufundi kwa sasa, na je, dashibodi yetu inadokeza usahihi zaidi kuliko data inavyounga mkono kweli? Chati isiyo na dalili ya tofauti ya kawaida au ukubwa wa sampuli inaweza kufanya timu ya uongozi iitikie kelele kupita kiasi au, mara nyingi vilevile, kupuuza ishara halisi kama kelele. Jadilini jinsi kuripoti kwenu kunavyoweza kuwasilisha hili kwa uaminifu bila kuwa kusikosomeka.

Mtazamo wa sekta

Kampuni changa. Timu ndogo huzalisha sampuli ndogo karibu kila mahali, kumaanisha tahadhari ya sampuli ndogo katika mada hii ni muhimu mara kwa mara. Pinga kufikia hitimisho kali kutoka wiki moja mbaya au moja nzuri; ukiwa na pointi chache tu za data, jibu la uaminifu kwa “je, huu ni mwelekeo” mara nyingi ni “hatujui bado.”

Biashara ndogo. Dashibodi zilizojengwa ndani za zana zilizo tayari mara nyingi huchagua wastani na ulinganisho wa kipindi kimoja kwa chaguo-msingi kwa sababu hizo ndizo rahisi zaidi kukokotoa na kuonyesha. Zana inaporuhusu, badilisha hadi wastani wa kati kwa vipimo vya muda, na uwe na shaka na kichwa chochote cha “juu kwa asilimia 40 mwezi huu” kilichokokotolewa kutoka hesabu ndogo ya msingi.

Biashara kubwa. Makosa ya kitakwimu kwa ukubwa huu huingia ndani ya maamuzi ya rasilimali na upangaji upya yanayoathiri mamia ya watu. Wekeza kwenye wachambuzi au wataalamu wa data waliopachikwa ambao wanaweza kujenga chati sahihi za udhibiti na kukagua vigezo vinavyochanganya kabla ulinganisho kati ya vitengo vya biashara, au kabla-na-baada ya badiliko kubwa, haujawasilishwa kwa uongozi kama ukweli uliotulia.

Serikali. Ulinganisho wa kijinga kitakwimu unaolisha ripoti ya umma au uhalalishaji wa bajeti unaweza kuwa na matokeo makubwa ya ulimwengu halisi na kualika hasa uchunguzi unaofichua uchambuzi wa uzembe hadharani. Tumia mbinu kali zaidi, chati za udhibiti, ukubwa wa sampuli ulioandikwa, ukaguzi wa vigezo vinavyochanganya, kama mazoea ya kudumu kwa chochote kinachochapishwa nje, si juhudi bora ya mara kwa mara tu.

Mifano

Biashara kubwa. Timu ya uongozi ya kampuni ya programu ilisherehekea uboreshaji wa asilimia 25 katika kiwango cha kushindwa kwa mabadiliko mwezi uliofuata baada ya kutoa sera mpya ya mapitio ya msimbo, ikitoa sifa kwa sera moja kwa moja. Uchunguzi wa karibu uligundua mwezi wa “kabla” ulikuwa mbaya isivyo kawaida, ulioendeshwa na uhamishaji wa timu moja ulioenda vibaya, na ukubwa wa sampuli ya msingi katika miezi yote miwili ulikuwa chini ya usambazaji thelathini kote kampuni. Chati ya udhibiti iliyotumia historia ya miezi kumi na miwili ilionyesha usomaji mpya ulikuwa ndani kabisa ya tofauti ya kawaida, si badiliko halisi la hatua, na athari halisi ya sera, ingawa ni ya kweli, ilikuwa ndogo zaidi sana kuliko namba ya kichwa ilivyopendekeza.

Serikali. Wakala wa usafiri wa umma uliripoti uboreshaji mkubwa wa mwaka hadi mwaka katika utendaji wa kwa wakati kwa mfumo mpya wa ratiba uliowekwa kidijitali, ukilinganisha robo moja ya “kabla” na robo moja ya “baada.” Mapitio huru yaligundua robo ya “kabla” iliangukia sanjari na kufungwa kwa ujenzi kusiohusiana kulikopunguza utendaji kuvuka mtandao mzima, na msingi mrefu zaidi ulionyesha utendaji wa kwa wakati ulikuwa tayari unapona kabla mfumo mpya haujazinduliwa. Ripoti iliyorekebishwa ya wakala ilitumia chati kamili ya udhibiti ya miaka mingi na kugawa uboreshaji mdogo zaidi, lakini unaoweza kutetewa zaidi, kwa mfumo mpya hasa.

Kesi ya biashara: sababu, ROI, na TCO

Faida ya ujuzi wa takwimu ni kuelekezwa vibaya kulikoepukwa: shirika linalogawa kwa usahihi uboreshaji, au kutambua kwa usahihi kelele kama kelele, linatumia uwekezaji wake unaofuata mahali litakapokusaidia kweli badala ya kukimbiza athari ya kufikirika. Mfano wa rejareja hapo juu ni wa kawaida: kampuni iliyoamini sera yake ya mapitio pekee iliendesha uboreshaji wa asilimia 25 inaweza kuwekeza pungufu katika wachangiaji wengine halisi, au kukuza thamani ya sera kwa njia inayopotosha maamuzi ya baadaye.

Jumla ya gharama ya ukali wa kitakwimu kwa kiasi kikubwa ni mabadiliko ya tabia badala ya zana mpya: kuchagua wastani wa kati badala ya wastani, kukagua ukubwa wa sampuli kabla ya kuitikia, kuchora msingi mrefu zaidi kabla ya kutangaza ushindi. Tabia hizi zinagharimu kidogo kupokea na kuzuia gharama kubwa zaidi, ngumu zaidi kugundua ya maamuzi yaliyofanywa kwa hitimisho la ujasiri, lisilo sahihi.

Mifumo mibaya na mitego

Kuripoti wastani kwenye data ya muda iliyopindwa: huficha kesi ya kawaida na mkia nyuma ya namba moja ya kupotosha.
Kuitikia asilimia isiyo na ukubwa wa sampuli unaoonekana: huchukulia kelele kutoka matukio machache kana kwamba ni mwelekeo thabiti, wenye maana.
Kutoa sifa kwa uingiliaji bila kuondoa kurudi kwenye wastani: kosa la kawaida, rahisi kufanya, gumu kuliona.
Kudai sababu kutoka uhusiano bila kuzingatia vigezo vinavyochanganya: hukuza kile data inachounga mkono kweli.
Kulinganisha picha moja ya kabla-na-baada badala ya kuchora msingi mrefu zaidi: haiwezi kutofautisha mabadiliko halisi na tofauti ya kawaida.
Kudokeza usahihi zaidi kuliko data inavyounga mkono katika kuripoti kwa uongozi: hualika kuitikia kelele kupita kiasi au kupuuza ishara halisi.

Kielelezo cha ukomavu

Ngazi ya 1, Kuanzisha: Vipimo vinaripotiwa kama wastani ghafi na picha moja za kabla-na-baada bila kuzingatia ukubwa wa sampuli, kupinda, au tofauti ya msingi.
Ngazi ya 2, Kuendeleza: Baadhi ya wachambuzi hutumia wastani wa kati au asilimia bila rasmi, lakini hakuna mazoea thabiti ya kishirika na vigezo vinavyochanganya mara chache vinakaguliwa.
Ngazi ya 3, Kusawazisha: Wastani wa kati na pesentaili ni chaguo-msingi kwa vipimo vya muda vilivyopindwa; ukubwa wa sampuli unaonyeshwa kando ya vipimo vya asilimia shirika zima.
Ngazi ya 4, Kusimamia: Chati za udhibiti zenye misingi ya kihistoria ni mazoea ya kawaida kwa dai lolote la mabadiliko halisi; vigezo vinavyochanganya vinazingatiwa kikamilifu kabla ya madai ya sababu kufanywa katika kuripoti.
Ngazi ya 5, Kuratibu: Ukali wa kitakwimu umejengwa ndani ya zana zenyewe, dashibodi zinaonyesha pesentaili na bendi za udhibiti kwa chaguo-msingi, na shirika linaweza kuonyesha kwamba uamuzi mahususi wa zamani ulirekebishwa kwa sababu usomaji wa kijinga kitakwimu ulikamatwa kabla haujaumba mkakati.

Mawazo ya kujadili

Vichwa vipi vya dashibodi yetu ya sasa vingeonekana tofauti tukibadilisha wastani na wastani wa kati?
Je, tumewahi kubadilisha uamuzi kwa sababu asilimia iligeuka kutegemea sampuli ndogo zaidi sana kuliko tulivyodhania?
Hadithi ipi ya hivi karibuni ya “tuliboresha kipimo hiki” tunapaswa kuichunguza upya kwa kurudi kwenye wastani?
Wapi vipimo vyetu viwili vinaweza kuwa vinahusiana kupitia sababu ya tatu iliyofichwa badala ya kimoja kuendesha kingine?
Je, chati zetu muhimu zaidi zinaonyesha safu ya kawaida ya tofauti, au mstari mmoja wa mwelekeo tu?

Mambo muhimu ya kukumbuka

Pendelea wastani wa kati na pesentaili kuliko wastani kwa vipimo vya uhandisi vilivyopindwa, vya muda.
Chukulia asilimia kutoka sampuli ndogo kama yenye kelele, na useme hivyo waziwazi badala ya kuitikia kama mwelekeo thabiti.
Angalia kurudi kwenye wastani kabla ya kutoa sifa kwa uingiliaji kwa uboreshaji uliofuata usomaji mbaya isivyo kawaida.
Uhusiano si sababu; tafuta kikamilifu vigezo vinavyochanganya kabla ya kutoa dai la sababu.
Tumia chati ya udhibiti yenye msingi halisi wa kihistoria, si picha moja ya kabla-na-baada, kutofautisha mabadiliko halisi na kelele ya kawaida.

Marejeo na usomaji zaidi

The Signal and the Noise, na Nate Silver (kutofautisha ishara halisi na kelele katika data isiyo kamilifu).
How to Measure Anything, na Douglas W. Hubbard (hoja za kitakwimu kwa kipimo cha kishirika).
Understanding Variation: The Key to Managing Chaos, na Donald J. Wheeler (chati za udhibiti na tofauti kati ya tofauti ya sababu ya kawaida na ya sababu maalum).
Thinking, Fast and Slow, na Daniel Kahneman (upendeleo wa kiakili ukijumuisha kurudi kwenye wastani na udanganyifu wa simulizi ya sababu).
The Visual Display of Quantitative Information, na Edward R. Tufte (uwasilishaji wa uaminifu, wa uadilifu wa juu wa data ya kiasi).