6.2 Vipimo vya matukio: ugunduzi, mwitikio, na kupona

Muhtasari na msukumo

Mada hii inapima kinachotokea bajeti ya makosa kutoka mada ya 6.1 inapotumiwa kupitia kushindwa halisi: tukio, jambo lisilopangwa linalodhoofisha au kukatiza huduma. Vipimo vinne vinaunda msamiati wa kawaida wa kupima shirika linavyoshughulikia hili vizuri kiasi gani: wastani wa muda wa kugundua (MTTD), ni muda gani kabla shirika halijagundua kuna tatizo; wastani wa muda wa kukiri (MTTA), ni muda gani kabla mtu hajachukua umiliki wa kuitikia; wastani wa muda wa kutatua au kupona (MTTR), ni muda gani hadi huduma irejeshwe, dhana ileile ambayo mada ya 2.10 ilishughulikia mahususi kwa kushindwa kunakosababishwa na usambazaji, sasa ikitumika kwa tukio lolote bila kujali chanzo; na marudio ya matukio, kwa urahisi ni mara ngapi matukio hutokea kabisa.

Wasiwasi mkuu wa mada hii, ukirudia matibabu ya mada ya 2.10 ya kiwango cha kushindwa kwa mabadiliko, ni kwamba namba hizi zinaaminika tu kadiri utamaduni wa kishirika unaozunguka kuripoti na kuainisha matukio kwa uaminifu. Timu inayoogopa lawama kwa tukio ina kila kichocheo cha kuripoti kidogo, kuchelewesha kukiri ili kuepuka kuwa “kwenye saa,” au kuainisha tukio zito kama dogo kulinda vipimo vyake yenyewe. Mazoea ya uchambuzi wa baada ya tukio bila lawama, yaliyoanzishwa katika mashirika kama Etsy na kurasimishwa katika maandiko ya SRE ya Google, yapo mahususi kuondoa kichocheo hicho, na mada hii inayachukulia kama sharti la data ya matukio inayoaminika, si urembo wa hiari wa kiutamaduni uliowekwa juu ya vipimo.

Kwa timu kubwa, vipimo vya matukio vinafichua kama uwezo wa shirika wa kugundua na kuitikia, zana za kurudisha nyuma za mada ya 2.10 miongoni mwa uwekezaji mwingine, unafanya kazi kweli chini ya hali halisi, mbalimbali, si tu hali mahususi ya kushindwa kunakosababishwa na usambazaji ambayo mada hiyo ilishughulikia. Mashirika ya biashara kubwa na ya serikali yanayoendesha miundombinu muhimu hutegemea vipimo hivi ndani, kuendesha uboreshaji halisi wa kiuendeshaji, na nje, kuonyesha kwa wateja, wadhibiti, au umma kwamba matukio yanashughulikiwa kwa umahiri na yanaboreka kwa muda.

Kanuni kuu

Utamaduni usio na lawama ni sharti la data ya matukio inayoaminika, si nyongeza ya hiari; hofu ya lawama inaharibu kuripoti, kasi ya kukiri, na uainishaji wa ukali vyote.
Ugunduzi, kukiri, na kutatua ni awamu tofauti zenye marekebisho tofauti. Muda wa polepole wa jumla wa kupona unaweza kuficha matatizo ya msingi tofauti sana kulingana na awamu ipi ni ya polepole kweli.
Marudio ya matukio na MTTR ni ishara iliyooanishwa, sawa na kiwango cha kushindwa kwa mabadiliko na muda wa kupona cha DORA (mada ya 2.10): hakuna kimoja peke yake kinachosimulia hadithi nzima.
Uainishaji wa ukali unahitaji ukali ule ule wa uainishaji wa kasoro zilizotoroka (mada ya 5.1): vigezo thabiti, vilivyoandikwa, si uamuzi wa papo hapo.
Thamani ya uchambuzi wa baada ya tukio ni katika kujifunza kwa kimfumo, si kuzalisha namba. Kipimo ni zao la pembeni la mazoea mazuri, si lengo lake.

Mapendekezo

Gawanya muda wa mwitikio wa tukio katika awamu zake tofauti

Pima na uripoti muda wa kugundua (kuanzia mwanzo halisi wa kushindwa hadi mtu anapogundua), muda wa kukiri (kuanzia taarifa hadi mtu anapochukua umiliki), na muda wa kutatua (kuanzia umiliki hadi kupona kwa kweli) kando, badala ya jumla moja tu iliyochanganywa. Kila awamu inaelekeza kwenye marekebisho tofauti: ugunduzi wa polepole unaelekeza kwenye pengo la ufuatiliaji na tahadhari, kukiri polepole kunaelekeza kwenye tatizo la mchakato wa simu ya dharura au upandishaji, na kutatua polepole kunaelekeza kwenye pengo la zana, mwongozo wa uendeshaji, au uwezo wa uchunguzi (mada ya 2.10 inashughulikia hili mahususi kwa kushindwa kunakosababishwa na usambazaji).

Jenga na ulinde mchakato wa uchambuzi wa baada ya tukio usio na lawama kweli

Uchambuzi wa baada ya tukio usio na lawama huchunguza kilichotokea na kwa nini mfumo uliruhusu kitokee, ukiepuka waziwazi kumtwika mtu binafsi kosa kwa makosa ambayo mtu yeyote wa busara katika hali zilezile, akiwa na taarifa zilezile, angeweza kuyafanya. Linda nidhamu hii kikamilifu: viongozi kuonyesha mfano wa majibu yasiyo ya adhabu kwa matukio, sera iliyoandikwa wazi, na mazoea ya kuuliza “ni nini katika mfumo wetu kiliruhusu hili” badala ya “nani alifanya hili” yote ni uwekezaji wa lazima, endelevu, si tamko la sera la mara moja.

Ainisha ukali kwa vigezo thabiti, vilivyoandikwa, vinavyokaguliwa

Tumia nidhamu ileile ambayo mada ya 5.1 inapendekeza kwa kasoro zilizotoroka kwa uainishaji wa ukali wa tukio: kipimo kilichowekwa, kilichoandikwa kinachotegemea athari halisi kwa wateja au biashara, kinachotumika kwa uthabiti kuvuka timu, kinachokaguliwa mara kwa mara kwa mkengeuko. Uainishaji usio thabiti, timu nyingine zikiwa wakarimu, nyingine kali, unafanya data ya matukio ya shirika zima kutoaminika kwa ulinganisho kama data ya kasoro iliyoainishwa bila uthabiti ingekuwa.

Fuatilia marudio ya matukio na MTTR pamoja, kamwe si kando

MTTR inayoboreka pamoja na marudio ya matukio yanayoongezeka inaweza kuashiria timu inayozidi kuwa bora katika kuzima moto huku kutegemewa kwa msingi kwa mfumo kunadorora kweli; marudio ya matukio yanayopungua pamoja na MTTR inayozidi kuwa mbaya yanaweza kuashiria kushindwa kwa nadra zaidi lakini kwa ukali zaidi, kugumu kutambua kunachukua nafasi ya madogo ya mara kwa mara. Pitia yote mawili pamoja, ukiakisi kikamilifu nidhamu ya kuoanisha kasi-na-uthabiti kutoka vipimo vya DORA vya Sehemu ya 2, kupata picha ya pamoja ya uaminifu.

Toa na ufuatilie vitu vya hatua vya kimfumo kutoka uchambuzi wa baada ya tukio, si vipimo tu

Thamani halisi ya mchakato wa uchambuzi wa baada ya tukio ni vitu mahususi vya hatua vya kimfumo unavyozalisha: tahadhari iliyokosekana kuongezwa, mwongozo wa uendeshaji kuboreshwa, sehemu moja ya kushindwa kuondolewa. Fuatilia vitu hivi vya hatua hadi kukamilika kwa nidhamu ileile kama orodha ya deni la kiufundi kutoka mada ya 4.5, kwa kuwa uchambuzi wa baada ya tukio unaozalisha ufahamu bila ufuatiliaji unapoteza kujifunza kwa kishirika ambako mchakato umekusudiwa kunasa.

Mabadilishano: faida na hasara

Mbinu	Faida	Hasara
Kipimo kimoja cha muda wa mwitikio wa tukio kilichochanganywa	Rahisi kuripoti	Kinaficha awamu mahususi, ugunduzi, kukiri, kutatua, ambayo ni tatizo halisi
Vipimo vya matukio vilivyogawanywa kwa awamu	Vya uchunguzi, vinaelekeza moja kwa moja kwenye marekebisho sahihi	Vinahitaji upimaji wa makini zaidi wa kila mpito wa awamu
Mapitio ya tukio yanayoelekeza lawama	Yanahisi kuwajibika, yanatosheleza hamu ya kugawa wajibu	Yanaharibu uaminifu wa kuripoti wa baadaye na mara chache yanarekebisha chanzo halisi cha kimfumo
Mazoea ya uchambuzi wa baada ya tukio bila lawama	Yanazalisha data ya uaminifu na marekebisho halisi ya kimfumo	Yanahitaji uwekezaji endelevu wa kiutamaduni na nidhamu ya uongozi kuyadumisha

Mvutano wa kati ni mvuto wa uwajibikaji wa mtu binafsi dhidi ya hitaji la vitendo la kuripoti kwa uaminifu. Kumlaumu mtu binafsi baada ya tukio kunaweza kuhisi kuridhisha na kuonekana kama uongozi wa maamuzi, lakini kwa uhakika kunaharibu data ya kila tukio la baadaye, kwa sababu watu wanaripoti kidogo, wanachelewesha kukiri, au wanaainisha ukali vibaya mara wanapoogopa matokeo binafsi. Litatue mvutano kwa kupendelea mazoea yasiyo na lawama kwa makusudi na kwa uthabiti, ukielewa kwamba uwajibikaji halisi unatokana na kurekebisha mfumo ulioruhusu kushindwa, si kumwadhibu mtu binafsi aliyekuwepo tu kushindwa kulipotokea.

Maswali ya kujadili na timu yako

Je, tunagawanya muda wa mwitikio wa tukio katika awamu za ugunduzi, kukiri, na kutatua, au tunafuatilia namba moja iliyochanganywa tu? Ikiwa namba iliyochanganywa tu ipo, chagua tukio kubwa la hivi karibuni na ujaribu kujenga upya mgawanyo wa awamu kwa kurudi nyuma uone ungefichua nini.
Je, timu yetu ingeamini kweli mchakato wetu wa uchambuzi wa baada ya tukio hauna lawama, au hofu ya matokeo bado inaathiri jinsi matukio yanavyoripotiwa na kujadiliwa? Uliza hili moja kwa moja na kwa uaminifu; sera iliyotajwa ya kutokuwa na lawama ambayo haiishi kweli haizalishi data inayoaminika.
Je, timu mbili tofauti zingeainisha ukali wa tukio lilelile kwa njia ileile? Chagua tukio halisi, lenye utata la zamani na uwe na wawakilishi kutoka timu tofauti walainishe kwa kujitegemea, kisha mlinganishe matokeo.
Je, tunapitia marudio ya matukio na MTTR pamoja, au kimoja kinapata umakini zaidi ya kingine? Kagua mazoea yenu halisi ya kuripoti na mapitio kwa uoanishaji huu, mkiakisi nidhamu ileile ambayo mada ya 2.10 inapendekeza kwa vipimo vya uthabiti vya DORA.
Ni asilimia ngapi ya vitu vyetu vya hatua vya uchambuzi wa baada ya tukio vya miezi sita iliyopita vimekamilika kweli? Kama hamfuatilii hili sasa, pengo hilo linastahili kutajwa; mchakato wa uchambuzi wa baada ya tukio wenye kiwango cha chini cha kukamilisha vitu vya hatua unazalisha ufahamu bila ufuatiliaji.
Je, hofu ya lawama imewahi kusababisha mtu kuchelewesha kuripoti au kukiri tukio? Hili ni swali lisilostarehesha lakini muhimu; jibu la uaminifu “ndiyo, na hivi ndivyo ilivyotokea” lina thamani kubwa zaidi sana kwa afya ya mchakato wenu wa matukio kuliko “hapana” ya kijuujuu.

Mtazamo wa sekta

Kampuni changa. Mwitikio wa tukio mara nyingi si rasmi kwa lazima ukiwa na timu ndogo, na kugawanya awamu rasmi huenda kusiwe muhimu mwanzoni. Tabia inayostahili kupokelewa mapema ni kanuni za majadiliano yasiyo na lawama tangu tukio la kwanza kabisa, kwa kuwa mazoea ya kiutamaduni yaliyowekwa mapema ni rahisi zaidi sana kudumisha kuliko kurekebisha mara mtindo unaoelekea lawama unaposhika mizizi.

Biashara ndogo. Kumbukumbu rahisi, ya pamoja ya matukio, hata isiyo rasmi, yenye uainishaji wa msingi wa ukali na mapitio mafupi yasiyo na lawama kwa chochote kikubwa, inanasa sehemu kubwa ya thamani ya mada hii bila kuhitaji zana za kisasa au jukwaa maalum la usimamizi wa matukio.

Biashara kubwa. Uainishaji thabiti wa ukali na utamaduni halisi, endelevu usio na lawama ni vigumu zaidi kudumisha kwa ukubwa, na vyote ni muhimu kwa data ya matukio inayoaminika, inayolinganishwa kuvuka timu kadhaa. Wekeza katika vigezo vilivyoandikwa vya uainishaji, ukaguzi wa mara kwa mara, na viongozi kuonyesha mfano hai wa mwitikio usio na lawama, kwa kuwa mkengeuko wa kiutamaduni kuelekea lawama huelekea kuingia polepole bila shinikizo la kukabili la makusudi, endelevu.

Serikali. Matukio yanayoathiri huduma za umma au miundombinu muhimu mara nyingi hukabili uchunguzi wa nje, umakini wa vyombo vya habari, au uchunguzi rasmi, jambo linaloleta shinikizo kali kuelekea kutafuta lawama ambalo linaweza kudhoofisha moja kwa moja mazoea ya ndani yasiyo na lawama lisiposimamiwa kikamilifu. Dumisha nidhamu wazi ya ndani isiyo na lawama kwa kujifunza halisi kwa kimfumo, tofauti na mchakato wowote wa uwajibikaji wa nje unaoweza kufuata tukio zito, na uwasilishe tofauti hiyo wazi kwa wafanyakazi.

Mifano

Biashara kubwa. Utamaduni wa uhandisi wa kampuni ya malipo ulikuwa, kwa miaka, ukichukulia matukio bila rasmi kama kitu cha kupunguza kukiri haraka ili kuepuka kuonekana mwenye wajibu, jambo lililosababisha muda mbaya wa mara kwa mara wa ugunduzi na kukiri ambao uongozi awali ulihusisha na zana duni za ufuatiliaji. Mabadiliko ya kiutamaduni kuelekea uchambuzi wa baada ya tukio usio na lawama kweli, ikijumuisha viongozi kusifu hadharani na mahususi kukiri tukio kwa haraka na kwa uaminifu badala ya kusifu kutatua kwa haraka tu, yalizalisha uboreshaji unaopimika katika muda wa ugunduzi na kukiri ndani ya robo mbili, ukifichua kwamba kikwazo cha awali kilikuwa cha kiutamaduni, hofu ya lawama, si cha kiufundi, zana duni, kama ilivyodhaniwa awali.

Serikali. Kituo cha uendeshaji cha wakala wa usafiri wa umma kilikuwa kimeainisha kihistoria karibu kila usumbufu wa huduma kama “mdogo” katika kumbukumbu yake ya ndani ya matukio, mtindo ambao mkurugenzi mpya wa usalama aliuona wa kutiliwa shaka kutokana na malalamiko ya kudumu, yasiyo rasmi kutoka kwa wafanyakazi wa uwandani kuhusu matatizo mazito yanayojirudia. Uchunguzi ulifichua kwamba uainishaji wa “mdogo” uliepuka mchakato mzito rasmi wa kuripoti unaohitajika kwa ukali wa juu, ukiunda kichocheo kisichokusudiwa cha kuainisha chini. Wakala ulirahisisha mahitaji yake rasmi ya kuripoti kwa ukali wote na kuwalinda wafanyakazi waziwazi dhidi ya lawama kwa kuripoti ukali kwa uaminifu, na data ya matukio iliyofuata ilionyesha kiwango sahihi zaidi, na cha juu zaidi kwa kiasi kikubwa, cha usumbufu mkubwa kweli, hatimaye ikiipa uongozi picha ya uaminifu ya kupa kipaumbele uwekezaji wa miundombinu.

Kesi ya biashara: sababu, ROI, na TCO

Faida ya vipimo vya matukio visivyo na lawama kweli, vilivyoainishwa vizuri, vilivyogawanywa kwa awamu ni data ya uaminifu inayoendesha uboreshaji wa kimfumo kweli, badala ya picha ya kufariji lakini ya uongo inayozalishwa na kuripoti kidogo au kuainisha vibaya kunakoendeshwa na hofu. Mfano wa kampuni ya malipo hapo juu unaonyesha hili kwa uhalisia: marekebisho ya kiutamaduni, si uwekezaji wa zana, yalitatua kile uongozi ulichokitambua vibaya kama tatizo la kiufundi la ugunduzi.

Jumla ya gharama ya umiliki kwa kiasi kikubwa ni uwekezaji wa kiutamaduni na wa mchakato: kujitolea endelevu kwa uongozi kwa mazoea yasiyo na lawama, vigezo vilivyoandikwa na kukaguliwa vya uainishaji wa ukali, na nidhamu ya kufuatilia vitu vya hatua vya uchambuzi wa baada ya tukio hadi kukamilika. Uwekezaji huo unagharimu kidogo kuliko mbadala, programu ya vipimo vya matukio inayozalisha data isiyo sahihi kwa ujasiri kwa sababu hofu imeharibu kila pembejeo ndani yake.

Mifumo mibaya na mitego

Mapitio ya tukio yanayoelekeza lawama: huharibu uaminifu wa kuripoti, kasi ya kukiri, na uainishaji wa ukali kwa kila tukio la baadaye.
Kufuatilia tu namba moja ya muda wa mwitikio iliyochanganywa: huficha awamu mahususi, ugunduzi, kukiri, kutatua, ambayo ni tatizo halisi.
Uainishaji wa ukali usio thabiti kuvuka timu: hufanya data ya matukio ya shirika zima kutoaminika kwa ulinganisho.
Kupitia marudio ya matukio na MTTR kando: hukosa picha ya pamoja ya uaminifu ambayo ishara iliyooanishwa inatoa.
Mchakato wa uchambuzi wa baada ya tukio unaozalisha ufahamu bila vitu vya hatua vilivyokamilika: hupoteza kujifunza kwa kishirika ambako mchakato umekusudiwa kunasa.
Sera iliyotajwa ya kutokuwa na lawama isiyoishiwa kweli na uongozi: huzalisha uharibifu ule ule wa data unaoendeshwa na hofu kama utamaduni unaoelekeza lawama waziwazi.

Kielelezo cha ukomavu

Ngazi ya 1, Kuanzisha: Mwitikio wa tukio si rasmi, kuripoti hakuna uthabiti, na utamaduni unaoelekea lawama unakatisha tamaa kuripoti kwa uaminifu kikamilifu.
Ngazi ya 2, Kuendeleza: Ufuatiliaji fulani wa matukio upo, lakini uainishaji wa ukali hauna uthabiti na mazoea yasiyo na lawama yanatajwa lakini hayaishiwi kwa uthabiti.
Ngazi ya 3, Kusawazisha: Vipimo vya matukio vilivyogawanywa kwa awamu vyenye uainishaji thabiti, ulioandikwa wa ukali vinafuatiliwa shirika zima, pamoja na mazoea ya uchambuzi wa baada ya tukio yasiyo na lawama kweli.
Ngazi ya 4, Kusimamia: Marudio ya matukio na MTTR yanapitiwa pamoja, vitu vya hatua vya uchambuzi wa baada ya tukio vinafuatiliwa hadi kukamilika, na uainishaji unakaguliwa mara kwa mara kwa uthabiti.
Ngazi ya 5, Kuratibu: Shirika lina rekodi iliyoonyeshwa, endelevu ya mazoea yasiyo na lawama yanayozalisha data ya uaminifu na marekebisho halisi ya kimfumo, na vipimo vya matukio vinaarifu kwa moja kwa moja na kwa kuaminika maamuzi ya uwekezaji wa kutegemewa.

Mawazo ya kujadili

Je, mchakato wetu wa uchambuzi wa baada ya tukio ungenusurika jaribio la uaminifu la kama hauna lawama kweli?
Mgawanyo wa awamu, ugunduzi, kukiri, kutatua, wa tukio letu la polepole zaidi la hivi karibuni ni upi?
Je, timu mbili zingeainisha ukali wa tukio letu kubwa la mwisho kwa njia ileile?
Ni asilimia ngapi ya vitu vyetu vya hatua vya hivi karibuni vya uchambuzi wa baada ya tukio vimekamilika kweli?
Je, hofu ya lawama imewahi kuathiri jinsi tukio lilivyoripotiwa au kujadiliwa kwenye timu yetu?

Mambo muhimu ya kukumbuka

Utamaduni wa uchambuzi wa baada ya tukio usio na lawama ni sharti la data ya matukio inayoaminika; hofu ya lawama inaharibu kuripoti, kasi ya kukiri, na uainishaji vyote.
Gawanya muda wa mwitikio katika awamu za ugunduzi, kukiri, na kutatua, kila moja ikielekeza kwenye marekebisho tofauti.
Ainisha ukali kwa vigezo thabiti, vilivyoandikwa, vinavyokaguliwa, ukiakisi nidhamu ya kasoro zilizotoroka ya mada ya 5.1.
Pitia marudio ya matukio na MTTR pamoja, kamwe si kando, nidhamu ileile ya kuoanisha kama vipimo vya uthabiti vya DORA.
Fuatilia vitu vya hatua vya uchambuzi wa baada ya tukio hadi kukamilika; kipimo ni zao la pembeni la mazoea mazuri, si lengo lake.

Marejeo na usomaji zaidi

Site Reliability Engineering: How Google Runs Production Systems, na Betsy Beyer, Chris Jones, Jennifer Petoff, na Niall Richard Murphy, wahariri (mazoea ya uchambuzi wa baada ya tukio bila lawama na vipimo vya matukio).
The Site Reliability Workbook, na Betsy Beyer, Niall Richard Murphy, David K. Rensin, Kent Kawahara, na Stephen Thorne, wahariri (mwongozo wa vitendo wa mwitikio wa tukio na uchambuzi wa baada ya tukio).
The Field Guide to Understanding Human Error, na Sidney Dekker (hoja ya msingi ya uchunguzi wa kimfumo, usio na lawama wa kushindwa).
Allspaw, John, “Blameless PostMortems and a Just Culture,” Etsy Engineering Blog (2012): maelezo ya awali, yenye ushawishi ya mazoea yasiyo na lawama katika uendeshaji wa programu.