5.1 Cyfradd diffygion dianc a dihangfeydd ansawdd

Trosolwg a chymhelliant

Mae cyfradd diffygion dianc yn mesur y diffygion sy’n cyrraedd cynhyrchu ac yn effeithio ar ddefnyddwyr gwirioneddol, yn wahanol i’r diffygion a ddelir yn gynharach trwy brofi, adolygu cod, neu ddadansoddiad statig, y cyfan wedi’u cwmpasu yn Rhan 4 y llyfr hwn. Mae’r gwahaniaeth yn bwysig yn aruthrol: mae diffyg a ddelir mewn adolygiad cod yn costio munudau i’w drwsio ac ni fydd yr un defnyddiwr byth yn ei weld; gall yr un diffyg, os yw’n dianc i gynhyrchu, gostio oriau o ymateb digwyddiad, niwed cwsmer gwirioneddol, a tholl fesuradwy ar ymddiriedaeth. Mae’r metrig hwn, mewn ystyr wirioneddol, yn gerdyn sgorio terfynol ar gyfer popeth y mae Rhan 4 yn ei gwmpasu, gan fod cyfradd diffygion dianc gynyddol er gwaethaf metrigau ansawdd mewnol cryf (cymhlethdod, gorchudd, dadansoddiad statig) fel arfer yn golygu nad yw’r signalau mewnol hynny mewn gwirionedd yn dal y moddau methiant sy’n bwysig i ddefnyddwyr gwirioneddol.

Mae’r pwnc hwn yn trin diffygion dianc â’r difrifoldeb y mae eu cost yn ei haeddu tra’n gwrthsefyll y demtasiwn i drin y cyfrif crai fel cerdyn sgorio syml. Nid yw pob diffyg yn gyfartal: mae camsillafiad mewn testun cymorth a welir yn anaml a bwg llygru-data mewn system trafodion ariannol ill dau, yn dechnegol, yn ddiffygion dianc, ac mae eu trin yn union yr un fath yn cynhyrchu metrig sydd naill ai’n rhy swnllyd i weithredu arno neu, yn waeth, yn camarwain yn weithredol am ble mae’r risg wirioneddol yn byw. Mae prif argymhelliad y pwnc hon, olrhain wedi’i bwysoli-yn-ôl-difrifoldeb â sylw gofalus i sut mae diffygion yn cael eu dosbarthu, wedi’i anelu’n uniongyrchol at y broblem honno.

I dimau mawr, cyfradd diffygion dianc yw un o’r pontydd cliriaf rhwng metrigau peirianneg mewnol y llyfr hwn a’r byd cwsmer-wynebedig y mae Rhan 5 gyfan yn ymwneud ag ef. Mae sefydliadau menter yn ei defnyddio i gyfiawnhau buddsoddiad yn arferion profi ac adolygu Rhan 4; mae sefydliadau llywodraeth, lle gall diffyg dianc olygu cyfrifiad budd- dal anghywir neu ryngweithiad gwasanaeth cyhoeddus wedi methu, yn ei thrin fel mesur uniongyrchol o ymddiriedaeth gyhoeddus a datguddiad cyfreithiol, nid dim ond ystadegyn peirianneg mewnol.

Egwyddorion allweddol

Cyfradd diffygion dianc yw’r cerdyn sgorio terfynol ar gyfer arfer ansawdd mewnol. Mae cyfradd gynyddol er gwaethaf metrigau Rhan 4 cryf yn golygu nad yw’r metrigau hynny’n dal yr hyn sy’n bwysig.
Mae difrifoldeb yn bwysicach na chyfrif crai. Pwysolwch ddiffygion yn ôl effaith gwsmer neu fusnes gwirioneddol, nid trin pob dihangfa’n union yr un fath.
Mae cysondeb dosbarthiad yn hanfodol. Mae dau dîm yn dosbarthu difrifoldeb yn wahanol yn cynhyrchu rhifau na ellir eu cymharu’n deg.
Mae’r metrig hwn yn agored i dwyllo diffiniad, yn union fel cyfradd methiant newid (pwnc 2.10): mae culhau’r hyn sy’n cyfrif fel “diffyg” yn gwneud y rhif yn well heb leihau niwed cwsmer gwirioneddol.
Mae categoreiddio achos gwraidd yn troi cyfrif yn offeryn diagnostig. Mae gwybod pam y mae diffygion yn dianc yn fwy gweithredadwy na gwybod dim ond faint a wnaeth.

Argymhellion

Pwysolwch ddiffygion dianc yn ôl difrifoldeb, gan ddefnyddio graddfa gyson, ddogfennedig

Dosbarthwch bob diffyg dianc gan ddefnyddio graddfa ddifrifoldeb sefydlog (critigol, mawr, mân yn gyffredin, neu gyfatebiaeth wedi’i rhifo) yn seiliedig ar effaith gwsmer neu fusnes gwirioneddol: mae colli neu lygru data, datguddiad diogelwch, ac anargaeledd nodwedd gyflawn yn eistedd ar y brig; mae mater cosmetig heb effaith weithredol yn eistedd ar y gwaelod. Olrheiniwch duedd wedi’i phwysoli-yn-ôl-difrifoldeb, nid dim ond gyfrif crai, fel nad yw pigyn mewn materion mân yn gorlifo’n weledol gynnydd llai ond llawer mwy canlyniadol mewn rhai critigol.

Safonwch feini prawf dosbarthiad ar draws timau

Bydd timau gwahanol a adewir i ddosbarthu difrifoldeb yn annibynnol yn drifftio tuag at safonau gwahanol, rhai’n geidwadol, rhai’n oddefol, gan wneud cymhariaeth draws-dîm yn ddiystyr ac, yn waeth, yn creu cymhelliant i ddosbarthu’n hael i lawr i gadw rhifau tîm ei hun yn edrych yn well (amrywiad o dwyllo diffiniad pwnc 1.2). Cyhoeddwch feini prawf dosbarthiad clir, seiliedig-ar-enghraifft, ac archwiliwch sampl o ddosbarthiadau ar draws timau’n gyfnodol i wirio am gysondeb.

Olrheiniwch achos gwraidd, nid dim ond cyfrif a difrifoldeb

Ar gyfer pob diffyg dianc, cofnodwch pam y dihangodd: bwlch profi, achos ymyl a gollwyd mewn gofynion, gwahaniaeth amgylchedd rhwng llwyfannu a chynhyrchu, adolygiad a fethodd â dal y mater. Cyfanredwch y data achos-gwraidd hwn dros amser i ddod o hyd i batrymau systemig, os yw categori penodol (dyweder, diffygion gwahaniaeth-amgylchedd) yn dominyddu eich dihangfeydd, mae hynny’n pwyntio’n uniongyrchol at fwlch proses penodol, trwsiadwy yn hytrach nag alwad gyffredinol amwys i “brofi mwy.”

Cysylltwch ddiffygion dianc yn ôl â’u signalau ansawdd mewnol gwreiddiol

Lle bo’n bosibl, olrheiniwch ddiffyg dianc yn ôl at yr ardal god y daeth ohoni a gwiriwch a ddangosodd yr ardal honno arwyddion rhybudd ym metrigau Rhan 4: a oedd yn fan poeth cymhlethdod (pwnc 4.1, pwnc 4.3), a oedd ganddo gyfradd lladd-treiglo isel (pwnc 4.2), a fflagiodd dadansoddiad statig unrhyw beth gerllaw (pwnc 4.4). Y cysylltiad hwn sy’n dilysu a yw eich metrigau ansawdd mewnol mewn gwirionedd yn rhagfynegol o ddiffygion cwsmer-wynebedig gwirioneddol, neu a ydynt yn mesur rhywbeth nad yw, yn eich cyd-destun penodol chi, yn cydberthyn â’r hyn y mae cwsmeriaid mewn gwirionedd yn ei brofi.

Gwarchodwch yn erbyn dosbarthiad diffyg yn dod yn ymarfer beio

Fframiwch ddadansoddiad achos-gwraidd diffyg yn benodol fel cwestiwn system, yn ôl fframio diagnostig pwnc 1.1, nid ymarfer beio-unigol. Mae gan dîm sy’n ofni cael ei feio am ddiffyg dianc gymhelliant cryf i danadrodd, camddosbarthu i lawr, neu wrthsefyll dadansoddiad achos- gwraidd trylwyr, sy’n llygru’r union ddata y mae’r pwnc hwn yn dibynnu arno. Mae arfer post-mortem di-fai, wedi’i gwmpasu’n fanylach ym mhwnc 6.2, yn berthnasol yn uniongyrchol yma.

Cyfnewidiadau: manteision ac anfanteision

Dull	Manteision	Anfanteision
Cyfrif diffyg dianc crai	Syml i’w adrodd	Yn trin camsillafiad a bwg llygru-data yn union yr un fath; swnllyd a chamarweiniol
Olrhain wedi’i bwysoli-yn-ôl-difrifoldeb	Yn adlewyrchu effaith gwsmer wirioneddol yn fwy cywir	Angen dosbarthiad cyson, disgybledig
Safonau dosbarthiad annibynnol-i-dîm	Hyblyg, baich cydlynu isel	Yn cynhyrchu rhifau na ellir eu cymharu ar draws timau; yn gwahodd drifft goddefol
Dosbarthiad safonedig, wedi’i archwilio	Teg, cymharadwy, yn gwrthsefyll twyllo	Angen llywodraethiant parhaus ac ymdrech archwilio cyfnodol

Y tensiwn canolog yw hyblygrwydd lleol yn erbyn cymharadwyedd draws- dîm. Mae gadael i bob tîm ddosbarthu difrifoldeb diffyg mewn unrhyw ffordd sy’n gweddu i’w gyd-destun ei hun yn symlach i’w weithredu ond yn cynhyrchu rhifau na ellir eu cymharu na’u cyfanredu’n deg ar lefel sefydliadol, ac yn creu cymhelliant tawel i dîm ddosbarthu’n hael i warchod ei fetrigau ei hun. Datryswch y tensiwn trwy fuddsoddi mewn meini prawf dosbarthiad safonedig, dogfennedig ac archwiliadau traws-dîm cyfnodol, gan drin hyn fel gwaith llywodraethiant (pwnc 1.4) sy’n werth y buddsoddiad o ystyried pa mor uniongyrchol y mae’r metrig hwn yn cysylltu ag effaith cwsmer gwirioneddol.

Cwestiynau i’w trafod gyda’ch tîm

A ydym yn olrhain diffygion dianc yn ôl difrifoldeb, neu a yw cyfrif crai’n trin mater cosmetig mân yr un fath â phroblem data critigol? Tynnwch eich dangosfwrdd gwirioneddol a gwiriwch; os nad yw pwysoli difrifoldeb eisoes ar waith, dyma’r newid gwerth-uchaf sengl y mae’r pwnc hwn yn ei argymell.
A fyddai dau dîm gwahanol yn dosbarthu difrifoldeb yr un diffyg yn yr un ffordd, neu a yw dosbarthiad wedi drifftio ar wahân ar draws y sefydliad? Dewiswch ddiffyg gwirioneddol, amwys o’r gorffennol a chael cynrychiolwyr o ddau dîm gwahanol i’w ddosbarthu’n annibynnol; cymharwch y canlyniadau’n onest.
Beth yw ein hachos gwraidd mwyaf cyffredin ar gyfer diffygion dianc, ac a yw ein proses gyfredol mewn gwirionedd yn mynd i’r afael ag ef, neu a ydym dim ond yn parhau i ymateb i ddigwyddiadau unigol wrth iddynt ddigwydd? Cyfanredwch eich data achos-gwraidd dros y misoedd diwethaf a chwiliwch am y patrwm dominyddol.
A yw ein diffygion dianc wedi’u holrhain yn ôl at ardaloedd yr oedd ein metrigau ansawdd mewnol (cymhlethdod, gorchudd, dadansoddiad statig) eisoes wedi’u fflagio fel rhai peryglus? Mae’r cysylltiad hwn yn dilysu a yw eich metrigau Rhan 4 mewn gwirionedd yn rhagfynegol yn eich cyd-destun penodol, neu a ydynt yn colli’r moddau methiant sy’n bwysig mewn gwirionedd.
A yw ein proses dosbarthu diffyg yn teimlo’n ddiogel, neu a yw peirianwyr yn ofni cael eu beio wrth adrodd neu ddosbarthu diffyg y maent yn gysylltiedig ag ef? Mae diwylliant beio-dueddol yn llygru’r data hwn yn systematig trwy dan-adrodd a dosbarthiad goddefol; byddwch yn onest am eich diwylliant cyfredol yma.
A yw ein cyfradd diffygion dianc erioed wedi gwella’n amheus o gyflym heb newid cyfatebol mewn arfer profi neu adolygu? Fel gyda chyfradd methiant newid (pwnc 2.10), dyma’r arwydd cliriaf mai meini prawf dosbarthiad, nid risg wirioneddol, a symudodd.

Golwg sector

Cwmni newydd. Mae dosbarthiad difrifoldeb ffurfiol yn aml yn ddiangen gyda chyfaint bach o ddiffygion a thîm bach a all drafod pob un yn uniongyrchol. Yr arferiad sy’n werth ei fabwysiadu’n gynnar yw olrhain diffygion yn gyson o’r dechrau, hyd yn oed yn anffurfiol, fel bod y data hanesyddol yn bodoli unwaith y bydd y tîm yn tyfu’n ddigon mawr i angen dadansoddiad mwy ffurfiol.

Busnes bach. Mae graddfa ddifrifoldeb syml, a rennir, hyd yn oed tair lefel (critigol, mawr, mân), wedi’i chymhwyso’n gyson gan bwy bynnag sy’n trin cymorth a didoli bygiau, yn dal y rhan fwyaf o werth y pwnc hwn heb angen offeryno soffistigedig na swyddogaeth ansawdd bwrpasol.

Menter. Cysondeb dosbarthiad draws-dîm yw’r buddsoddiad lifer-uchaf yma, gan fod safonau anghyson ar draws degau o dimau’n gwneud cymhariaeth ansawdd ar draws y sefydliad yn ddiystyr. Buddsoddwch mewn meini prawf dosbarthiad dogfennedig, seiliedig-ar-enghraifft ac archwilio cyfnodol, a chysylltwch ddiffygion dianc yn systematig yn ôl â signalau ansawdd mewnol Rhan 4 i ddilysu pa rai o’r signalau hynny sy’n wirioneddol ragfynegol ar gyfer eich sefydliad.

Llywodraeth. Mae gan ddiffyg dianc mewn system cwsmer-wynebedig neu gyfrifo-budd-dal bwysau cyfreithiol ac ymddiriedaeth-gyhoeddus y tu hwnt i’w gost beirianneg. Triniwch ddosbarthiad difrifoldeb â thrylwyredd arbennig ar gyfer diffygion sy’n effeithio ar wasanaethau dinesydd-wynebedig, a byddwch yn barod i benderfyniadau dosbarthiad wynebu craffu allanol, sy’n ddadl gref dros feini prawf dogfennedig, wedi’u harchwilio, cyson yn hytrach na barn ad hoc.

Enghreifftiau

Menter. Roedd cyfrif diffygion dianc cwmni meddalwedd tanysgrifiad wedi bod yn codi am ddau chwarter, a chanolbwyntiodd pryder cychwynnol ar y rhif crai. Datgelodd dadansoddiad wedi’i bwysoli-yn-ôl-difrifoldeb fod y cynnydd bron yn gyfan gwbl mewn materion cosmetig, mân, yn cyd-daro ag ail-ddyluniad UI diweddar, tra bo diffygion critigol a mawr mewn gwirionedd wedi gostwng ychydig dros yr un cyfnod. Pwyntiodd dadansoddiad achos-gwraidd y pigyn materion-mân at fwlch mewn profi atchweliad-gweledol yn benodol ar gyfer cydrannau UI newydd, trwsiad wedi’i dargedu, cost-isel a fyddai wedi’i golli’n gyfan gwbl petai’r tîm wedi ymateb i’r cyfrif crai, heb ei bwysoli fel argyfwng ansawdd diwahân.

Llywodraeth. Roedd gan system cyfrifo-budd-daliadau asiantaeth ddiweithdra talaith ddiffyg dianc a wrthododd yn anghywir ganran fach o hawliadau fyddai fel arall yn gymwys am sawl mis cyn ei ganfod. Canfu ymchwiliad achos-gwraidd fod y diffyg wedi tarddu mewn ardal god a fflagiwyd yn flaenorol fel man poeth cymhlethdod (pwnc 4.1, pwnc 4.3) mewn adolygiad ansawdd mewnol ddeunaw mis ynghynt, ond ni chafodd y man poeth erioed ei flaenoriaethu ar gyfer unioni oherwydd na ddigwyddodd unrhyw ddiffyg eto i wneud y risg yn gonc. Mae proses ddiwygiedig yr asiantaeth bellach yn pwysoli ardaloedd wedi’u fflagio- fel-man-poeth yn uwch mewn blaenoriaeth profi ac adolygu’n benodol oherwydd y cysylltiad hwn, wedi’i ddangos, wedi’i ddilysu rhwng signalau cymhlethdod mewnol a risg diffyg-dianc gwirioneddol.

Achos busnes: cymhellion, ROI, a TCO

Y gallu i gyfeirio buddsoddiad ansawdd lle bydd mewn gwirionedd yn lleihau niwed cwsmer-wynebedig, yn hytrach nag ymateb i gyfrif diwahân sy’n cymysgu materion dibwys a difrifol yn ddiwahân, yw’r enillion ar olrhain cyfradd diffygion dianc yn drylwyr, gyda phwysoli difrifoldeb a dadansoddiad achos-gwraidd. Mae’r enghraifft meddalwedd tanysgrifiad uchod yn dangos hyn yn glir: byddai ymateb cyfrif-crai wedi sbarduno menter ansawdd eang, heb ffocws, tra bo’r ymateb wedi’i bwysoli-yn-ôl- difrifoldeb, wedi’i lywio gan achos-gwraidd wedi nodi trwsiad penodol, rhad, wedi’i dargedu.

Mae cost cyfanswm perchnogaeth yn cynnwys y ddisgyblaeth dosbarthiad (meini prawf cyson, archwiliadau cyfnodol) a’r ymdrech olrhain achos- gwraidd, y ddau’n bennaf yn fuddsoddiadau proses yn hytrach na chostau offeryno. Mae’r buddsoddiad hwnnw’n talu amdano’i hun yn uniongyrchol yng nghost niwed cwsmer ac ymateb digwyddiad osgowyd trwy gyfeirio ymdrech ansawdd tuag at ffynonellau gwirioneddol, wedi’u dilysu o risg diffyg-dianc.

Gwrth-batrymau a risgiau

Trin cyfrif diffyg crai fel y metrig: yn cymysgu materion dibwys a difrifol ac yn cuddio’r signal gwirioneddol.
Dosbarthiad difrifoldeb anghyson ar draws timau: yn gwneud cymhariaeth draws-dîm yn ddiystyr ac yn gwahodd drifft dosbarthiad goddefol.
Dim olrhain achos-gwraidd: yn troi cyfrif yn rif heb werth diagnostig, gan adael patrymau systemig yn anweledig.
Diwylliant adrodd beio-dueddol: yn llygru data trwy dan-adrodd a dosbarthiad goddefol, yn union y risg amlygiad-cymhelliant y mae pwnc 1.2 yn rhybuddio amdano.
Byth yn cysylltu diffygion dianc yn ôl â signalau ansawdd mewnol: yn colli’r cyfle i ddilysu, neu ddad-ddilysu, metrigau rhagfynegol Rhan 4 yn erbyn canlyniadau gwirioneddol.
Gwelliant amheus o gyflym heb newid proses y tu ôl iddo: yr arwydd cliriaf mai meini prawf dosbarthiad, nid risg wirioneddol, a symudodd.

Model aeddfedrwydd

Lefel 1, Cychwyn: Olrheinir diffygion dianc, os o gwbl, fel cyfrif crai heb bwysoli difrifoldeb na dadansoddiad achos-gwraidd.
Lefel 2, Datblygu: Mae rhywfaint o ddosbarthiad difrifoldeb yn bodoli, ond mae safonau’n amrywio ar draws timau ac mae olrhain achos-gwraidd yn anghyson.
Lefel 3, Safoni: Safonir a dogfennir dosbarthiad difrifoldeb ar draws y sefydliad, gyda chategoreiddio achos-gwraidd yn cael ei gymhwyso’n gyson.
Lefel 4, Rheoli: Olrheinir diffygion dianc yn systematig yn ôl at signalau ansawdd mewnol i ddilysu eu gwerth rhagfynegol, ac archwilir dosbarthiad yn gyfnodol am gysondeb.
Lefel 5, Cerddorfaru: Gall y sefydliad bwyntio at ostyngiadau penodol, mesuradwy mewn cyfradd diffygion dianc wedi’u holrhain at fuddsoddiad ansawdd wedi’i dargedu, wedi’i lywio gan achos-gwraidd, wedi’i ddilysu yn erbyn signalau ansawdd mewnol.

Syniadau ar gyfer trafodaeth

A fyddai ein diffyg dianc uchaf o’r chwarter diwethaf wedi’i ddosbarthu’r un ffordd gan dîm gwahanol?
Beth yw ein hachos gwraidd mwyaf cyffredin ar gyfer diffygion dianc, ac a ydym mewn gwirionedd yn mynd i’r afael ag ef?
A yw diffyg dianc erioed wedi’i olrhain yn ôl at ardal yr oedd ein metrigau mewnol eisoes wedi’i fflagio?
A yw ein tîm yn teimlo’n ddiogel yn adrodd ac yn dosbarthu’n onest ddiffyg a achoswyd ganddynt?
Beth fyddai golwg wedi’i phwysoli-yn-ôl-difrifoldeb o’n cyfrif diffyg cyfredol yn ei ddatgelu nad yw cyfrif crai’n ei ddangos?

Prif gasgliadau

Cyfradd diffygion dianc yw’r cerdyn sgorio terfynol ar gyfer arfer ansawdd mewnol; mae cyfradd gynyddol er gwaethaf metrigau Rhan 4 cryf yn golygu nad yw’r metrigau hynny’n dal yr hyn sy’n bwysig.
Pwysolwch yn ôl difrifoldeb, gan ddefnyddio graddfa ddosbarthiad gyson, ddogfennedig, wedi’i harchwilio, byth gyfrif crai ar ei ben ei hun.
Olrheiniwch achos gwraidd, nid dim ond cyfrif a difrifoldeb, i droi’r metrig yn offeryn diagnostig gwirioneddol.
Cysylltwch ddiffygion dianc yn ôl â signalau ansawdd mewnol (cymhlethdod, gorchudd, dadansoddiad statig) i ddilysu a yw’r signalau hynny mewn gwirionedd yn rhagfynegol.
Gwarchodwch yn erbyn diwylliant beio-dueddol sy’n llygru adrodd a dosbarthiad trwy dan-adrodd a drifft goddefol.

Cyfeiriadau a darllen pellach

Site Reliability Engineering, gan Betsy Beyer, Chris Jones, Jennifer Petoff, a Niall Richard Murphy, gol. (arfer post-mortem di-fai yn berthnasol i ddadansoddiad achos-gwraidd diffyg).
Accelerate: The Science of Lean Software and DevOps, gan Nicole Forsgren, Jez Humble, a Gene Kim (y berthynas rhwng arferion cyflenwi a chanlyniadau ansawdd).
Code Complete, gan Steve McConnell (arferion dosbarthiad diffyg a dadansoddiad achos-gwraidd).
The Field Guide to Understanding Human Error, gan Sidney Dekker (y fframio systemig, di-fai o ymchwilio i fethiant).