7.2 Kupima uendelezaji wa programu unaosaidiwa na akili bandia

Muhtasari na msukumo

Mada ya 7.1 ilianzisha kwa nini vipimo kadhaa vilivyopo havipimi tena kwa kuaminika walichokuwa wakipima chini ya uendelezaji unaosaidiwa na akili bandia. Mada hii inahusu cha kupima badala yake: jinsi ya kujua, kwa ushahidi halisi badala ya hisia au uuzaji wa muuzaji, kama msaada wa msimbo wa akili bandia unasaidia shirika lako kweli, na kwa kiasi gani. Hili ni swali muhimu kweli lenye matokeo halisi ya bajeti, leseni za zana za akili bandia zinawakilisha gharama halisi, endelevu, nidhamu ya uchumi wa kitengo ya mada ya 5.4 inatumika moja kwa moja, na shirika lisiloweza kulijibu kwa ushahidi ama linalipa kupita kiasi kwa zana isiyosaidia au linawekeza kidogo katika ile inayosaidia kweli.

Mbinu ya mada hii inategemea moja kwa moja kanuni ya matokeo-kuliko-pato ya mada ya 1.3, sasa ikitumika mahususi kwa tathmini ya zana za akili bandia. Mbinu rahisi, ya kawaida zaidi inapima uendelezaji unaosaidiwa na akili bandia kwa kiasi cha pato, mistari ya msimbo iliyozalishwa, mapendekezo yaliyokubaliwa, muda uliookolewa kwa kila kazi kama unavyoripotiwa na wasanidi wenyewe, hasa vipimo ambavyo mada ya 7.1 ilionya viko wazi zaidi kwa mabadiliko haya. Mbinu kali zaidi ambayo mada hii inapendekeza inapima matokeo: je, msaada wa akili bandia ulipunguza kweli muda wa mzunguko bila kudhoofisha ubora, je, ulipunguza muda unaotumika kwa kazi ya thamani ya chini, ya kurudiarudia kweli, ukiachilia uwezo kwa kazi yenye thamani zaidi, na je, uliathiri kwa kupimika matokeo ya biashara na bidhaa kutoka Sehemu ya 5.

Kwa timu kubwa, kupata upimaji huu sawa kunaamua kama maamuzi ya uwekezaji wa zana za akili bandia yanafanywa kwa ushahidi au kwa madai ya muuzaji na kasi ya kishirika. Mashirika ya biashara kubwa yanayojadili mikataba mikubwa ya zana za akili bandia yanahitaji ushahidi halisi wa thamani kuhalalisha matumizi na kulinganisha zana shindani kwa haki; mashirika ya serikali, mara nyingi chini ya uchunguzi maalum kwa matumizi ya teknolojia, yanahitaji mbinu kali, inayoweza kutetewa ya tathmini kabla ya kujitolea fedha za umma kupokea zana za akili bandia kwa ukubwa.

Kanuni kuu

• Pima msaada wa akili bandia kwa matokeo, si kwa kiasi cha pato au takwimu za matumizi zilizoripotiwa na muuzaji. Nidhamu ya mada ya 1.3 inatumika kwa nguvu kamili hapa.
• Tumia kikundi cha kulinganisha halisi inapowezekana, si tu ulinganisho wa kabla-na-baada unaoweza kuchanganywa na kipimo cha msingi kinachopanda tasnia nzima.
• Akiba ya muda iliyoripotiwa na wenyewe ni ishara dhaifu peke yake. Ioanishe na data ya kiuhalisia ya muda wa mzunguko na ubora.
• Pima gharama kamili, ikijumuisha muda wa mapitio na usahihishaji, si tu kasi ya uzalishaji.
• Kazi tofauti na wahandisi tofauti wanaweza kuona thamani tofauti sana ya msaada wa akili bandia. Epuka namba moja, iliyochanganywa ya shirika zima inayoficha tofauti hii.

Mapendekezo

Jenga ulinganisho halisi, si picha ya kabla-na-baada tu

Pale inapowezekana, linganisha matokeo kati ya kikundi kinachotumia msaada wa akili bandia na kikundi kinacholingana kisichotumia, kwa kipindi kilekile, badala ya kulinganisha tu namba za kabla-na-baada za shirika lako mwenyewe, ambazo haziwezi kutofautisha athari ya msaada wa akili bandia na badiliko lingine lolote linalotokea wakati huo huo (tahadhari ya kigezo kinachochanganya ya mada ya 1.6 inatumika moja kwa moja). Pale kikundi cha kweli cha kulinganisha hakitekelezeki, angalau linganisha dhidi ya kipimo cha msingi cha kihistoria cha muda mrefu zaidi (chati ya udhibiti, kulingana na mada ya 1.6) badala ya picha moja ya kabla-na-baada iliyo hatarini kwa kurudi kwa wastani au mabadiliko yasiyohusiana yanayotokea wakati huo huo.

Pima muda wa mzunguko na ubora pamoja, kamwe si dai la kasi la msaada wa akili bandia peke yake

Tumia nidhamu ya mada ya 2.6 na mada ya 2.10 moja kwa moja: fuatilia kama kazi inayosaidiwa na akili bandia inasonga haraka zaidi kupitia hatua za muda wa mzunguko, na wakati huo huo kama kiwango cha kushindwa kwa mabadiliko au kiwango cha kasoro zilizotoroka (mada ya 5.1) kwa kazi hiyo kinasogea katika mwelekeo mbaya. Faida halisi ya tija inaonyesha muda wa mzunguko wa haraka zaidi pamoja na ubora thabiti au ulioboreshwa; faida ya uongo inaonyesha muda wa mzunguko wa haraka zaidi pamoja na ubora unaodhoofika, hasa mabadilishano ambayo mada ya 7.1 ilionya dhidi yake, yaliyogunduliwa hapa kupitia nidhamu ileile ya kipimo kilichooanishwa ambayo kitabu hiki kinatumia kote.

Jumuisha muda wa mapitio na usahihishaji katika uhasibu kamili wa gharama

Msimbo uliozalishwa na akili bandia ambao ni wa haraka zaidi kuzalisha lakini wa polepole zaidi kupitia, au unaohitaji usahihishaji na kazi upya zaidi baada ya uzalishaji wa awali, unaweza kuonyesha hakuna uboreshaji halisi wa muda wa mzunguko mnyororo mzima wa mfereji unapopimwa, hata kama hatua ya awali ya kuzalisha msimbo ilihisi haraka kwa kiasi kikubwa kwa mhandisi binafsi. Pima mnyororo mzima wa muda wa mzunguko (mada ya 2.6), si hatua ya uandishi tu, kunasa hili kwa uaminifu badala ya kuipa sifa akili bandia kwa msingi wa hisia ya kasi, ingawa isiyokamilika.

Chukulia akiba ya muda iliyoripotiwa na wenyewe kama dhana ya kuanzia, si hitimisho

Ripoti ya msanidi ya “hii iliniokoa saa moja” ni muhimu kama ishara ya awali na muktadha wa ubora (mbinu iliyounganishwa ya kiasi-na-ubora ya mada ya 5.3 inatumika hapa pia), lakini iko chini ya upendeleo ule ule wa kumbukumbu na hamu ya kuonekana vizuri ambao mada ya 1.5 inaonya kuhusu data yoyote iliyoripotiwa na wenyewe, na haisemi chochote kuhusu gharama ya mapitio au usahihishaji wa baadaye. Tumia ripoti za wenyewe kuzalisha dhana kuhusu mahali msaada wa akili bandia unasaidia zaidi, kisha thibitisha dhana hizo dhidi ya data ya kiuhalisia ya muda wa mzunguko na ubora kabla ya kufikia hitimisho thabiti.

Gawanya upimaji kwa aina ya kazi na uepuke namba moja iliyochanganywa

Msaada wa msimbo wa akili bandia kwa uwezekano unatoa thamani tofauti sana kwa kazi za kawaida, zinazoeleweka vizuri kuliko kwa utatuzi mpya, changamano wa matatizo. Pima na uripoti kwa kategoria ya kazi badala ya wastani mmoja, uliochanganywa wa shirika zima, ambao unaweza kuficha ukweli kwamba msaada unatoa thamani kubwa katika kategoria moja huku ukitoa thamani kidogo au hata hasi katika nyingine, taarifa ambayo namba iliyochanganywa ingeificha kabisa.

Mabadilishano: faida na hasara

Mbinu	Faida	Hasara
Akiba ya muda iliyoripotiwa na wenyewe peke yake	Ya haraka, rahisi kukusanya	Ishara dhaifu; iko chini ya upendeleo; inapuuza gharama ya mapitio ya baadaye
Ulinganisho wa kabla-na-baada tu	Rahisi kusanidi	Unachanganywa na badiliko lingine lolote linalotokea wakati huo huo au mwelekeo wa tasnia nzima
Kikundi halisi cha kulinganisha	Ushahidi wenye nguvu zaidi, unaoweza kutetewa zaidi	Ni vigumu zaidi kupanga; huenda isitekelezeke kwa usambazaji kamili wa kupokea
Upimaji wa matokeo uliogawanywa kwa kazi	Unafichua mahali thamani inakusanyika kweli	Unahitaji ufuatiliaji wa kina zaidi na juhudi ya kuainisha

Mvutano wa kati ni ukali wa upimaji dhidi ya uwezekano wa vitendo. Kikundi halisi cha kulinganisha kinachodhibitiwa ni ushahidi wenye nguvu zaidi lakini mara nyingi hakitekelezeki zana ikishasambazwa shirika zima bila kikundi cha udhibiti kilichozuiwa; hisia zilizoripotiwa na wenyewe ni za haraka na rahisi lakini dhaifu peke yake. Litatue kwa kutumia muundo wenye nguvu zaidi wa ulinganisho ambao usambazaji wenu halisi unaruhusu, kikundi halisi cha udhibiti wakati wa awamu ya awali ya majaribio ikiwezekana, chati ya udhibiti ya kipimo cha msingi cha kihistoria kama sivyo, na kuchukulia ripoti za wenyewe kama zana ya kuzalisha dhana badala ya neno la mwisho, bila kujali muundo gani wa ulinganisho mnaoishia kuutumia.

Maswali ya kujadili na timu yako

1. Je, tulikuwa na, au bado tunaweza kujenga, kikundi halisi cha kulinganisha kwa kutathmini kupokea kwetu zana za akili bandia, au tunategemea kabisa ulinganisho wa kabla-na-baada? Kama kikundi cha kweli cha kulinganisha hakikuanzishwa kamwe, jadilini kama chati ya udhibiti ya kipimo cha msingi cha kihistoria bado inaweza kutoa mbadala wenye ukali wa busara.

2. Je, tumepima muda wa mzunguko na ubora pamoja kwa kazi inayosaidiwa na akili bandia, au tuna dai la kasi tu bila ukaguzi sambamba wa ubora? Vuta data yoyote iliyopo na ukague uoanishaji huu mahususi; kama haipo, pengo hilo ndilo marekebisho moja ya kipaumbele cha juu zaidi ya mada hii.

3. Je, upimaji wetu wa muda wa mzunguko kwa kazi inayosaidiwa na akili bandia unajumuisha muda wa mapitio na usahihishaji, au hatua ya awali ya kuzalisha tu? Dai la kasi linalotegemea muda wa kuzalisha tu, likipuuza gharama ya mapitio ya baadaye, linahatarisha mtego wa uhasibu usiokamilika ambao mada hii inaonya dhidi yake moja kwa moja.

4. Ni madai gani ya akiba ya muda yaliyoripotiwa na wenyewe tumekusanya, na je, tumethibitisha yoyote kati yake dhidi ya data ya kiuhalisia? Chagua dai mahususi, linalorudiwa mara kwa mara na ukague kama data ya kiuhalisia inaliunga mkono kweli.

5. Je, upimaji wetu wa sasa unachanganya aina zote za kazi kuwa namba moja, au tunajua ni kategoria zipi mahususi za kazi zinaona thamani yenye nguvu zaidi ya msaada wa akili bandia? Kama imechanganywa, jadilini mgawanyo wa kazi ungefichua nini ambacho namba ya sasa inakificha.

6. Kama ingetulazimu kutetea uwekezaji wetu wa zana za akili bandia kwa mdau wa fedha mwenye shaka leo, kwa ushahidi badala ya hisia, tungeweza kumwonyesha nini kweli? Jaribio hili thabiti linafichua pengo kati ya kile shirika lenu linachoamini sasa kuhusu thamani ya msaada wa akili bandia na kile linachoweza kuonyesha kweli kwa ushahidi.

Mtazamo wa sekta

Kampuni changa. Utafiti rasmi wa kikundi cha kulinganisha kwa kawaida hautekelezeki kwa ukubwa mdogo, lakini hata mtazamo rahisi, wa uaminifu wa kabla-na-baada wa muda wa mzunguko na kiwango cha kasoro, badala ya kutegemea tu jinsi kazi inavyohisi kuwa ya haraka zaidi, unatoa ishara ya kuaminika zaidi kwa kiasi cha maana kuliko hisia peke yake.

Biashara ndogo. Elekeza juhudi ya upimaji kwa kategoria yenu ya kazi ya thamani ya juu zaidi, ya kurudiarudia zaidi kwanza, ambapo thamani ya msaada wa akili bandia ina uwezekano mkubwa zaidi wa kuwa wazi na kupimika, badala ya kujaribu tathmini pana kuvuka kila aina ya kazi ambayo timu yenu ndogo inafanya.

Biashara kubwa. Ulinganisho halisi, unaodhibitiwa wakati wa awamu ya awali ya majaribio, kabla ya usambazaji kamili wa shirika zima, mara nyingi unawezekana hapa na unastahili juhudi ya makusudi kuupanga, kwa kuwa unazalisha ushahidi unaoweza kutetewa zaidi sana kwa uamuzi wa uwekezaji wa zana wa ukubwa mkubwa unaofuata kwa kawaida majaribio yaliyofanikiwa.

Serikali. Maamuzi ya matumizi ya teknolojia ya umma, ikijumuisha ununuzi wa zana za akili bandia, mara nyingi hukabili uchunguzi maalum na yanaweza kuhitaji uhalalishaji rasmi wa gharama-faida (mada ya 5.5). Jenga nidhamu ya upimaji ambayo mada hii inapendekeza katika awamu yoyote ya majaribio tangu mwanzo, kwa kuwa mbinu kali, iliyoandikwa ya tathmini inaimarisha kwa kiasi kikubwa kesi ya mwisho ya ufadhili au ununuzi.

Mifano

Biashara kubwa. Kampuni ya programu ilisambaza msaidizi wa msimbo wa akili bandia kwa nusu ya timu zake za uhandisi kama jaribio la makusudi, ikizuia nusu nyingine kama kikundi cha kulinganisha kwa robo moja kabla ya usambazaji kamili. Kikundi cha jaribio kilionyesha uboreshaji halisi, wenye maana kitakwimu wa muda wa mzunguko kwa kazi zilizofafanuliwa vizuri, zenye kazi nyingi za kawaida, lakini hakikuonyesha uboreshaji wowote unaopimika, na hesabu ya marudio ya mapitio iliyoinuka kidogo (mada ya 2.9), kwa kazi changamano, mpya ya usanifu. Ugunduzi huu uliogawanywa kwa kazi, unaoonekana tu kwa sababu ya muundo halisi wa ulinganisho na mgawanyo wa kategoria za kazi, uliiongoza kampuni kulenga mahususi ujumbe wa usambazaji wa msaada wa akili bandia na mafunzo kuelekea kategoria za kazi ambako ulisaidia kwa kuonyeshwa, badala ya kuuwasilisha kama ongezeko la tija sare kuvuka kazi zote.

Serikali. Wakala wa shirikisho uliokuwa ukijaribu msaada wa msimbo wa akili bandia kwa kikundi kidogo cha timu za programu yake ya usasishaji awali ulitegemea tafiti za akiba ya muda zilizoripotiwa na wenyewe, ambazo zilionyesha majibu ya shauku, chanya sare. Uchambuzi wa kiuhalisia wa kufuatilia, ukilinganisha muda wa mzunguko na kiwango cha kasoro zilizotoroka kati ya timu za jaribio na kundi linalolingana lisilo la jaribio linalofanya kazi kwenye vijenzi vya mfumo vinavyofanana, uligundua uboreshaji wa kiuhalisia wa muda wa mzunguko ulikuwa halisi lakini mdogo kwa kiasi kikubwa kuliko makadirio yaliyoripotiwa na wenyewe yalivyodokeza, na ukatambua ongezeko dogo lakini halisi la muda wa mapitio lililokuwa likifidia sehemu ya faida ya kasi ya uzalishaji, ugunduzi ambao data ya ripoti za wenyewe peke yake ilikuwa imeukosa kabisa. Picha hii sahihi zaidi, inayotegemea ushahidi iliarifu moja kwa moja kesi ya biashara ya wastani zaidi na inayoweza kutetewa zaidi kwa ununuzi endelevu, uliopanuliwa wa zana.

Kesi ya biashara: sababu, ROI, na TCO

Faida ya kupima uendelezaji unaosaidiwa na akili bandia kwa ukali ni maamuzi ya uwekezaji ya ujasiri, yanayotegemea ushahidi: shirika linalojua hasa mahali msaada wa akili bandia unasaidia kweli linaweza kuwekeza katika kuupanua huko na kuepuka kulipa kupita kiasi kwa leseni katika kategoria za kazi ambako unatoa thamani kidogo, hasa ufahamu wa mgawanyo wa kazi ambao mfano wa kampuni ya programu hapo juu unaonyesha. Hii inaunganishwa moja kwa moja na uchumi wa kitengo wa mada ya 5.4 na nidhamu ya ROI ya mada ya 5.5, kwa kuwa gharama ya zana za akili bandia, mara nyingi inayotolewa leseni kwa kila kiti, inahitaji matibabu yale yale makali ya gharama-faida ambayo kitabu hiki kinatumia kwa uwekezaji mwingine wowote mkubwa wa uhandisi.

Jumla ya gharama ya umiliki ni juhudi ya uchambuzi ya kujenga ulinganisho halisi, kupima muda kamili wa mzunguko ikijumuisha mapitio na usahihishaji, na kugawanya kwa aina ya kazi, ambayo ni kazi zaidi kuliko kukubali takwimu za matumizi zilizoripotiwa na muuzaji au hisia zilizoripotiwa na wenyewe kwa thamani ya uso. Juhudi hiyo inahalalishwa moja kwa moja na ukubwa wa gharama ya leseni za zana za akili bandia kuvuka shirika kubwa na hatari ya ahadi ya gharama kubwa, ya shirika zima, isiyoungwa mkono vizuri na ushahidi inayotegemea hisia badala ya data.

Mifumo mibaya na mitego

• Kupima msaada wa akili bandia kwa kiasi cha pato au takwimu za matumizi za muuzaji peke yake: kunarudia onyo kuu la mada ya 7.1 moja kwa moja.
• Kutegemea kabisa akiba ya muda iliyoripotiwa na wenyewe: ishara dhaifu iliyo chini ya upendeleo, na kipofu kwa gharama ya mapitio na usahihishaji wa baadaye.
• Kupima hatua ya kasi ya uzalishaji tu, ukipuuza muda kamili wa mzunguko: huzalisha uhasibu usiokamilika, unaoweza kupotosha wa athari halisi ya tija.
• Kuripoti namba moja, iliyochanganywa ya shirika zima: huficha tofauti halisi ya thamani kuvuka kategoria tofauti za kazi.
• Hakuna kikundi cha kulinganisha wala kipimo cha msingi cha kihistoria: hakiwezi kutofautisha athari halisi ya msaada wa akili bandia na badiliko lingine lolote linalotokea wakati huo huo.
• Kuchukulia matokeo ya utafiti wa shauku ulioripotiwa na wenyewe kama ushahidi wa kutosha kwa uamuzi wa uwekezaji wa ukubwa mkubwa: kunahatarisha pengo lilelile ambalo mfano wa wakala wa shirikisho hapo juu uligundua tu baada ya kujenga ulinganisho mkali zaidi.

Kielelezo cha ukomavu

• Ngazi ya 1, Kuanzisha: Thamani ya uendelezaji unaosaidiwa na akili bandia inatathminiwa, ikiwa inatathminiwa, kupitia hisia zilizoripotiwa na wenyewe na takwimu za matumizi za muuzaji peke yake.
• Ngazi ya 2, Kuendeleza: Baadhi ya data ya muda wa mzunguko au ubora ipo, lakini hakuna kikundi halisi cha kulinganisha wala kipimo cha msingi cha kihistoria na hakuna uchambuzi uliogawanywa kwa kazi.
• Ngazi ya 3, Kusawazisha: Muundo halisi wa ulinganisho (kikundi cha udhibiti au kipimo cha msingi cha kihistoria) wenye upimaji uliooanishwa wa muda wa mzunguko na ubora unatumika kwa uthabiti, ukigawanywa kwa aina ya kazi.
• Ngazi ya 4, Kusimamia: Uhasibu kamili wa muda wa mzunguko, ikijumuisha muda wa mapitio na usahihishaji, unafuatiliwa; madai yaliyoripotiwa na wenyewe yanathibitishwa kimfumo dhidi ya data ya kiuhalisia.
• Ngazi ya 5, Kuratibu: Shirika lina ufahamu uliokomaa, unaotegemea ushahidi wa hasa mahali msaada wa akili bandia unasaidia kweli, ukiarifu usambazaji uliolengwa, uwekezaji wa mafunzo, na maamuzi ya ununuzi kwa ROI iliyoonyeshwa, inayoweza kutetewa.

Mawazo ya kujadili

1. Ni ulinganisho gani halisi, kama upo, tulionao kwa kupokea kwetu zana za akili bandia kwa sasa?
2. Je, tumepima muda wa mzunguko na ubora pamoja, au dai la kasi tu?
3. Ni dai lipi lililoripotiwa na wenyewe kuhusu msaada wa akili bandia tunapaswa kuthibitisha dhidi ya data ya kiuhalisia?
4. Ni kategoria ipi mahususi ya kazi inayoonyesha ushahidi wenye nguvu zaidi wa thamani halisi ya msaada wa akili bandia kwetu?
5. Je, tungeweza kwa sasa kutetea uwekezaji wetu wa zana za akili bandia kwa mdau wa fedha mwenye shaka kwa ushahidi?

Mambo muhimu ya kukumbuka

• Pima uendelezaji unaosaidiwa na akili bandia kwa matokeo, si kiasi cha pato au takwimu za matumizi zilizoripotiwa na muuzaji.
• Tumia kikundi halisi cha kulinganisha au kipimo cha msingi cha kihistoria, si tu picha ya kabla-na-baada iliyo hatarini kwa vigezo vinavyochanganya.
• Pima muda wa mzunguko na ubora pamoja, ikijumuisha mfereji mzima, muda wa mapitio na usahihishaji, si kasi ya uzalishaji tu.
• Chukulia akiba ya muda iliyoripotiwa na wenyewe kama dhana, si hitimisho, na ithibitishe dhidi ya data ya kiuhalisia.
• Gawanya kwa aina ya kazi; namba moja iliyochanganywa inaficha mahali thamani inakusanyika kweli na mahali isipokusanyika.

Marejeo na usomaji zaidi

• Accelerate: The Science of Lean Software and DevOps, na Nicole Forsgren, Jez Humble, na Gene Kim (nidhamu ya kupima matokeo ambayo mada hii inaitumia kwa tathmini ya zana za akili bandia).
• Utafiti wa GitHub kuhusu uprogramu-jozi wa akili bandia na tija ya msanidi (utafiti wa kimajaribio wa ukubwa wa tasnia kuhusu matokeo ya uendelezaji unaosaidiwa na akili bandia).
• Forsgren, Nicole, Margaret-Anne Storey, Chandra Maddila, Thomas Zimmermann, Brian Houck, na Jenna Butler, “The SPACE of Developer Productivity,” ACM Queue (2021) (nidhamu ya upimaji wa vipimo vingi ambayo mada hii inaitumia kwa kategoria mpya mahususi ya zana).
• How to Measure Anything, na Douglas W. Hubbard (kujenga ulinganisho unaoweza kutetewa na kupima thamani chini ya kutokuwa na uhakika halisi).