7.1 Mabadiliko ya dhana ya akili bandia ya kizazi

Muhtasari na msukumo

Kwa sehemu kubwa ya historia ya uhandisi wa programu, kuandika msimbo kulikuwa polepole na kwa juhudi kubwa vya kutosha kiasi kwamba kiasi ghafi cha pato, mistari iliyoandikwa, michango iliyofanywa, vipengele vilivyosafirishwa, kilihusiana angalau kwa ulegevu na juhudi halisi na, bila ukamilifu, na thamani halisi. Uhusiano huo haukuwa kamilifu kamwe, mada ya 3.4 ilitoa mada nzima kueleza kwa nini vipimo vya shughuli vinapotosha hata katika ulimwengu wa kabla ya akili bandia, lakini ulikuwa na nguvu ya kutosha kiasi kwamba mashirika mengi yalijenga programu za vipimo juu ya dhana ya ndani kwamba msimbo mwingi zaidi ulioandikwa kwa ujumla unamaanisha kazi zaidi iliyofanywa. Wasaidizi wa msimbo wa akili bandia ya kizazi wamevunja dhana hiyo kwa uamuzi: zana sasa inaweza kuzalisha kiasi kikubwa, kinachofaa kuonekana cha msimbo ndani ya sekunde, kwa sehemu ndogo ya gharama ya awali, na kiasi hicho hakikuambii karibu chochote peke yake kuhusu kama msimbo unaotokana unafanya kazi, unaweza kutunzwa, au unatumikia kusudi lolote halisi.

Dai kuu la mada hii ni kwamba haya ni mabadiliko ya dhana, si mabadiliko ya nyongeza ya zana. Mabadiliko ya dhana yanabadilisha kile ala zako zilizopo zinapima kweli, si tu thamani zinazoripoti. Kipima mwendo bado kinapima mwendo baada ya kubadilisha injini ya gari; vipimo kadhaa vya kitabu hiki havinusurika mpito huu kwa usafi kama huo. Marudio ya usambazaji (mada ya 2.10) yanaweza kupanda kwa sababu akili bandia iliharakisha kazi yenye thamani halisi, au kwa sababu akili bandia ilifanya iwe rahisi kabisa kuzalisha mabadiliko mengi madogo, yenye thamani ya chini; namba peke yake haiwezi tena kutofautisha hayo mawili, kwa njia ambayo kwa kiasi kikubwa ingeweza, kwa tahadhari inayofaa, hapo awali. Mantiki hiyo hiyo inatumika kwa nguvu zaidi kwa hesabu ghafi za michango, mistari ya msimbo, na kiasi cha maombi ya kuvuta, vyote ambavyo mada ya 3.4 tayari iliviunga mkono dhidi yake kama vipimo vya mtu binafsi, sasa vikikuzwa kuwa hatari inayohusika katika ngazi ya timu na ya shirika pia.

Kwa timu kubwa, mabadiliko haya yalifika kwa kasi zaidi kuliko mazoea ya upimaji ya mashirika mengi yangeweza kuyazoea, na pengo kati ya kasi ya kupokea na kasi ya kuzoea upimaji ndipo hatari halisi ya sehemu hii ipo. Mashirika ya biashara kubwa yanayoendelea kuripoti vipimo vya shughuli vya enzi ya kabla ya akili bandia bila marekebisho yanahatarisha kusherehekea kipimo ambacho kimeacha kimyakimya kuhusiana na thamani; mashirika ya serikali yanayotathmini uwekezaji wa zana za akili bandia yanahitaji ufahamu wazi wa hasa vipimo vipi vinabaki vya kuaminika na vipi havibaki, kabla ya kujitolea kwa maamuzi ya ununuzi au sera yaliyojengwa juu ya dhana za upimaji zilizopitwa na wakati.

Kanuni kuu

• Haya ni mabadiliko ya dhana katika kile vipimo vinapima, si mabadiliko ya nyongeza. Baadhi ya vipimo vilivyopo vimeacha kimyakimya kumaanisha vilivyokuwa vikimaanisha.
• Kiasi cha pato hakikuwa kiwakilishi cha kuaminika cha thamani kamwe, na sasa kimekuwa kisichoaminika kikamilifu. Onyo la mada ya 3.4 lilikuwa sahihi daima; mabadiliko haya yanafanya kulipuuza kuwa ghali zaidi sana.
• Pengo kati ya kasi ya kupokea akili bandia na kasi ya kuzoea upimaji ndilo hatari halisi. Mashirika yanapokea zana kwa haraka kuliko yanavyofikiria upya vipimo vyao.
• Si kila kipimo katika kitabu hiki kinaathirika kwa usawa. Vipimo vya matokeo (Sehemu ya 5) vinastahimili zaidi sana mabadiliko haya kuliko vipimo vya shughuli na pato ghafi.
• Mabadiliko haya ni ya tasnia nzima na yanaendelea, si marekebisho ya mara moja. Tarajia mabadiliko endelevu zana na mifumo yake ya kupokelewa inapoendelea kubadilika.

Mapendekezo

Kagua seti yako ya vipimo vilivyopo waziwazi kwa uhalali wa enzi ya akili bandia

Pitia dashibodi yako ya sasa na, kwa kila kipimo, uliza moja kwa moja: je, timu inayotumia msaada wa akili bandia kwa wingi lakini isiyozalisha thamani halisi zaidi ya hapo awali ingeonyesha usomaji ulioboreshwa kwenye kipimo hiki. Hesabu za shughuli, marudio ya michango, na marudio ghafi ya usambazaji (bila kizuizi kilichooanishwa cha uthabiti, mada ya 2.10) ndivyo vilivyo wazi zaidi. Vipimo vya matokeo kutoka Sehemu ya 5, kiwango cha kasoro zilizotoroka, upokeaji wa vipengele, matokeo ya biashara, vinastahimili kwa kulinganisha, kwa kuwa vinapima matokeo halisi badala ya kiasi cha shughuli kilichoyazalisha.

Fikiria upya marudio ya usambazaji na muda wa kuongoza mahususi, kwa umakini wa juu wa vizuizi

Mada ya 2.10 tayari ilionya kuhusu kuchezea kwa kubadilisha, kugawanya kazi yenye maana kuwa usambazaji mdogo usio na maana kuvimbisha hesabu. Akili bandia ya kizazi inafanya mtindo huu mahususi wa kuchezea kuwa wa gharama ndogo na rahisi zaidi kwa kiasi kikubwa kuuzalisha, hata bila kukusudia, kwa kuwa mabadiliko madogo yasiyo na maana yanayosaidiwa na akili bandia sasa ni karibu bure kuzalisha. Kaza kizuizi chako cha kiwango cha kushindwa kwa mabadiliko (mada ya 2.10) mahususi sawia na jinsi timu ilivyopokea kwa wingi uendelezaji unaosaidiwa na akili bandia, na utazame mielekeo ya ukubwa wa usambazaji kwa karibu zaidi kuliko hapo awali.

Chukulia uwezo wa mapitio ya msimbo kama kikwazo kipya, muhimu

Msaada wa akili bandia ukiongeza kwa kiasi kikubwa kiasi cha msimbo unaopendekezwa kwa mapitio, hatua ya mapitio (mada ya 2.9), ambayo tayari mara nyingi ni mchangiaji mkubwa zaidi wa muda wa kusubiri katika mfereji wa utoaji, inakuwa kikwazo kikali zaidi. Mkaguzi anayeombwa kutathmini kiasi cha juu zaidi sana cha msimbo uliozalishwa na akili bandia kwa kasi ileile kama hapo awali bila shaka ama atapunguza kasi ya mfereji au atapunguza kina cha mapitio, hasa hatari ya kupitisha bila kuchunguza ambayo mada ya 2.9 tayari ilionya kuihusu, sasa chini ya shinikizo kubwa zaidi sana. Fuatilia kina cha mapitio na vizuizi vya ubora kwa umakini wa juu kiasi cha msimbo uliozalishwa na akili bandia kinapopanda.

Usidhani msimbo uliozalishwa na akili bandia unabeba wasifu ule ule wa kasoro kama ulioandikwa na binadamu

Ushahidi wa awali na uzoefu wa watendaji unadokeza msimbo uliozalishwa na akili bandia unaweza kuwa na wasifu tofauti wa kasoro kuliko ulioandikwa na binadamu: mantiki inayofaa kuonekana lakini yenye makosa madogo, ushughulikiaji wa visa vya pembeni uliozalishwa kwa ujasiri lakini usio sahihi, au msimbo unaopita mapitio ya juujuu kwa sababu unaonekana wa kawaida na wa busara, lakini haukufikiriwa kweli kwa uelewa halisi wa muktadha mahususi wa mfumo. Chukulia hili kama dhana inayostahili kujaribiwa kikamilifu dhidi ya data yako mwenyewe ya kasoro zilizotoroka (mada ya 5.1), ukiweka lebo kwa kasoro kwa kama msimbo asilia kwa kiasi kikubwa ulizalishwa na akili bandia, badala ya kudhani uhusiano wa kihistoria wa kiwango cha kasoro ambao shirika lako limejenga mazoea yake ya ubora juu yake bado unashikilia bila kubadilika.

Sasisha waraka wako wa vipimo na mchakato wa utawala waziwazi kwa mabadiliko haya

Kufuata nidhamu ya utawala ya mada ya 1.4, usiruhusu mabadiliko haya yatokee kwa programu yako ya vipimo bila kujitokeza. Pitia upya waraka wako wa vipimo waziwazi, ukitaja vipimo vipi vinahitaji vizuizi vipya, vipi vinahitaji kustaafishwa, na vipi vinabaki vya kuaminika, kama uamuzi wa makusudi wa utawala badala ya mkengeuko usiochunguzwa. Andika sababu, kwa kuwa hili ni hasa aina ya mabadiliko ya kifafanuzi na ya kimuktadha ambayo mada ya 1.4 inaonya yanaweza vinginevyo kutokea kimyakimya na kugunduliwa tu baadaye sana.

Mabadilishano: faida na hasara

Mbinu	Faida	Hasara
Kuendelea kuripoti vipimo vya kabla ya akili bandia bila kubadilisha	Hakuna usumbufu, uripoti unaofahamika	Inahatarisha kusherehekea vipimo ambavyo vimeacha kimyakimya kuhusiana na thamani
Ukaguzi kamili wa seti ya vipimo na marekebisho ya makusudi	Inarejesha upimaji wa kuaminika	Inahitaji juhudi halisi ya uchambuzi na usimamizi wa mabadiliko ya kishirika
Kuacha vipimo vya shughuli na pato kabisa	Inaondoa hatari iliyo wazi zaidi moja kwa moja	Inapoteza ishara fulani ya kimuktadha yenye manufaa halali (tahadhari ya mada ya 3.4)
Kukaza vizuizi bila ukaguzi kamili	Haraka kutekeleza	Inaweza kukosa vipimo ambavyo mfichuo wake si dhahiri kama visa vilivyo wazi zaidi

Mvutano wa kati ni mwendelezo wa upimaji dhidi ya uhalali wa upimaji. Mashirika kwa kueleweka yanapendelea kuendelea kuripoti vipimo vinavyofahamika kwa njia zinazofahamika, kwa kuwa kubadilisha programu ya vipimo kuna gharama halisi ya kishirika na usumbufu. Lakini kuendelea kuripoti kipimo ambacho kimeacha kimyakimya kupima kilichokuwa kikipima ni mbaya zaidi kuliko usumbufu, ni kupotosha kikamilifu. Litatue mvutano kwa kuchukulia hili kama hasa aina ya mabadiliko ya makusudi, yaliyoandikwa ya utawala ambayo mada ya 1.4 inaeleza, ya kusumbua kwa muda mfupi lakini ya lazima kuweka vipimo vya shirika katika uaminifu.

Maswali ya kujadili na timu yako

1. Kwa kila kipimo kwenye dashibodi yetu, je, timu inayotumia msaada wa akili bandia kwa wingi lakini isiyozalisha thamani halisi zaidi ingeonyesha usomaji ulioboreshwa? Pitia vipimo vyenu waziwazi kwa jaribio hili; vile vinavyoshindwa ndivyo watahiniwa wenu wa kipaumbele cha juu zaidi kwa vizuizi vilivyorekebishwa au kustaafishwa.

2. Je, marudio yetu ya usambazaji au kiasi cha michango vimepanda tangu kupokea msaada wa msimbo wa akili bandia, na je, tumekagua kama kiwango cha kushindwa kwa mabadiliko au kiwango cha kasoro vilisogea sambamba? Vuta data halisi iliyooanishwa badala ya kudhani matokeo chanya au hasi.

3. Je, uwezo wetu wa mapitio ya msimbo unaenda sambamba na ongezeko lolote la kiasi cha msimbo kinachosaidiwa na akili bandia, au kina cha mapitio kinamomonyoka kimyakimya chini ya shinikizo lililoongezeka? Kagua vipimo vya hatua ya mapitio (mada ya 2.9) mahususi kwa dalili za hatari ya kupitisha bila kuchunguza ikizidi.

4. Je, tunaweka lebo kwa kasoro kwa kama msimbo asilia kwa kiasi kikubwa ulizalishwa na akili bandia, na kama ndivyo, data hiyo inaonyesha nini hadi sasa? Kama hamweki lebo hii sasa, jadilini ingechukua nini kuanza, kwa kuwa data hii inahusiana moja kwa moja na kama dhana zenu za kihistoria za ubora bado zinashikilia.

5. Je, tumepitia upya waraka wetu wa vipimo (mada ya 1.4) kwa makusudi kwa kuzingatia mabadiliko haya, au mazoea yetu ya upimaji yameendelea tu bila kubadilika? Jibu la uaminifu likiwa la pili, pengo hilo ndilo mada hii inapendekeza kuliziba kwanza.

6. Ingeonekanaje kwa shirika letu kukamatwa bila maandalizi na mabadiliko haya, tukisherehekea kipimo ambacho tayari kilikuwa kimeacha kumaanisha tulichofikiria? Jaribio hili la kufikiri thabiti, lisilostarehesha kidogo, linasaidia kuhamasisha ukaguzi ambao mada hii inapendekeza kabla, badala ya baada, ya hali hiyo kutokea kweli.

Mtazamo wa sekta

Kampuni changa. Kupokea haraka zana za akili bandia ni kawaida na mara nyingi ni faida halisi ya ushindani, lakini kasi ileile inayofanya kupokea kuvutia inafanya mkengeuko wa vipimo usiochunguzwa kuwa na uwezekano zaidi. Jenga tabia ya kukagua vipimo vya matokeo (Sehemu ya 5) pamoja na faida zozote za ufanisi mnazoripoti kutoka kupokea akili bandia, badala ya kuripoti maboresho ya kasi peke yake.

Biashara ndogo. Msaada wa msimbo wa akili bandia unaweza kupanua kwa maana uwezo wa timu ndogo, lakini pinga hamu ya kuripoti ongezeko la pato ghafi kama mafanikio yasiyo na utata bila kukagua vizuizi vya ubora; timu ndogo ina uwezo mdogo wa kunyonya tatizo la ubora lisilogunduliwa kuliko shirika kubwa lenye ziada zaidi.

Biashara kubwa. Ukubwa wa hatari hii unajumlika kwa kiasi kikubwa hapa, kwa kuwa kupokea akili bandia kuvuka makumi au mamia ya timu kwa wakati mmoja kunaweza kuhamisha uhalali wa vipimo shirika zima kabla timu yoyote moja haijaona mtindo huo ndani. Fanya ukaguzi wa seti ya vipimo ambao mada hii inapendekeza katika ngazi ya shirika, si timu kwa timu tu, na usasishe utawala (mada ya 1.4) kwa kati na waziwazi.

Serikali. Mashirika ya sekta ya umma mara nyingi hupokea teknolojia mpya kwa tahadhari zaidi, lakini vipimo na vigezo vinavyotumika kutathmini programu za teknolojia ya serikali mara nyingi huchukuliwa kutoka au kulinganishwa na data ya tasnia ya sekta binafsi ambayo yenyewe inahama chini ya shinikizo hilohilo. Elewa waziwazi vigezo vipi vya tasnia mnavyolinganisha navyo vimeathiriwa na mabadiliko haya kabla ya kuvitumia kuweka matarajio au kutathmini utendaji.

Mifano

Biashara kubwa. Uongozi wa uhandisi wa kampuni ya teknolojia ya fedha uligundua marudio ya usambazaji yalikuwa yamepanda karibu asilimia 40 katika robo mbili zilizofuata kupokelewa kwa wingi kwa wasaidizi wa msimbo wa akili bandia, na awali waliripoti hili kama ushindi wa moja kwa moja wa tija katika wasilisho la bodi. Uchambuzi wa makini zaidi wa kufuatilia, ulioamshwa na swali la shaka la mjumbe wa bodi kuhusu kama ubora ulikaguliwa, uligundua kiwango cha kushindwa kwa mabadiliko kilikuwa kimepanda karibu sambamba na marudio ya usambazaji, kikifuta kabisa faida iliyoonekana kipimo cha uthabiti kilichooanishwa kilipochunguzwa kweli. Uripoti uliorekebishwa wa kampuni sasa unawasilisha marudio ya usambazaji na kiwango cha kushindwa kwa mabadiliko pamoja waziwazi kila madai ya tija yanayosaidiwa na akili bandia yanapotolewa, ukiepuka dai la awali la kupotosha, lililokaribia kuwa la hadharani.

Serikali. Idara ya TEHAMA ya serikali ya jimbo iliyokuwa ikijaribu msaada wa msimbo wa akili bandia kwa kikundi kidogo cha timu zake za uhandisi iligundua pato ghafi la msimbo kwa kila mhandisi lilikuwa limeongezeka kwa kiasi kikubwa, takwimu iliyotajwa awali kwa upendeleo katika mapitio ya ndani ya jaribio. Uchambuzi wa karibu zaidi, ulioamshwa na mwongozo wa kitabu hiki kujumuishwa katika fremu ya tathmini ya idara, ulichunguza kiwango cha kasoro zilizotoroka kwa kazi iliyosaidiwa na akili bandia dhidi ya isiyosaidiwa na akili bandia mahususi na kugundua kiwango cha kasoro kilichoinuka kidogo katika kundi lililosaidiwa na akili bandia, kilichokusanyika katika ushughulikiaji wa visa vya pembeni kwa hali zisizo za kawaida za raia ambazo zana ya akili bandia haikuwa imeonyeshwa wakati wa mafunzo. Ugunduzi huu haukusimamisha jaribio lakini ulisababisha ongezeko mahususi, lililolengwa la ukali wa mapitio kwa mabadiliko yanayosaidiwa na akili bandia yanayogusa mantiki ya visa vya pembeni vya ustahiki, ukishughulikia hatari halisi ambayo kipimo cha pato ghafi peke yake kingeshindwa kuifichua kamwe.

Kesi ya biashara: sababu, ROI, na TCO

Faida ya kufanya ukaguzi huu mapema ni kuepuka aibu ya hadharani au ya ngazi ya bodi kutokana na kuripoti kipimo kinachogeuka, chini ya uchunguzi, kuwa hakikupima chochote halisi, hasa hali ambayo mfano wa teknolojia ya fedha hapo juu ulikaribia kuizalisha. Shirika linalotangulia mabadiliko haya linadumisha uaminifu na wadau wake; lile linalokamatwa likiripoti kipimo tupu linalipa gharama halisi ya sifa, inayoweza kuepukika kwa kiasi kikubwa.

Jumla ya gharama ya umiliki ni juhudi ya uchambuzi ya kukagua seti ya vipimo vilivyopo, kukaza vizuizi, na kusasisha nyaraka za utawala, uwekezaji wa mara moja, wa wastani ikilinganishwa na hatari endelevu ya kuendelea kuripoti vipimo ambavyo vimeacha kimyakimya kupima inavyodai. Gharama hii pia inajirudia kwa kiwango cha chini, kwa kuwa mabadiliko haya yanaendelea, si tukio la mara moja, na ukaguzi wa mara kwa mara upya zana na mifumo ya kupokelewa inapoendelea kubadilika ni nyongeza ya busara, ya kudumu kwa mdundo wa utawala wa vipimo.

Mifumo mibaya na mitego

• Kuendelea kuripoti vipimo vya shughuli vya enzi ya kabla ya akili bandia bila kubadilisha na bila kuchunguza: kunahatarisha kusherehekea kipimo ambacho kimeacha kimyakimya kuhusiana na thamani halisi.
• Kuripoti ongezeko la marudio ya usambazaji au kiasi cha pato bila kizuizi cha uthabiti kilichooanishwa: kunarudia onyo la mada ya 2.10 kwa hatari kubwa zaidi sana chini ya uendelezaji unaosaidiwa na akili bandia.
• Kudhani msimbo uliozalishwa na akili bandia unabeba wasifu ule ule wa kasoro kama ulioandikwa na binadamu bila kukagua: dhana isiyojaribiwa inayoweza kuwa si sahihi kikamilifu.
• Kuacha kina cha mapitio kimomonyoke kimyakimya chini ya kiasi kilichoongezeka cha msimbo uliozalishwa na akili bandia: hatari ya kupitisha bila kuchunguza kutoka mada ya 2.9, iliyozidishwa.
• Kuchukulia mabadiliko haya kama marekebisho ya mara moja badala ya wasiwasi endelevu: zana na mifumo yake ya kupokelewa inaendelea kubadilika, na mazoea ya upimaji yanahitaji kwenda sambamba.
• Kulinganisha na vigezo vya tasnia bila kuelewa kama vigezo hivyo vyenyewe vimehama chini ya shinikizo lilelile: kunahatarisha hisia ya uongo ya utendaji wa kulinganisha.

Kielelezo cha ukomavu

• Ngazi ya 1, Kuanzisha: Vipimo vya kabla ya akili bandia vinaripotiwa bila kubadilika, bila ufahamu kwamba kupokea akili bandia kunaweza kuwa kumeathiri uhalali wake.
• Ngazi ya 2, Kuendeleza: Ufahamu fulani wa mabadiliko upo, lakini hakuna ukaguzi wa kimfumo wa seti ya vipimo vilivyopo uliofanywa.
• Ngazi ya 3, Kusawazisha: Ukaguzi kamili wa seti ya vipimo umefanywa, vizuizi vimekazwa na vipimo vimeandikwa kuwa vimeathirika au vinastahimili, shirika zima.
• Ngazi ya 4, Kusimamia: Kasoro na matokeo ya ubora vinawekewa lebo na kufuatiliwa kikamilifu kwa kiwango cha msaada wa akili bandia ili kujaribu, si kudhani, kama uhusiano wa kihistoria wa ubora wa shirika bado unashikilia.
• Ngazi ya 5, Kuratibu: Shirika lina mazoea yaliyokomaa, endelevu ya kufikiria upya vipimo vyake zana za akili bandia na mifumo ya kupokelewa inapoendelea kubadilika, na linaweza kuonyesha maamuzi mahususi ya utawala yaliyofanywa mapema kuitikia mabadiliko haya badala ya kwa kuitikia baada ya tatizo kujitokeza.

Mawazo ya kujadili

1. Ni vipimo vipi vyetu vya sasa vingeipendelea zaidi timu inayotumia msaada wa akili bandia kwa wingi lakini isiyozalisha thamani halisi zaidi?
2. Je, marudio yetu ya usambazaji yamepanda tangu kupokea akili bandia, na je, kiwango cha kushindwa kwa mabadiliko kimesogea nacho?
3. Je, tunaweka lebo kwa matokeo ya ubora kwa kiwango cha msaada wa akili bandia, na data hiyo ingeonyesha nini?
4. Je, uwezo wetu wa mapitio unaenda sambamba na ongezeko lolote la kiasi cha msimbo kilichozalishwa na akili bandia?
5. Ni kigezo gani cha tasnia tunachojilinganisha nacho kwa sasa, na je, chenyewe kimehama chini ya shinikizo hili?

Mambo muhimu ya kukumbuka

• Akili bandia ya kizazi ni mabadiliko ya dhana katika kile vipimo kadhaa vilivyopo vinapima, si mabadiliko ya nyongeza ya zana; baadhi ya vipimo vimeacha kimyakimya kumaanisha vilivyokuwa vikimaanisha.
• Vipimo vya shughuli na pato ghafi ndivyo vilivyo wazi zaidi; vipimo vya matokeo (Sehemu ya 5) vinastahimili kwa kulinganisha.
• Kaza vizuizi, hasa kiwango cha kushindwa kwa mabadiliko, sawia na kupokea uendelezaji unaosaidiwa na akili bandia.
• Jaribu, usidhani, kama msimbo uliozalishwa na akili bandia unabeba wasifu tofauti wa kasoro kuliko ulioandikwa na binadamu, ukitumia data ya kasoro zilizotoroka iliyowekewa lebo.
• Chukulia hili kama wasiwasi endelevu wa utawala, si wa mara moja (mada ya 1.4), kwa kuwa zana na mifumo yake ya kupokelewa inaendelea kubadilika.

Marejeo na usomaji zaidi

• Accelerate: The Science of Lean Software and DevOps, na Nicole Forsgren, Jez Humble, na Gene Kim (msingi wa upimaji unaotegemea matokeo ambao mada hii inabisha unakuwa muhimu zaidi, si kidogo, chini ya mabadiliko haya).
• Utafiti wa GitHub kuhusu uprogramu-jozi wa akili bandia na tija ya msanidi (utafiti wa tasnia kuhusu athari zinazopimika za uendelezaji unaosaidiwa na akili bandia).
• Programu ya DevOps Research and Assessment ya Google Cloud, dora.dev (utafiti endelevu wa State of DevOps unaojumuisha matokeo ya kupokea akili bandia katika miaka ya hivi karibuni).
• The Tyranny of Metrics, na Jerry Z. Muller (hoja ya jumla ya shaka kuelekea vipimo vinavyotegemea kiasi, inayohusika moja kwa moja pato linapokuwa nafuu).