3.7 Tafiti za uzoefu wa msanidi na vipimo vya DevEx

Muhtasari na msukumo

Mada hii inafunga Sehemu ya 3 kwa mekanika ya vitendo inayofanya data ya taarifa binafsi ya kila mada ya awali iaminike: jinsi ya kubuni utafiti wa uzoefu wa msanidi (DevEx) unaozalisha ishara halisi badala ya shindano la umaarufu, na jinsi ya kuchanganya data ya utafiti na upimaji wa kiuhalisia kuwa seti ya vipimo ambavyo shirika linaweza kutendea kazi kweli. Kila mada katika sehemu hii inategemea aina fulani ya taarifa binafsi, kuridhika na ustawi (mada ya 3.2) moja kwa moja zaidi, lakini utendaji, mawasiliano, na mtiririko vyote pia vinanufaika na utafiti uliobuniwa vizuri, na utafiti uliobuniwa vibaya unadhoofisha thamani ya vyote kwa wakati mmoja.

Uzoefu wa msanidi (DevEx) ni mtazamo mpana, wa hivi karibuni zaidi uliojitokeza kuzunguka wazo kuu lilelile ambalo SPACE ilirasimisha: uzoefu halisi wa kila siku wa wahandisi wa kufanikisha kazi, msuguano, zana, mzigo wa kiakili, mizunguko ya maoni, yenyewe ni kitu kinachopimika, kinachoweza kuboreshwa, si wasiwasi laini wa kiutamaduni tu. Utafiti wa DevEx, hasa mfumo uliopendekezwa na Abi Noda, Margaret-Anne Storey, Nicole Forsgren, na Michaela Greiler, unapanga uzoefu huu kuzunguka vipimo vitatu: mizunguko ya maoni, mzigo wa kiakili, na hali ya mtiririko, ambavyo vinaoanishwa kwa karibu na kupanua vipimo vya SPACE ambavyo sehemu hii tayari imevishughulikia kwa kina.

Kwa timu kubwa, tofauti kati ya utafiti unaozalisha ishara ya kuaminika na ule unaozalisha kelele au, mbaya zaidi, data ya kupotosha kikamilifu iko kabisa katika undani wa usanifu ambao mada hii inashughulikia: maneno ya swali, uchaguzi wa kipimo cha majibu, sampuli na mdundo, na jinsi matokeo yanavyowasilishwa kwa wajibuji. Mashirika ya biashara kubwa na ya serikali yanayoendesha tafiti hizi kwa ukubwa, kuvuka maelfu ya wahandisi, hayawezi kumudu kukosea hili, kwa sababu chombo chenye kasoro kwa ukubwa huo huzalisha hitimisho lisilo sahihi kwa ujasiri linaloumba maamuzi halisi ya rasilimali.

Kanuni kuu

Ubora wa usanifu wa utafiti unaamua uaminifu wa data kwa kiasi kikubwa kuliko urefu au ustadi wa utafiti. Utafiti mfupi, uliobuniwa vizuri unashinda mrefu, uliobuniwa vibaya kila mara.
Kiwango cha kujibu chenyewe ni ishara, si kipimo cha ukusanyaji wa data tu; kiwango kinachoshuka mara nyingi kinaashiria uaminifu unaomomonyoka katika mchakato.
Changanya data ya utafiti na upimaji wa kiuhalisia popote inapowezekana, kwa kufuata kanuni ya upimaji ya mada ya 1.5; tumia data ya utafiti mahususi kwa kile data ya kiuhalisia haiwezi kunasa.
Funga mzunguko na wajibuji. Utafiti usiosababisha badiliko lolote linaloonekana huwafundisha watu kuacha kuuchukulia kwa uzito.
DevEx na SPACE ni mitazamo inayokamilishana ya wasiwasi uleule wa msingi, si mifumo shindani ya kuchagua kati yake.

Mapendekezo

Buni maswali kwa uwazi na uepuke maneno ya kuongoza au yenye mapipa mawili

Andika maswali ya utafiti yanayouliza kuhusu jambo moja hasa, kwa lugha rahisi, bila kupachika dhana ndani ya swali lenyewe. “Umeridhika kiasi gani na zana na nyaraka zetu?” ni swali lenye mapipa mawili linalochanganya majibu mawili yanayoweza kuwa tofauti sana kuwa jibu moja la kutatanisha. Ligawanye kuwa maswali mawili tofauti. Epuka maneno ya kuongoza kama “uwekezaji wetu wa hivi karibuni katika zana umeboresha uzoefu wako kiasi gani?” ambayo yanadhania uboreshaji ulitokea badala ya kuuliza kwa upande wowote kama ulitokea.

Tumia vipimo vya majibu vilivyo thabiti na ujaribu maswali mapya kabla ya kuyatoa kwa upana

Sawazisha kwenye kipimo cha majibu thabiti (kipimo cha Likert cha pointi tano au saba ni cha kawaida na kimesomwa vizuri) kuvuka chombo chako cha utafiti, ili majibu yalinganishwe kuvuka maswali na kuvuka muda. Jaribu swali lolote jipya na kikundi kidogo kabla ya kulitoa shirika zima, kukamata maneno yenye utata au tafsiri isiyotarajiwa kabla haijaharibu seti kamili ya data.

Chukulia kiwango cha kujibu kama ishara ya utambuzi yenyewe

Fuatilia kiwango cha kujibu kuvuka mizunguko mfululizo, na uchukulie kiwango kinachoshuka kama ishara ya onyo inayostahili kuchunguzwa moja kwa moja, sawa na ishara ya uaminifu iliyojadiliwa katika mada ya 3.2. Kiwango cha kujibu kinachoanguka mara nyingi kinaashiria uchovu wa utafiti, uaminifu unaomomonyoka kwamba matokeo husababisha hatua, au shaka inayokua kwamba kutotambulika hakulindwi kweli, yoyote kati ya hayo yanastahili uchunguzi wa moja kwa moja badala ya kupuuzwa kama usumbufu wa ukusanyaji wa data tu.

Changanya data ya utafiti na upimaji wa kiuhalisia wa DevEx

Oanisha majibu ya utafiti ya kibinafsi na ishara za kiuhalisia pale zinapokuwepo: muda wa ujenzi, muda wa kuendesha mfululizo wa majaribio, muda wa kusanidi mazingira ya uendelezaji ya ndani, na data ya muda wa mtiririko na usumbufu kutoka mada ya 3.6. Jibu la utafiti linalosema “ujenzi wetu ni wa polepole mno” linakuwa linalotekelezeka zaidi sana likioanishwa na mwelekeo halisi uliopimwa wa muda wa ujenzi, na mchanganyiko unakamata kesi ambapo hisia na uhalisia wa kiuhalisia vinatofautiana kwa mwelekeo wowote, jambo linalostahili kuchunguzwa lenyewe.

Funga mzunguko: chapisha matokeo na hatua ya ufuatiliaji inayoonekana

Baada ya kila mzunguko wa utafiti, chapisha muhtasari wa uaminifu wa matokeo, ikijumuisha matokeo ambayo uongozi unaweza kupendelea kutoyaangazia, na ujitolee hadharani kwa angalau hatua moja thabiti iliyochukuliwa kujibu. Utafiti usiozalisha ufuatiliaji wowote unaoonekana huwafundisha wajibuji kwamba maoni yao ya uaminifu hayajali, jambo linaloharibu kiwango cha kujibu na uaminifu wa majibu katika kila mzunguko unaofuata. Nidhamu hii ya kufunga mzunguko mara nyingi ndiyo kiamuzi kikubwa zaidi cha kama programu ya utafiti ya DevEx inabaki yenye manufaa kwa miaka mingi au inaoza polepole kuwa zoezi la kuweka alama kwenye visanduku.

Mabadilishano: faida na hasara

Mbinu	Faida	Hasara
Utafiti mrefu, kamili	Data tajiri, ya kina kuvuka mada nyingi	Kiwango cha chini cha kujibu, uchovu wa juu zaidi, nafasi zaidi kwa maswali yaliyobuniwa vibaya
Utafiti mfupi, uliolenga	Kiwango cha juu cha kujibu, rahisi kubuni vizuri	Ufunikaji mdogo; unaweza kukosa suala linaloibuka nje ya lengo lililochaguliwa
Data ya utafiti peke yake	Inanasa uzoefu wa kibinafsi moja kwa moja	Iko wazi kwa upendeleo na haiwezi kuthibitishwa dhidi ya uhalisia wa kiuhalisia
Utafiti uliochanganywa na upimaji wa kiuhalisia	Inakamata tofauti kati ya hisia na uhalisia, inayotekelezeka zaidi	Inahitaji juhudi zaidi ya kuunganisha data

Mvutano wa kati ni ufunikaji dhidi ya ubora wa majibu. Utafiti mrefu zaidi, kamili zaidi unanasa eneo zaidi lakini unaharibu kiwango cha kujibu na kuongeza hatari ya maswali yaliyobuniwa vibaya kupenya; utafiti mfupi, uliolenga unapata majibu ya ubora bora lakini unahatarisha kukosa kitu muhimu nje ya wigo wake. Litatue kwa kuweka utafiti mkuu, wa kurudiwa mfupi na uliojaribiwa vizuri, na kutumia tafiti za mara kwa mara za kina zenye lebo wazi kwa mada mahususi zinazohitaji uchunguzi wa kina zaidi, badala ya kujaribu kufunika kila kitu kila mzunguko.

Maswali ya kujadili na timu yako

Je, tumewahi kujaribu swali jipya la utafiti na kikundi kidogo kabla ya kulitoa kwa upana, au maswali mapya yanaingia moja kwa moja kwenye utafiti kamili? Kuruka hatua ya majaribio ni njia ya kawaida ambayo maswali yenye utata au yenye mapipa mawili huishia kuharibu seti kamili ya data kabla yeyote hajagundua maneno hayakuwa wazi.
Kiwango chetu cha kujibu kimefanya nini katika mizunguko kadhaa ya mwisho ya utafiti, na je, tumechunguza kushuka ikiwa kulitokea? Chukulia mwelekeo huu kama ishara halisi inayostahili kujadiliwa, si usumbufu wa ukusanyaji wa data wa kuutaja kwa kupita tu.
Je, tunachanganya data ya utafiti na upimaji wowote wa kiuhalisia, au hisia ya kibinafsi inasimama peke yake kabisa katika kuripoti kwetu? Tambua angalau mahali pamoja ambapo kuoanisha swali la utafiti na data ya kiuhalisia, muda wa ujenzi, mzunguko wa usambazaji, kungefanya matokeo yatekelezeke zaidi.
Hatua gani thabiti tumechukua kama matokeo ya moja kwa moja, yanayoonekana ya mzunguko wetu wa mwisho wa utafiti, na je, tuliwasilisha hatua hiyo kwa wajibuji? Jibu la uaminifu likiwa “hakuna kinachoonekana,” pengo hilo huenda tayari linamomonyoa uaminifu katika chombo, iwe limejitokeza kwenye kiwango cha kujibu au la bado.
Je, maswali yetu yoyote ya sasa ya utafiti ni ya kuongoza au yenye mapipa mawili, na je, tungeona kama yalikuwa? Pitia maswali yenu halisi ya sasa dhidi ya jaribio hili mahususi kama zoezi la kikundi.
Data yetu ya utafiti wa DevEx au SPACE inalinganishwaje na ishara za kiuhalisia zinapoonekana kutofautiana, na kutofautiana huko kunatuambia nini? Kesi ambapo hisia na data ya kiuhalisia vinatofautiana mara nyingi ina thamani ya utambuzi zaidi kuliko kesi ambapo vinakubaliana, kwa kuwa pengo lenyewe linaarifu.

Mtazamo wa sekta

Kampuni changa. Utafiti rahisi sana mfupi wa mapigo, wakati mwingine maswali moja au mawili tu, unaoendeshwa bila rasmi na mara kwa mara, kwa kawaida unatosha kwa ukubwa huu, na ukali wa usanifu rasmi wa chombo ni muhimu kidogo mwanzilishi anapoweza bado kuwa na mazungumzo ya moja kwa moja na karibu kila mtu mara kwa mara.

Biashara ndogo. Zana ya utafiti ya bure au ya gharama ndogo yenye seti fupi, iliyorekebishwa ya maswali, inayoendeshwa kila robo, inanasa sehemu kubwa ya thamani hapa bila kuhitaji utaalamu maalum wa usanifu wa utafiti. Pa kipaumbele nidhamu ya kufunga mzunguko kuliko ustadi; hata timu ndogo inanufaika na kutenda waziwazi juu ya kile utafiti mfupi unachofichua.

Biashara kubwa. Ubora wa usanifu wa utafiti ni muhimu sana kwa ukubwa, kwa sababu swali lenye kasoro au hakikisho ya kutotambulika iliyovunjika huharibu data kuvuka maelfu ya wajibuji kwa wakati mmoja, na hitimisho lisilo sahihi kwa ujasiri linalotokana linaweza kuelekeza vibaya maamuzi muhimu ya rasilimali. Wekeza katika utaalamu halisi wa usanifu wa utafiti, au ushirikiane na jukwaa lililoimarika la kupima DevEx, badala ya kujenga chombo cha papo hapo ndani.

Serikali. Kiwango cha kujibu na uaminifu ni dhaifu hasa katika mashirika ambapo wafanyakazi wanaweza tayari kuwa na tahadhari kuhusu data inavyotumika ndani. Wekeza kupita kiasi katika hakikisho za uwazi za kutotambulika na hatua ya ufuatiliaji inayoonekana mahususi kujenga uaminifu unaofanya kiwango cha uaminifu cha kujibu kiweze kufikiwa katika muktadha ambapo shaka kuhusu matumizi ya data inaweza tayari kuwa juu kuliko katika mazingira ya kawaida ya sekta binafsi.

Mifano

Biashara kubwa. Utafiti wa kwanza wa DevEx wa kampuni ya programu ulijumuisha swali lililoomba wahandisi kukadiria “kuridhika na zana na mchakato,” swali lenye mapipa mawili lililochanganya masuala mawili tofauti sana. Alama iliyojumlishwa ilipokuja ya wastani, uongozi haukuweza kujua kama tatizo lilikuwa zana, mchakato, au vyote viwili, na juhudi za awali za kurekebisha zililenga eneo lisilo sahihi kwa robo mbili. Kugawanya swali katika marekebisho yaliyofuata kulifichua alama ya zana ilikuwa nzuri kweli na alama ya mchakato ilikuwa mbaya, ikielekeza uwekezaji kuelekea kurahisisha mchakato mgumu wa idhini ya toleo, jambo lililozalisha uboreshaji unaopimika wa kuridhika ndani ya robo moja, tofauti na juhudi ya awali iliyolenga zana iliyoonyesha athari ndogo.

Serikali. Utafiti wa kwanza wa DevEx wa wakala wa kitaifa wa kidijitali ulikuwa na kiwango cha kujibu chini ya asilimia 30, na mapitio ya ndani yaligundua wafanyakazi kwa kiasi kikubwa waliamini, kwa usahihi kama ilivyogeuka, kwamba mameneja binafsi wangeweza kuona nani alikuwa amejibu na nani hakuwa, ingawa matokeo ya jumla yalikusudiwa kutotambulika. Wakala ulihamia jukwaa huru kweli la mhusika wa tatu lenye kutotambulika uliothibitishwa, ukawasilisha badiliko hilo waziwazi na mara kwa mara, na ukachapisha muhtasari wazi wa matokeo ya mzunguko uliotangulia pamoja na hatua tatu thabiti zilizochukuliwa kujibu. Kiwango cha kujibu kilipanda hadi zaidi ya asilimia 70 ndani ya mizunguko miwili, na uongozi wa wakala ulitaja hasa mchanganyiko wa kutotambulika kwa kweli na hatua inayoonekana ya ufuatiliaji kama sababu uaminifu katika chombo ulipona.

Kesi ya biashara: sababu, ROI, na TCO

Faida ya programu ya utafiti ya DevEx iliyobuniwa vizuri ni data ya kuaminika, inayoweza kutekelezwa kuhusu kipimo, uzoefu wa msanidi, ambacho vinginevyo kinabaki kisichoonekana hadi kinapojitokeza kama watu kuondoka au kupungua kwa utoaji. Mfano wa kampuni ya programu hapo juu unaonyesha gharama ya kukosea usanifu: robo mbili za juhudi ya kurekebisha iliyoelekezwa vibaya kwa sababu swali moja lililoandikwa vibaya lilichanganya masuala mawili tofauti.

Jumla ya gharama ya umiliki inajumuisha zana za utafiti, nidhamu ya usanifu na majaribio ambayo mada hii inapendekeza, na kujitolea endelevu kufunga mzunguko kwa hatua inayoonekana ya ufuatiliaji kila mzunguko. Kujitolea huko, zaidi ya gharama yoyote ya zana, ndiko kunakoamua kama programu ya utafiti inabaki yenye manufaa kwa miaka au inaoza kuwa zoezi la kuweka alama kwenye visanduku linalozalisha data inayoaminika kidogo zaidi kwa muda.

Mifumo mibaya na mitego

Maswali yenye mapipa mawili au ya kuongoza: huchanganya masuala tofauti au kupendelea majibu, na mara nyingi hayagunduliwi bila majaribio.
Kuruka hatua ya majaribio kwa maswali mapya: huruhusu maneno yenye utata kuharibu seti kamili ya data.
Kupuuza kiwango cha kujibu kinachoshuka: hukosa ishara muhimu ya uaminifu yenyewe.
Kamwe kutofunga mzunguko kwa hatua inayoonekana ya ufuatiliaji: huwafundisha wajibuji kwamba maoni ya uaminifu hayajali, ikiharibu ubora wa data ya baadaye.
Kuchukulia data ya utafiti kama inayotosha peke yake, bila uthibitisho wa kiuhalisia: hukosa kesi ambapo hisia na uhalisia vinatofautiana kwa mwelekeo wowote.
Hakikisho dhaifu au zisizothibitika za kutotambulika: njia ya kasi zaidi ya kuporomosha kiwango cha kujibu na uaminifu wa majibu vyote viwili.

Kielelezo cha ukomavu

Ngazi ya 1, Kuanzisha: Maswali ya utafiti ni ya papo hapo na hayajajaribiwa, kiwango cha kujibu hakifuatiliwi kama ishara, na matokeo mara chache husababisha hatua inayoonekana.
Ngazi ya 2, Kuendeleza: Nidhamu fulani ya usanifu wa utafiti ipo, lakini majaribio hayana uthabiti na mzunguko haufungwi kwa kutegemewa na wajibuji.
Ngazi ya 3, Kusawazisha: Maswali yanajaribiwa kabla ya kutolewa, kiwango cha kujibu kinafuatiliwa na kuchunguzwa kinaposhuka, na matokeo yanachapishwa kwa uthabiti pamoja na angalau hatua moja thabiti ya ufuatiliaji.
Ngazi ya 4, Kusimamia: Data ya utafiti inachanganywa kwa utaratibu na upimaji wa kiuhalisia, na tofauti kati ya hivyo viwili inachunguzwa kikamilifu kama ishara ya utambuzi.
Ngazi ya 5, Kuratibu: Shirika lina programu ya utafiti iliyokomaa, inayoaminika ya miaka mingi yenye viwango vya juu vya kujibu kwa uthabiti, hatua inayoonekana inayoweza kuonyeshwa kutoka kila mzunguko, na rekodi ya kukamata na kusahihisha maswali yaliyobuniwa vibaya kabla hayajaharibu data.

Mawazo ya kujadili

Je, swali lolote la sasa katika chombo chetu cha utafiti limewahi kumchanganya au kumpotosha mjibuji?
Hatua ya mwisho thabiti tuliyochukua kama matokeo ya moja kwa moja ya data ya utafiti ilikuwa ipi?
Tungejuaje ikiwa hakikisho yetu ya kutotambulika ilikuwa imevunjwa, hata kwa bahati mbaya?
Wapi data yetu ya utafiti inakubaliana au inatofautiana na upimaji wa kiuhalisia, na hilo linatuambia nini?
Ingechukua nini kuongeza maradufu kiwango chetu cha sasa cha kujibu?

Mambo muhimu ya kukumbuka

Ubora wa usanifu wa utafiti, maswali wazi, ya dhana moja, yasiyopendelea, ni muhimu kuliko urefu au ustadi.
Kiwango cha kujibu ni ishara yenyewe; chunguza kushuka badala ya kukichukulia kama usumbufu tu.
Changanya data ya utafiti na upimaji wa kiuhalisia kukamata tofauti kati ya hisia na uhalisia.
Funga mzunguko: chapisha matokeo na hatua inayoonekana ya ufuatiliaji kila mzunguko, au uaminifu katika chombo utamomonyoka.
DevEx na SPACE zinakamilishana, si mitazamo shindani, ya wasiwasi uleule wa msingi kwa uzoefu wa msanidi.

Marejeo na usomaji zaidi

Noda, Abi, Margaret-Anne Storey, Nicole Forsgren, and Michaela Greiler, “DevEx: What Actually Drives Productivity,” ACM Queue (2023): mfumo wa DevEx wa mizunguko ya maoni, mzigo wa kiakili, na hali ya mtiririko.
Forsgren, Nicole, Margaret-Anne Storey, Chandra Maddila, Thomas Zimmermann, Brian Houck, and Jenna Butler, “The SPACE of Developer Productivity,” ACM Queue (2021).
Ask Your Developer: How to Harness the Power of Software Developers and Win in the 21st Century, na Jeff Lawson (uwekezaji wa kishirika katika uzoefu wa msanidi).
Designing and Conducting Survey Research: A Comprehensive Guide, na Louis M. Rea na Richard A. Parker (mbinu ya jumla ya usanifu wa utafiti inayotumika kwa vyombo vya DevEx).