7.2 Mæling gervigreindaraðstoðaðrar hugbúnaðarþróunar

Yfirlit og tilgangur

Viðfangsefni 7.1 kom á hvers vegna nokkrir fyrirliggjandi mælikvarðar mæla ekki lengur áreiðanlega það sem þeir mældu áður undir gervigreindaraðstoðaðri þróun. Þetta viðfangsefni snýst um hvað á að mæla í staðinn: hvernig á að vita, með raunverulegum sönnunargögnum frekar en tilfinningu eða markaðssetningu söluaðila, hvort gervigreindarkóðunaraðstoð hjálpar skipulagsheild þinni í raun, og hve mikið. Þetta er sannarlega mikilvæg spurning með raunverulegar fjárlagaafleiðingar, gervigreindartólaleyfi tákna raunverulegan, áframhaldandi kostnað, einingarhagfræðiagi viðfangsefnis 5.4 á beint við, og skipulagsheild sem getur ekki svarað henni með sönnunargögnum er annaðhvort að ofgreiða fyrir tól sem hjálpar ekki eða að vanfjárfesta í einu sem sannarlega gerir það.

Nálgun þessa viðfangsefnis byggir beint á niðurstöður-fram-yfir-afurðir meginreglu viðfangsefnis 1.3, nú beitt sérstaklega á mat gervigreindartóla. Barnalegasta, algengasta nálgunin mælir gervigreindaraðstoðaða þróun eftir afurðamagni, kóðalínur framleiddar, tillögur samþykktar, tími sparaður á verkefni samkvæmt sjálfsskýrslu þróunaraðila, einmitt mælikvarðarnir sem viðfangsefni 7.1 varaði við að væru mest útsettir fyrir þessari breytingu. Ströngari nálgunin sem þetta viðfangsefni mælir með mælir niðurstöður: dró gervigreindaraðstoð sannarlega úr ferlitíma án þess að rýra gæði, dró hún úr tíma varið í sannarlega lítilvirðis, endurtekna vinnu og losaði þannig getu fyrir verðmætari vinnu, og hafði hún mælanleg áhrif á rekstrar- og vöruniðurstöðurnar úr 5. hluta.

Fyrir stór teymi ræður rétt mæling hvort fjárfestingarákvarðanir í gervigreindartólum eru teknar á sönnunargögnum eða á fullyrðingum söluaðila og skipulagstregðu. Stórfyrirtæki sem semja um stórfeldar gervigreindartólasamninga þurfa raunveruleg sönnunargögn um virði til að réttlæta útgjöldin og bera keppandi tól sanngjarnt saman; opinberar skipulagsheildir, sem sæta oft sérstakri rýni vegna tæknieyðslu, þurfa ströngu, verjanlegu matsaðferðafræði áður en þær skuldbinda opinbert fé til upptöku gervigreindartóla í stórum mæli.

Lykilmeginreglur

Mældu gervigreindaraðstoð eftir niðurstöðu, ekki afurðamagni eða notkunartölfræði frá söluaðila. Agi viðfangsefnis 1.3 á hér við með fullum þunga.
Notaðu raunverulegan samanburðarhóp hvar sem mögulegt er, ekki bara fyrir-og-eftir samanburð sem hækkandi iðnaðarvíð grunnlína gæti truflað.
Sjálfskýrður tímasparnaður er veikt merki eitt og sér. Paraðu hann við hlutlæg ferlitíma- og gæðagögn.
Mældu fullan kostnað, þar með yfirferðar- og leiðréttingartíma, ekki bara framleiðsluhraða.
Ólík verkefni og ólíkir verkfræðingar kunna að sjá mjög ólíkt gervigreindaraðstoðarvirði. Forðastu eina, blandaða skipulagsheildarvíða tölu sem felur þennan breytileika.

Ráðleggingar

Byggðu raunverulegan samanburð, ekki bara fyrir-og-eftir mynd

Þar sem mögulegt er, berðu saman niðurstöður milli hóps sem notar gervigreindaraðstoð og sambærilegs hóps sem notar hana ekki, yfir sama tímabil, frekar en að bera aðeins saman eigin fyrir-og-eftir tölur skipulagsheildar þinnar, sem getur ekki greint áhrif gervigreindaraðstoðar frá annarri samhliða breytingu (truflunarbreytuvarúð viðfangsefnis 1.6 á beint við). Þar sem raunverulegur samanburðarhópur er óframkvæmanlegur, berðu að minnsta kosti saman við lengri sögulega grunnlínu (stýririt, samkvæmt viðfangsefni 1.6) frekar en eina fyrir-og-eftir mynd sem er viðkvæm fyrir aftursnúningi til meðaltals eða ótengdum samhliða breytingum.

Mældu ferlitíma og gæði saman, aldrei hraðafullyrðingu gervigreindaraðstoðar eina

Beittu aga viðfangsefnis 2.6 og viðfangsefnis 2.10 beint: raktu hvort gervigreindaraðstoðuð vinna færist hraðar gegnum ferlitímastigin, og samtímis hvort breytingabilunarhlutfall eða hlutfall sloppinna galla (viðfangsefni 5.1) fyrir þá vinnu hreyfist í ranga átt. Raunveruleg framleiðnibót sýnir hraðari ferlitíma með stöðugum eða bættum gæðum; fölsk bót sýnir hraðari ferlitíma með hnignandi gæðum, einmitt málamiðlunin sem viðfangsefni 7.1 varaði við, uppgötvuð hér gegnum sama paraða mælikvarðaagann og þessi bók beitir í gegnum allt.

Taktu yfirferðar- og leiðréttingartíma með í fulla kostnaðarbókhaldið

Gervigreindarframleiddur kóði sem er hraðari að framleiða en hægari að yfirfara, eða sem krefst meiri leiðréttingar og endurvinnu eftir upphaflega framleiðslu, gæti sýnt enga nettó ferlitímabót þegar öll leiðslan er mæld, jafnvel þótt upphaflega kóðaframleiðsluskrefið hafi fundist dramatískt hraðara fyrir einstaka verkfræðinginn. Mældu alla ferlitímakeðjuna (viðfangsefni 2.6), ekki bara kóðunarstigið, til að fanga þetta heiðarlega frekar en að þakka gervigreindaraðstoð byggt á upplifaðri, en ófullkominni, tilfinningu fyrir hraða.

Meðhöndlaðu sjálfskýrðan tímasparnað sem upphafstilgátu, ekki niðurstöðu

Sjálfsskýrsla þróunaraðila um „þetta sparaði mér klukkustund“ er gagnleg sem upphafsmerki og sem eigindlegt samhengi (sameinuð magnbundin-eigindleg nálgun viðfangsefnis 5.3 á líka við hér), en hún er háð sömu minnis- og æskilegleikaskekkjum og viðfangsefni 1.5 varar við fyrir hver sjálfskýrð gögn, og hún segir ekkert um niðurstreymis yfirferðar- eða leiðréttingarkostnað. Notaðu sjálfsskýrslu til að mynda tilgátur um hvar gervigreindaraðstoð hjálpar mest, staðfestu síðan þær tilgátur gegn hlutlægum ferlitíma- og gæðagögnum áður en þú dregur fasta ályktun.

Sundurliðaðu mælingu eftir verkefnagerð og forðastu eina, blandaða tölu

Gervigreindarkóðunaraðstoð veitir líklega mjög ólíkt virði fyrir staðlaða, vel skilda verkefnavinnu en fyrir sannarlega ný, flókin vandamálalausn. Mældu og skýrðu frá eftir verkefnaflokki frekar en einu, blönduðu skipulagsheildarvíðu meðaltali, sem getur falið að aðstoð veitir sterkt virði í einum flokki en lítið eða jafnvel neikvætt virði í öðrum, upplýsingar sem blönduð tala myndi algerlega hylja.

Málamiðlanir: kostir og gallar

Nálgun	Kostir	Gallar
Sjálfskýrður tímasparnaður einn	Hratt, auðvelt að safna	Veikt merki; háð skekkju; hunsar niðurstreymis yfirferðarkostnað
Aðeins fyrir-og-eftir samanburður	Einfalt að setja upp	Truflað af hvaða annarri samhliða breytingu eða iðnaðarvíðri þróun sem er
Raunverulegur samanburðarhópur	Sterkustu, verjanlegustu sönnunargögn	Erfiðara að skipuleggja; kann ekki að vera framkvæmanlegt fyrir fulla útbreiðslu
Verkefnasundurliðuð niðurstöðumæling	Afhjúpar hvar virði einbeitist sannarlega	Krefst nákvæmari rakningar og flokkunarfyrirhafnar

Aðalspennan er mælingastrangleiki á móti hagnýtri framkvæmanleika. Raunverulegur, stýrður samanburðarhópur eru sterkustu sönnunargögnin en eru oft óframkvæmanleg þegar tól hefur verið rúllað út í allri skipulagsheildinni án haldins-til-baka viðmiðunarhóps; sjálfskýrðar tilfinningar eru hraðar og auðveldar en veikar einar og sér. Leystu spennuna með því að nota sterkustu samanburðarhönnun sem raunveruleg útbreiðsla ykkar leyfir, raunverulegan viðmiðunarhóp á snemmri tilraunastigi ef mögulegt er, sögulegt grunnlínustýririt ef ekki, og meðhöndla sjálfsskýrslu sem tilgátumyndunartól frekar en lokaorðið, óháð því hvaða samanburðarhönnun þið endið með.

Spurningar til að ræða með teyminu

Höfðum við, eða gætum við enn smíðað, raunverulegan samanburðarhóp til að meta upptöku gervigreindartóla okkar, eða reiðum við okkur alfarið á fyrir-og-eftir samanburð? Ef sannur samanburðarhópur var aldrei settur á fót, ræðið hvort söguleg grunnlínustýririt gæti enn veitt hæfilega strangan valkost.
Höfum við mælt ferlitíma og gæði saman fyrir gervigreindaraðstoðaða vinnu, eða höfum við aðeins hraðafullyrðingu án samsvarandi gæðaathugunar? Dragið fram hvaða gögn sem eru til og athugið þessa sértæku pörun; ef hún er ekki til er það bil forgangsmesta einstaka lagfæring þessa viðfangsefnis.
Inniheldur ferlitímamæling okkar fyrir gervigreindaraðstoðaða vinnu yfirferðar- og leiðréttingartíma, eða aðeins upphaflega framleiðsluskrefið? Hraðafullyrðing byggð aðeins á framleiðslutíma, hunsandi niðurstreymis yfirferðarkostnað, hættir á ófullkomna bókhaldsgildru sem þetta viðfangsefni varar beint við.
Hvaða sjálfskýrðar tímasparnaðarfullyrðingar höfum við safnað, og höfum við staðfest nokkra þeirra gegn hlutlægum gögnum? Veljið tiltekna, oft endurtekna fullyrðingu og athugið hvort hlutlægu gögnin styðja hana í raun.
Blandar núverandi mæling okkar öllum verkefnagerðum í eina tölu, eða vitum við hvaða tilteknu vinnuflokkar sjá sterkasta gervigreindaraðstoðarvirðið? Ef blönduð, ræðið hvað verkefnasundurliðuð sundurliðun gæti leitt í ljós sem núverandi talan felur.
Ef við þyrftum að verja gervigreindartólafjárfestingu okkar fyrir efins fjármálahagsmunaaðila í dag, með sönnunargögnum frekar en tilfinningu, hvað gætum við í raun sýnt honum? Þetta áþreifanlega próf dregur fram bilið milli þess sem skipulagsheild ykkar trúir núna um gervigreindaraðstoðarvirði og þess sem hún getur í raun sýnt fram á með sönnunargögnum.

Geirasjónarhorn

Sprotafyrirtæki. Formleg samanburðarhópsrannsókn er yfirleitt óframkvæmanleg í litlum mæli, en jafnvel einföld, heiðarleg fyrir-og-eftir skoðun á ferlitíma og gallahlutfalli, frekar en að treysta eingöngu á hve miklu hraðari vinnan finnst, gefur talsvert áreiðanlegra merki en tilfinningin ein.

Lítil fyrirtæki. Einbeittu mælingarfyrirhöfn að verðmætasta, mest endurtekna verkefnaflokki þínum fyrst, þar sem gervigreindaraðstoðarvirði er líklegast skýrt og mælanlegt, frekar en að reyna yfirgripsmikið mat á hvers konar vinnu sem litla teymið þitt vinnur.

Stórfyrirtæki. Raunverulegur, stýrður samanburður á snemmri tilraunastigi, fyrir fulla skipulagsheildarvíða útbreiðslu, er oft framkvæmanlegur hér og vert að skipuleggja vísvitandi, því hann framleiðir langtum verjanlegri sönnunargögn fyrir stórfeldu tólafjárfestingarákvörðunina sem yfirleitt fylgir árangursríkri tilraun.

Hið opinbera. Opinberar tækniútgjaldaákvarðanir, þar með innkaup gervigreindartóla, sæta oft sérstakri rýni og kunna að krefjast formlegs kostnaðar-ábatarökstuðnings (viðfangsefni 5.5). Byggðu mælingaragann sem þetta viðfangsefni mælir með inn í hvaða tilraunastig sem er frá upphafi, því ströng, skjalfest matsaðferðafræði styrkir að lokum fjármögnunar- eða innkaupsrökin talsvert.

Dæmi

Stórfyrirtæki. Hugbúnaðarfyrirtæki rúllaði út gervigreindarkóðunaraðstoðarmanni til helmings verkfræðiteyma sinna sem vísvitandi tilraun, hélt hinum helmingnum sem samanburðarhóp í einn ársfjórðung fyrir fulla útbreiðslu. Tilraunahópurinn sýndi raunverulega, tölfræðilega marktæka ferlitímabót fyrir vel skilgreind, staðlaðan-kóða-þung verkefni, en sýndi enga mælanlega bót, og lítillega hækkaðan yfirferðarlotufjölda (viðfangsefni 2.9), fyrir flókna, nýja byggingarvinnu. Þessi verkefnasundurliðaða niðurstaða, aðeins sýnileg vegna raunverulegu samanburðarhönnunarinnar og verkefnaflokkasundurliðunarinnar, leiddi fyrirtækið til að miða útbreiðsluboðskap og þjálfun gervigreindaraðstoðar sérstaklega að verkefnaflokkunum þar sem hún hjálpaði sannanlega, frekar en að setja hana fram sem samræmda framleiðniaukningu yfir alla vinnu.

Hið opinbera. Alríkisstofnun sem prófaði gervigreindarkóðunaraðstoð fyrir undirmengi nútímavæðingarverkefnateyma sinna treysti í fyrstu á sjálfskýrðar tímasparnaðarkannanir, sem sýndu áhugasöm, samræmt jákvæð svör. Eftirfylgni hlutlæg greining, sem bar saman ferlitíma og hlutfall sloppinna galla milli tilraunateymanna og sambærilegs ekki-tilraunahóps sem vann á svipuðum kerfishlutum, fann að hlutlæga ferlitímabótin var raunveruleg en áberandi minni en sjálfskýrðu matin gáfu til kynna, og greindi hóflega en raunverulega aukningu yfirferðartíma sem hafði vegið upp hluta framleiðsluhraðaávinningsins, niðurstaða sem sjálfskýrslugögnin ein höfðu algerlega misst af. Þessi nákvæmari, sönnunarbyggða mynd upplýsti beint hógværari og verjanlegri viðskiptarök fyrir áframhaldandi, aukin innkaup tólsins.

Viðskiptarök: hvatar, ávöxtun fjárfestingar og heildareignarkostnaður

Ávöxtun af því að mæla gervigreindaraðstoðaða þróun strangt eru öruggar, sönnunarbyggðar fjárfestingarákvarðanir: skipulagsheild sem veit nákvæmlega hvar gervigreindaraðstoð hjálpar sannarlega getur fjárfest í að útvíkka hana þar og forðast að ofgreiða fyrir leyfi í verkefnaflokkum þar sem hún veitir lítið virði, einmitt verkefnasundurliðunarinnsýnin sem hugbúnaðarfyrirtækisdæmið hér að ofan sýnir. Þetta tengist beint einingarhagfræði viðfangsefnis 5.4 og ROI-aga viðfangsefnis 5.5, því gervigreindartólakostnaður, oft leyfisbundinn á sæti, þarfnast sömu ströngu kostnaðar-ábatameðferðar og þessi bók beitir á hverja aðra stóra verkfræðifjárfestingu.

Heildareignarkostnaður er greiningarfyrirhöfnin við að byggja raunverulega samanburði, mæla fullan ferlitíma þar með yfirferðar- og leiðréttingartíma, og sundurliða eftir verkefnagerð, sem er meiri vinna en að taka notkunartölfræði frá söluaðila eða sjálfskýrðar tilfinningar gildar. Sú fyrirhöfn er réttlætt beint af umfangi gervigreindartólaleyfiskostnaðar yfir stóra skipulagsheild og áhættunni af illa studdri, dýrri, skipulagsheildarvíðri skuldbindingu byggðri á tilfinningu frekar en gögnum.

Andmynstur og gildrur

Að mæla gervigreindaraðstoð eftir afurðamagni eða notkunartölfræði frá söluaðila einni: endurtekur meginviðvörun viðfangsefnis 7.1 beint.
Að treysta alfarið á sjálfskýrðan tímasparnað: veikt merki viðkvæmt fyrir skekkju, og blint á niðurstreymis yfirferðar- og leiðréttingarkostnað.
Að mæla aðeins framleiðsluhraðaskrefið, hunsa fullan ferlitíma: framleiðir ófullkomið, hugsanlega villandi bókhald á raunverulegum framleiðniáhrifum.
Að skýra frá einni, blandaðri skipulagsheildarvíðri tölu: felur raunverulegan breytileika í virði yfir ólíka verkefnaflokka.
Enginn samanburðarhópur eða söguleg grunnlína: getur ekki greint raunveruleg áhrif gervigreindaraðstoðar frá annarri samhliða breytingu.
Að meðhöndla áhugasama sjálfskýrða könnunarniðurstöðu sem nægjanleg sönnunargögn fyrir stórfellda fjárfestingarákvörðun: hættir á nákvæmlega bilinu sem alríkisstofnunardæmið hér að ofan uppgötvaði aðeins eftir að byggja strangari samanburð.

Þroskalíkan

Stig 1, Upphaf: Virði gervigreindaraðstoðaðrar þróunar er metið, ef yfirleitt, gegnum sjálfskýrða tilfinningu og notkunartölfræði frá söluaðila eina.
Stig 2, Þróun: Einhver ferlitíma- eða gæðagögn eru til, en enginn raunverulegur samanburðarhópur eða söguleg grunnlína og engin verkefnasundurliðuð greining.
Stig 3, Stöðlun: Raunveruleg samanburðarhönnun (viðmiðunarhópur eða söguleg grunnlína) með paraðri ferlitíma- og gæðamælingu er beitt samkvæmt, sundurliðuð eftir verkefnagerð.
Stig 4, Stjórnun: Fullt ferlitímabókhald, þar með yfirferðar- og leiðréttingartími, er rakið; sjálfskýrðar fullyrðingar eru kerfisbundið staðfestar gegn hlutlægum gögnum.
Stig 5, Samhæfing: Skipulagsheildin hefur þroskaðan, sönnunarbyggðan skilning á nákvæmlega hvar gervigreindaraðstoð hjálpar sannarlega, sem upplýsir markvissa útbreiðslu, þjálfunarfjárfestingu og innkaupaákvarðanir með sannaðri, verjanlegri ávöxtun.

Hugmyndir til umræðu

Hvaða raunverulegan samanburð, ef einhvern, höfum við fyrir núverandi upptöku gervigreindartóla okkar?
Höfum við mælt ferlitíma og gæði saman, eða aðeins hraðafullyrðingu?
Hvaða sjálfskýrða gervigreindaraðstoðarfullyrðingu ættum við að staðfesta gegn hlutlægum gögnum?
Hvaða tiltekni verkefnaflokkur sýnir sterkustu sönnunargögn um raunverulegt gervigreindaraðstoðarvirði fyrir okkur?
Gætum við núna varið gervigreindartólafjárfestingu okkar fyrir efins fjármálahagsmunaaðila með sönnunargögnum?

Helstu atriði til að muna

Mældu gervigreindaraðstoðaða þróun eftir niðurstöðu, ekki afurðamagni eða notkunartölfræði frá söluaðila.
Notaðu raunverulegan samanburðarhóp eða sögulega grunnlínu, ekki bara fyrir-og-eftir mynd viðkvæma fyrir truflunarþáttum.
Mældu ferlitíma og gæði saman, þar með alla leiðsluna, yfirferðar- og leiðréttingartíma, ekki bara framleiðsluhraða.
Meðhöndlaðu sjálfskýrðan tímasparnað sem tilgátu, ekki niðurstöðu, og staðfestu hann gegn hlutlægum gögnum.
Sundurliðaðu eftir verkefnagerð; ein blönduð tala felur hvar virði einbeitist sannarlega og hvar ekki.

Heimildir og frekara lesefni

Accelerate: The Science of Lean Software and DevOps, eftir Nicole Forsgren, Jez Humble og Gene Kim (niðurstöðumælingaragi sem þetta viðfangsefni beitir á mat gervigreindartóla).
Rannsóknir GitHub á paraforritun með gervigreind og framleiðni þróunaraðila (reynslurannsóknir á iðnaðarmæli á niðurstöðum gervigreindaraðstoðaðrar þróunar).
Forsgren, Nicole, Margaret-Anne Storey, Chandra Maddila, Thomas Zimmermann, Brian Houck og Jenna Butler, „The SPACE of Developer Productivity,“ ACM Queue (2021) (fjölvíða mælingaragann sem þetta viðfangsefni beitir á tiltekinn nýjan tólaflokk).
How to Measure Anything, eftir Douglas W. Hubbard (að smíða verjanlega samanburði og magnbinda virði undir raunverulegri óvissu).