7.3 Mælikvarðaverðbólga og áhætta gæðaþynningar

Yfirlit og tilgangur

Þetta viðfangsefni nefnir, beint og sértækt, bilunarhættina tvo sem viðfangsefni 7.1 varaði við að allur rammi þessarar bókar verði að verjast þegar gervigreindaraðstoðuð þróun verður hefðbundin venja: mælikvarðaverðbólgu (metric inflation), tölur sem hækka án samsvarandi raunverulegs virðis, og gæðaþynningu (quality dilution), hægfara rýrnun kóðagæða sem fer fram úr núverandi getu iðnaðarins til að greina hana gegnum fyrirliggjandi yfirferðar- og prófunarvenjur. Þetta eru ekki nýir flokkar áhættu sem þessi bók hefur ekki þegar nefnt, mælikvarðaverðbólga er lögmál Goodharts viðfangsefnis 1.2 og staðgengilsleikur viðfangsefnis 1.2 beitt í stórum mæli, og gæðaþynning er þekju-skilvirknibil viðfangsefnis 4.2 og sloppinna-galla-áhyggja viðfangsefnis 5.1, hvort tveggja magnað. Það sem er nýtt er hraðinn og umfangið sem kynslóðargervigreind getur framleitt báða bilunarhættina samtímis, hraðar en varnarmælikvarðar flestra skipulagsheilda voru hannaðir til að grípa.

Sértæki vélbúnaðurinn sem þetta viðfangsefni snýr að er lúmskur: gervigreindarframleiddur kóði lítur mjög oft út fyrir að vera réttur. Hann fylgir kunnuglegum málvenjum, notar sannfærandi breytunöfn og stenst yfirborðslestur langtum áreiðanlegar en sannarlega kærulaus mannskrifaður kóði gerir yfirleitt, einmitt því hann var þjálfaður á gífurlegu safni kóða sem leit út fyrir að vera réttur. Þetta gerir gervigreindarframleidda galla erfiðari fyrir mannlegan yfirferðaraðila að grípa gegnum þá tegund mynsturgreiningar, lítur-þetta-rétt-út yfirferðar, sem grípur marga mannkynnta galla, því gervigreindarframleidda útgáfan er sérstaklega fínstillt, í tölfræðilegum skilningi, til að líta rétt út hvort sem hún er það í raun eða ekki.

Fyrir stór teymi magnast áhætta þessa viðfangsefnis með umfangi á hátt sem ætti að varða stórfyrirtæki og opinberar skipulagsheildir sérstaklega: mælikvarðaverðbólga yfir tugi teyma samtímis getur framleitt skipulagsheildarvítt falskt merki um bætta framleiðni sem tekur umtalsverðan tíma og greiningu að greiða úr, nákvæmlega eins og fjártæknidæmi viðfangsefnis 7.1 sýndi. Gæðaþynning sem fer fram úr greiningargetu er enn alvarlegri í eftirlitsskyldu, öryggiskritísku eða almenningstraustssamhengi, þar sem kostnaður ógreinds galla sem nær framleiðslu ber afleiðingar langt umfram tafarlausa verkfræðiáhyggju.

Lykilmeginreglur

Mælikvarðaverðbólga og gæðaþynning eru magnaðar útgáfur áhættu sem þessi bók hefur þegar nefnt, ekki alveg nýir flokkar; fyrirliggjandi varnarmælikvarðar gilda enn, en þurfa að vinna harðar.
„Lítur rétt út“ eiginleiki gervigreindarframleidds kóða gerir hann sérstaklega erfiðari fyrir mannlega mynsturgreiningaryfirferð að grípa lúmska galla í. Þetta er aðgreind áhætta frá venjulegum mannlegum mistökum.
Hraði þessarar breytingar getur farið fram úr getu skipulagsheildar til að aðlaga varnarmælikvarða sína, sem skapar raunverulegan, tímabundinn útsetningarglugga.
Fyrirliggjandi gæðamælikvarðar (4. hluti) haldast verðmætir en kunna að þurfa endurkvörðun, ekki endurnýjun, í ljósi þessa nýja áhættusniðs.
Greiningargetan sjálf þarfnast vísvitandi fjárfestingar, því yfirferðar- og prófunarvenjurnar sem þessi bók nær yfir voru hannaðar áður en þessi sértæka áhætta var til í þessum mæli.

Ráðleggingar

Endurkvarðaðu viðmiðunarmörk breytingabilunarhlutfalls og sloppinna galla fyrir gervigreindarþunga vinnu

Þar sem teymi eða kóðasvæði hefur tekið upp gervigreindaraðstoð mikið, beittu alvarleikavegnu rakningunni úr viðfangsefni 2.4 og viðfangsefni 5.1 með aukinni næmni, að minnsta kosti þar til skipulagsheild þín hefur byggt nóg af sönnunargögnum (viðfangsefni 7.2) til að vita hvort sögulegt samband þessara mælikvarða og raunverulegrar áhættu heldur enn óbreytt fyrir gervigreindaraðstoðaða vinnu sérstaklega. Meðhöndlaðu þessa endurkvörðun sem tímabundna, sönnunarsöfnunarstöðu, ekki varanlega, órannsakaða forsendu í hvora átt sem er.

Fjárfestu sérstaklega í greiningargetu sem stenst „lítur rétt út“ vandann

Hefðbundin kóðayfirferð, sem treystir mikið á mynsturgreiningu yfirferðaraðila á því sem lítur rétt út, er sérstaklega veikt gegn sannfærandi útlítandi en lúmskt röngum gervigreindarframleiddum kóða. Fjárfestu samsvarandi meira í greiningaraðferðum sem treysta ekki á sjónræna mynsturgreiningu: stökkbreytingarprófun (viðfangsefni 4.2), sem prófar raunverulega hegðun frekar en útlit, og eigindabyggð eða skorðubyggð prófun, sem sannreynir rökfræðilega réttmæti frekar en yfirborðssannfæringu, verða báðar ósamhlutfallslega verðmætari einmitt vegna þessarar breytingar.

Gættu að mælikvarðaverðbólgu yfir alla afhendingarleiðsluna, ekki bara við kóðaframleiðslu

Mælikvarðaverðbólga af gervigreindaraðstoðaðri þróun er ekki bundin við kóðunarstigið; hún getur breiðst út gegnum alla ferlitímakeðjuna (viðfangsefni 2.6): meira magn gervigreindarframleiddra sameiningarbeiðna getur blásið upp afköst sameiningarbeiðna (viðfangsefni 2.9) jafnvel þótt gagnlega merkið sem sá mælikvarði var upphaflega hannaður til að fanga, raunveruleg teymisafköst, haldist flatt eða jafnvel falli þegar yfirferðarbyrði og leiðréttingarkostnaður eru rétt tekin með í reikninginn. Endurskoðaðu allt mælikvarðasafn þitt fyrir þetta útbreiðslumynstur, ekki bara augljósustu, beinu gervigreindartengdu mælikvarðana.

Byggðu skýra, tímabundna endurkvörðunaráætlun frekar en varanlega tortryggnisstöðu

Aukna rýnin sem þetta viðfangsefni mælir með er viðeigandi á virku tímabili upptöku og óvissu, en hún ætti ekki að verða varanlegur, órannsakaður skattur á gervigreindaraðstoðaða vinnu endalaust. Eftir því sem skipulagsheild þín byggir raunveruleg sönnunargögn gegnum mælingaragann úr viðfangsefni 7.2, endurskoðaðu viðmiðunarmörk og varnarmælikvarða byggt á því sem þau sönnunargögn sýna í raun, hertu enn frekar þar sem áhætta er staðfest, slakaðu þar sem hún er það ekki, frekar en að hunsa áhættuna alveg eða meðhöndla hvern bút gervigreindaraðstoðaðs kóða með varanlegri, ógreindri tortryggni óháð safnandi sönnunargögnum.

Komdu þessari áhættu á framfæri gagnsætt frekar en að meðhöndla hana sem ástæðu til að standa gegn upptöku gervigreindar

Rammaðu leiðsögn þessa viðfangsefnis sem áhættustjórnun fyrir sannarlega verðmæta nýja getu, ekki sem rök gegn gervigreindaraðstoðaðri þróun almennt. Skipulagsheild sem kemur þessari sértæku, nefndu áhættu skýrt á framfæri og byggir hlutfallslega varnarmælikvarða gegn henni, nákvæmlega eins og þessi bók mælir með fyrir sérhvern annan mælikvarða og tækni sem hún nær yfir, tekur upp gervigreindaraðstoð öruggar og sjálfbærar en sú sem annaðhvort hunsar áhættuna eða meðhöndlar hana sem ástæðu fyrir allsherjarmótstöðu gegn sannarlega gagnlegu tólasafni.

Málamiðlanir: kostir og gallar

Nálgun	Kostir	Gallar
Engin endurkvörðun, meðhöndla gervigreindaraðstoðaða vinnu eins og mannskrifaðan kóða	Einfalt, engin ferlisbreyting	Missir af sértæku, sönnunargögnum vísandi hækkuðu áhættusniði
Almenn, varanleg aukin rýni á öllum gervigreindaraðstoðuðum kóða	Hámarkar skammtímaáhættuminnkun	Ósjálfbær skattur á sannarlega verðmæta getu; hunsar safnandi sönnunargögn
Tímabundin, sönnunardrifin endurkvörðun	Jafnar áhættustjórnun og sjálfbæra upptöku	Krefst áframhaldandi mælingaraga (viðfangsefni 7.2) til að vita hvenær á að slaka á rýni
Fjárfesting í greiningaraðferðum sem standast „lítur rétt út“ galla	Tekur á sértæku nýju áhættunni beint og varanlega	Krefst fjárfestingar fyrirfram í stökkbreytinga- og eigindabyggðum prófunarinnviðum

Aðalspennan er varkárni á móti upptökuhraða. Óhófleg, varanleg varkárni sóar miklu af sannarlegu virði gervigreindaraðstoðaðrar þróunar; ónóg varkárni hættir á mælikvarðaverðbólgunni og gæðaþynningunni sem þetta viðfangsefni nefnir, hugsanlega í umtalsverðum mæli fyrir greiningu. Leystu spennuna gegnum tímabundnu, sönnunardrifnu nálgunina sem þetta viðfangsefni mælir með: aukin rýni núna, kvörðuð niður eða upp eftir því sem raunveruleg sönnunargögn úr mælingaraga viðfangsefnis 7.2 safnast, frekar en annaðhvort varanleg almenn stefna eða órannsökuð forsenda um að ekkert hafi breyst.

Spurningar til að ræða með teyminu

Höfum við endurkvarðað viðmiðunarmörk breytingabilunarhlutfalls eða sloppinna galla fyrir gervigreindarþunga vinnu, eða beitum við viðmiðunarmörkum fyrri gervigreindaraldar óbreyttum? Ef óbreyttum, ræðið hvort það endurspeglar vísvitandi, sönnunarbyggða ákvörðun eða einfaldlega skort á athygli á spurningunni.
Höfum við greiningaraðferðir, eins og stökkbreytingarprófun, sem treysta ekki á sjónræna mynsturgreiningu yfirferðaraðila, eða er yfirferðarferli okkar alfarið háð mannlegum augum sem meta hvort kóði „lítur rétt út“? Þetta er sértæki veikleikinn sem þetta viðfangsefni greinir; metið núverandi greiningargetu ykkar gegn honum heiðarlega.
Hefur mælikvarðaverðbólga breiðst út fyrir kóðunarstigið inn í sameiningarbeiðna- eða afhendingarmælikvarða okkar, og myndum við taka eftir því núna ef hún hefði gert það? Gangið í gegnum alla ferlitímakeðjuna ykkar í leit að þessu útbreiðslumynstri, ekki bara augljósasta upprunapunktinum.
Er núverandi aukin rýni okkar á gervigreindaraðstoðuðum kóða, ef nokkur, byggð á safnandi sönnunargögnum, eða er hún órannsökuð, ótímabundin sjálfgefin stilling sem hefur aldrei verið endurskoðuð? Ræðið hvaða sönnunargögn þyrftu að safnast áður en þið íhuguðuð að slaka á eða herða frekar núverandi varnarmælikvarða.
Hvernig komum við áhættu þessa viðfangsefnis á framfæri innanhúss: sem ástæðu fyrir varkárni og hlutfallslegum varnarmælikvörðum, eða sem óbeint rök gegn gervigreindarupptöku almennt? Verið heiðarleg um hvernig þetta samtal lendir í raun hjá teyminu ykkar, því skilaboð móttekin sem allsherjarmótstaða framleiða sjaldan hlutfallslegt, sönnunarbyggt viðbragð sem þetta viðfangsefni mælir með.
Hvernig myndi það líta út fyrir skipulagsheild okkar að uppgötva, aðeins eftir umtalsverðan mælikvarða, að bæði mælikvarðaverðbólga og gæðaþynning hefðu átt sér stað samtímis og ógreind? Þessa áþreifanlegu, lítillega óþægilegu sviðsmynd er vert að nefna skýrt sem sértæku bilunina sem varnarmælikvarðar þessa viðfangsefnis eru byggðir til að koma í veg fyrir.

Geirasjónarhorn

Sprotafyrirtæki. Hröð upptaka með takmarkaða yfirferðargetu gerir áhættu þessa viðfangsefnis sérstaklega bráða fyrir lítið teymi; „lítur rétt út“ greiningarvandinn er erfiðari að grípa með færri, minna sérhæfðum yfirferðaraðilum. Fjárfestu snemma í að minnsta kosti léttri stökkbreytingarprófun á mikilvægustu kóðaleiðum þínum, jafnvel þótt yfirgripsmikil þekja sé ekki enn framkvæmanleg.

Lítil fyrirtæki. Formleg endurkvörðunarferli eru líklega óþörf í þessum mæli, en einföld, skýr vitund um að gervigreindarframleiddur kóði verðskuldi lítillega efins lestur en venjulega, sérstaklega því hann hefur tilhneigingu til að líta öruggar réttur út en hann kann í raun að vera, kostar ekkert og tekur beint á kjarnaáhyggju þessa viðfangsefnis.

Stórfyrirtæki. Mælikvarðaverðbólga og gæðaþynning magnast báðar verulega í stórum mæli, því falskt merki eða ógreindur gæðavandi yfir tugi teyma samtímis er langtum afdrifaríkari og langtum erfiðari að greiða úr en sama vandamál hjá einu teymi. Fjárfestu vísvitandi í uppfærslum á greiningargetu allrar skipulagsheildarinnar (stökkbreytingarprófunarinnviðir, upptaka eigindabyggðrar prófunar) og í tímabundnu endurkvörðunaraganum sem þetta viðfangsefni mælir með, fylgt eftir miðlægt.

Hið opinbera. Afleiðingar ógreindrar gæðaþynningar eru sérstaklega alvarlegar í eftirlitsskyldu, öryggiskritísku eða almenningstraustssamhengi sem er algengt í kerfum hins opinbera. Beittu aukinni, sönnunardrifinni rýni sérstaklega á gervigreindaraðstoðaðar breytingar í kóðaleiðum með miklar afleiðingar (útsetningar-og-nýtanleikavigtunarrökfræði viðfangsefnis 6.4 á svipað við hér), og vertu tilbúinn að sýna, fyrir endurskoðanda eða eftirlitsaðila, nákvæmlega hvaða greiningargeta er til gegn þessari sértæku áhættu.

Dæmi

Stórfyrirtæki. Verkfræðiteymi kröfuvinnslu tryggingafélags tók upp gervigreindarkóðunaraðstoð víða og, sex mánuðum síðar, tók eftir hægfara en mælanlegri hækkun sloppinna galla sérstaklega í flókinni skilyrðisrökfræði, þeirri tegund kóða þar sem lúmskt röng jaðartilvikameðhöndlun er bæði auðveldust fyrir gervigreindartól að framleiða sannfærandi og erfiðust fyrir yfirferðaraðila að grípa með skoðun einni. Rannsókn staðfesti „lítur rétt út“ mynstrið sem þetta viðfangsefni lýsir: gallaði kóðinn hafði stöðugt notað málvenjuleg, kunnugleg mynstur sem stóðust yfirferð án þess að kveikja þá tegund rýni sem augljóslega óvenjulegur eða klaufalegur mannskrifaður kóðabútur kynni að hafa fengið. Viðbragð teymisins beindi stökkbreytingarprófun sérstaklega að flókinni skilyrðisrökfræði í öllu fyrirtækinu, greiningaraðferð sem stenst yfirborðssannfæringarvandann, og mældi marktæka fækkun í þessum sértæka gallaflokki innan tveggja ársfjórðunga.

Hið opinbera. Skattstofa sem prófaði gervigreindaraðstoðaða þróun fyrir undirmengi viðhaldsvinnu útreikningsvélar sinnar byggði inn tímabundna endurkvörðunaragann sem þetta viðfangsefni mælir með frá upphafi, setti skýrt sex mánaða sönnunarsöfnunartímabil með auknum yfirferðarkröfum fyrir gervigreindaraðstoðaðar breytingar á útreikningsrökfræði sérstaklega. Sönnunargögnin sem safnað var sýndu engan tölfræðilega marktækan mun á gallahlutfalli fyrir vel afmarkaðar, þröngar breytingar, en staðfestu hækkaða áhættu fyrir víðtækari, byggingarlega mikilvægari gervigreindaraðstoðaðar breytingar. Stefna stofnunarinnar sem af hlaust slakaði á aukinni rýni fyrir þrönga-breytinga flokkinn en viðhélt og jafnvel styrkti hana fyrir byggingarlega mikilvægar breytingar, hlutfallsleg, sönnunarbyggð niðurstaða sem hvorug öfgin „engin endurkvörðun“ né „almenn varanleg rýni“ hefði framleitt.

Viðskiptarök: hvatar, ávöxtun fjárfestingar og heildareignarkostnaður

Ávöxtun af því að verjast mælikvarðaverðbólgu og gæðaþynningu vísvitandi er að forðast nákvæmlega sviðsmyndina sem tryggingafélagsdæmið hér að ofan sýnir: ógreindan, hægfara magnandi gæðavanda sem kostar langtum meira að uppgötva og laga eftir á en greiningarfjárfestingin, stökkbreytingarprófunarinnviðir sérstaklega miðaðir að áhættumesta kóðanum, hefði kostað fyrirbyggjandi.

Heildareignarkostnaður felur í sér greiningargetufjárfestinguna sem þetta viðfangsefni mælir með og áframhaldandi aga sönnunarbyggðrar endurkvörðunar frekar en annarrar öfgarinnar, varanlegrar tortryggni eða varanlegs athyglisleysis. Sá kostnaður er hóflegur og tímabundinn miðað við áhættuna af umtalsverðum, stækkuðum gæðavanda sem fer ógreindur einmitt því hann var hannaður, af eðli þess hvernig þessi tól framleiða kóða, til að líta rétt út fyrir yfirferðarferlin sem skipulagsheild hafði þegar til staðar.

Andmynstur og gildrur

Að beita viðmiðunarmörkum og greiningaraðferðum fyrri gervigreindaraldar óbreyttum: missir af sértæku, sönnunargögnum vísandi hækkuðu áhættusniði.
Að treysta alfarið á mannlega mynsturgreiningaryfirferð fyrir gervigreindarframleiddan kóða: sérstaklega viðkvæmt fyrir „lítur rétt út“ vandanum sem þetta viðfangsefni greinir.
Að missa af útbreiðslu mælikvarðaverðbólgu út fyrir kóðaframleiðslupunktinn: falskt merki getur breiðst út gegnum alla afhendingarleiðsluna ógreint.
Varanleg, órannsökuð almenn rýni án sönnunarbyggðrar endurkvörðunar: sóar miklu af sannarlegu virði gervigreindaraðstoðaðrar þróunar ósjálfbært.
Að koma áhættu þessa viðfangsefnis á framfæri sem almennri mótstöðu gegn upptöku gervigreindar frekar en hlutfallslegri áhættustjórnun: grefur undan bæði öryggi og upptöku.
Engin greiningargetufjárfesting sérstaklega miðuð að þessu nýja áhættusniði: skilur skipulagsheildina eftir háða yfirferðaraðferðum sem þetta viðfangsefni hefur sýnt að eru sérstaklega veikar gegn því.

Þroskalíkan

Stig 1, Upphaf: Engin vitund um mælikvarðaverðbólgu- eða gæðaþynningaráhættu sértæka fyrir gervigreindaraðstoðaða þróun; fyrirliggjandi varnarmælikvarðar og greiningaraðferðir eru notaðar óbreyttar.
Stig 2, Þróun: Einhver vitund er til, en endurkvörðun er tilfallandi og greiningargetufjárfesting sértæk fyrir þessa áhættu hefur ekki verið gerð.
Stig 3, Stöðlun: Endurkvörðuð viðmiðunarmörk og greiningaraðferðir sem standast „lítur rétt út“ vandann (stökkbreytinga- og eigindabyggð prófun) eru notuð samkvæmt á gervigreindaraðstoðaða vinnu.
Stig 4, Stjórnun: Tímabundinn, sönnunardrifinn endurkvörðunaragi aðlagar virkt rýni byggt á safnandi gögnum, og útbreiðsla mælikvarðaverðbólgu er virkt vöktuð yfir alla leiðsluna.
Stig 5, Samhæfing: Skipulagsheildin hefur þroskaða, hlutfallslega, sífellt þróandi áhættustjórnunarstöðu gagnvart gervigreindaraðstoðaðri þróun, komið á framfæri gagnsætt, sem hvorki sóar virði hennar með óhóflegri varkárni né útsetur skipulagsheildina fyrir ógreindri gæðaþynningu.

Hugmyndir til umræðu

Höfum við séð snemmbúin sönnunargögn um „lítur rétt út“ gallamynstrið í eigin gervigreindaraðstoðuðum kóða?
Hvaða greiningaraðferð myndi taka beinna á sértækri áhættu þessa viðfangsefnis fyrir okkur?
Hefur mælikvarðaverðbólga frá gervigreindaraðstoð breiðst út í einhverja niðurstreymis leiðslumælikvarða okkar?
Er núverandi rýni okkar á gervigreindaraðstoðuðum kóða sönnunarbyggð eða órannsökuð sjálfgefin stilling?
Hvernig er leiðsögn þessa viðfangsefnis í raun móttekin hjá teyminu okkar: sem áhættustjórnun eða sem mótstaða gegn gervigreindarupptöku?

Helstu atriði til að muna

Mælikvarðaverðbólga og gæðaþynning eru magnaðar útgáfur áhættu sem þessi bók nefnir þegar, sem krefjast þess að fyrirliggjandi varnarmælikvarðar vinni harðar, ekki alveg nýrra ramma.
Tilhneiging gervigreindarframleidds kóða til að „líta rétt út“ veikir sérstaklega hefðbundna, mynsturgreinandi mannlega kóðayfirferð.
Fjárfestu í greiningaraðferðum sem standast yfirborðssannfæringu, einkum stökkbreytinga- og eigindabyggðri prófun.
Beittu tímabundinni, sönnunardrifinni endurkvörðunarstöðu, ekki varanlegri almennri tortryggni eða varanlegu órannsökuðu trausti.
Komdu þessari áhættu á framfæri sem hlutfallslegri áhættustjórnun, ekki sem rökum gegn gervigreindarupptöku, til að styðja bæði öryggi og sjálfbæra notkun.

Heimildir og frekara lesefni

Accelerate: The Science of Lean Software and DevOps, eftir Nicole Forsgren, Jez Humble og Gene Kim (hraða-og-stöðugleika paraði agi sem þetta viðfangsefni beitir á nýjan áhættuflokk).
Jia, Yue, og Mark Harman, „An Analysis and Survey of the Development of Mutation Testing,“ IEEE Transactions on Software Engineering (2011): greiningaraðferðin sem þetta viðfangsefni heldur fram að verði ósamhlutfallslega verðmæt.
Rannsóknir GitHub á paraforritun með gervigreind og framleiðni þróunaraðila (iðnaðargögn um niðurstöður og áhættu gervigreindaraðstoðaðrar þróunar).
The Tyranny of Metrics, eftir Jerry Z. Muller (mælikvarðabundningur og leikáhætta, beint viðeigandi fyrir mælikvarðaverðbólguáhyggjuna sem þetta viðfangsefni nefnir).