7.0 Introduktion til del 7: Metrikker i AI-alderen

Hver eneste metrik i denne bog indtil nu blev bygget til en verden, hvor det at skrive kode var den knappe, krævende ressource. Generative AI-værktøjer har ændret den præmis hurtigere, end de fleste organisationers metrikker har kunnet følge med. Når et værktøj kan frembringe en plausibelt udseende pull request på sekunder, holder flere metrikker, som bogen dækker i tidligere dele, op med at måle det, de plejede at måle: aktivitetstal mest direkte (emne 3.4), og i reel udstrækning rå udrulningsfrekvens (emne 2.10) og endda testdækning (emne 4.2), hvis den jages skødesløst. Denne del findes, fordi et metrikprogram, der ikke eksplicit tager højde for dette skifte, risikerer selvsikkert at rapportere tal, der stille er blevet meningsløse, eller værre, aktivt kontraproduktive.

Delens fire emner følger en bevidst bue. Emne 7.1 benævner skiftet direkte og forklarer, hvorfor det er et paradigmeskifte og ikke en gradvis justering. Emne 7.2 dækker, hvordan man faktisk måler, om AI-assisteret udvikling hjælper, ved hjælp af den disciplin med resultater frem for output, som emne 1.3 etablerede fra bogens allerførste begyndelse. Emne 7.3 benævner de specifikke nye risici, dette skifte indfører: metrikker, der pustes op uden tilsvarende værdi, og kvalitetsudvanding, der løber fra branchens nuværende evne til at opdage den. Emne 7.4 afslutter delen med bogens svar på hele skiftet: en bevidst omlægning mod resultattelemetri som de metrikker, der betyder mest, netop fordi outputvolumen, som denne del argumenterer for hele vejen igennem, aldrig var det rigtige at optimere for, og generativ AI blot har gjort den sandhed umulig at ignorere længere.

For store teams er denne del presserende snarere end spekulativ. Store virksomheder, der tager AI-kodeassistenter i brug i stor skala, har brug for hurtigt at vide, om deres eksisterende metrikker stadig betyder det, de tror; offentlige organisationer, der ofte bevæger sig mere forsigtigt med AI-indførelse, men står over for det samme underliggende værktøjsskifte i den bredere branche, de rekrutterer fra og sammenligner sig med, har brug for denne dels vejledning til at fortolke branchens benchmarks korrekt, efterhånden som disse benchmarks selv forskydes under det samme pres.

Emner i denne del

7.1 Paradigmeskiftet med generativ AI: Hvorfor dette er en grundlæggende ændring i, hvad flere eksisterende metrikker måler, ikke blot et nyt værktøj at lægge til værktøjskassen.
7.2 Måling af AI-assisteret softwareudvikling: Hvordan man måler, om AI-assistance faktisk hjælper, ved hjælp af resultatdata frem for outputvolumen.
7.3 Risici ved metrikinflation og kvalitetsudvanding: De specifikke nye risici for manipulation og kvalitet, dette skifte indfører, og hvordan man værner mod dem.
7.4 Resultattelemetri som den nye nordstjerne: Bogens svar på hele skiftet: en bevidst, permanent omlægning mod resultatmetrikker, efterhånden som output bliver billigt.

Hvordan disse emner hænger sammen

Emne 7.1 fastslår, hvorfor denne del overhovedet findes; emne 7.2 giver den praktiske målevejledning, skiftet kræver; emne 7.3 benævner de specifikke fejltilstande, en organisation skal værne mod, når den indfører AI-assisteret udvikling; og emne 7.4 generaliserer lektien til et permanent princip, der overlever ethvert specifikt værktøj eller enhver leverandør. Denne del er mindre en selvstændig metrikfamilie, på den måde del 2 til 6 hver dækker et adskilt domæne, og mere en linse, der anvendes tilbage på hele bogen: hvert tidligere emnes aktivitets-, output- og endda nogle resultatmetrikker skal gentænkes gennem denne dels spørgsmål, efterhånden som AI-assisteret udvikling bliver standardpraksis og ikke undtagelsen.

Denne del hænger mest direkte sammen med emne 1.3’s princip om resultater frem for output og emne 3.4’s advarsel mod aktivitetsmetrikker, som denne del begge behandler som værende rigtige hele tiden, nu bevist presserende af et teknologiskifte, der gør deres modsætning, at måle efter volumen, aktivt farlig snarere end blot suboptimal. Den peger også frem mod del 8’s praktiske vejledning om at bygge et metrikprogram, da et dashboard designet før dette skifte kræver bevidst genovervejelse, ikke blot gradvis justering, i lyset af det, denne del dækker.