7.0 Introduktion till del 7: Mätetal i AI-eran
Varje mätetal i den här boken hittills byggdes för en värld där att skriva kod var den knappa, arbetskrävande resursen. Generativa AI-verktyg har ändrat den premissen snabbare än de flesta organisationers mätetal har hunnit med. När ett verktyg kan producera en plausibelt-utseende pull request på sekunder, slutar flera mätetal den här boken täcker i tidigare delar, aktivitetsantal mest direkt (ämne 3.4), och i verklig utsträckning rå driftsättningsfrekvens (ämne 2.10) och även testtäckning (ämne 4.2) om jagad vårdslöst, mäta vad de brukade mäta. Den här delen existerar eftersom ett mätetalsprogram som inte explicit räknar med det här skiftet riskerar att självsäkert rapportera tal som tyst har blivit meningslösa, eller värre, aktivt kontraproduktiva.
Den här delens fyra ämnen spårar en medveten båge. Ämne 7.1 namnger skiftet direkt och förklarar varför det är en paradigmändring, inte en inkrementell justering. Ämne 7.2 täcker hur man faktiskt mäter om AI-assisterad utveckling hjälper, med hjälp av utfall-före-output-disciplinen ämne 1.3 etablerade från den här bokens allra första start. Ämne 7.3 namnger de specifika nya riskerna det här skiftet introducerar: mätetal som blåser upp utan motsvarande värde, och kvalitetsutspädning som överträffar branschens nuvarande förmåga att upptäcka den. Ämne 7.4 avslutar delen med den här bokens svar på hela skiftet: en medveten pivot mot utfallstelemetri som de mätetal som spelar mest roll, precis eftersom outputvolym, den här delen argumenterar genomgående, aldrig var rätt sak att optimera för i första hand, och generativ AI har helt enkelt gjort den sanningen omöjlig att ignorera längre.
För stora team är den här delen brådskande snarare än spekulativ. Stora företag som antar AI-kodassistenter i skala behöver snabbt veta om deras befintliga mätetal fortfarande betyder vad de tror de betyder; myndigheter, som ofta rör sig mer försiktigt på AI-antagande men möter samma underliggande verktygsskifte i den bredare branschen de rekryterar från och jämför mot, behöver den här delens vägledning för att tolka branschriktmärken korrekt när de riktmärkena själva skiftar under samma tryck.
Ämnen i denna del
- 7.1 Det generativa AI-paradigmskiftet: Varför det här är en fundamental ändring av vad flera befintliga mätetal mäter, inte bara ett nytt verktyg att lägga till i verktygslådan.
- 7.2 Att mäta AI-assisterad mjukvaruutveckling: Hur man mäter om AI-assistans faktiskt hjälper, med hjälp av utfallsdata snarare än outputvolym.
- 7.3 Mätetalsinflation och kvalitetsutspädningsrisker: De specifika nya manipulations- och kvalitetsriskerna det här skiftet introducerar, och hur man skyddar sig mot dem.
- 7.4 Utfallstelemetri som den nya nordstjärnan: Den här bokens svar på hela skiftet: en medveten, permanent pivot mot utfallsmätetal när output blir billigt.
Hur dessa ämnen hänger ihop
Ämne 7.1 etablerar varför den här delen existerar alls; ämne 7.2 ger den praktiska mätningsvägledningen skiftet kräver; ämne 7.3 namnger de specifika felmönstren en organisation behöver skydda sig mot när den antar AI-assisterad utveckling; och ämne 7.4 generaliserar lärdomen till en permanent princip som överlever varje specifikt verktyg eller leverantör. Den här delen är mindre en fristående mätetalsfamilj, på det sätt del 2 till 6 vardera täcker en distinkt domän, och mer en lins tillämpad tillbaka över hela boken: varje tidigare ämnes aktivitets-, output-, och även vissa utfallsmätetal behöver omprövas genom den här delens frågor när AI-assisterad utveckling blir standardpraxis, inte exceptionell.
Den här delen kopplar mest direkt tillbaka till ämne 1.3:s utfall-före-output-princip och ämne 3.4:s varning mot aktivitetsmätetal, båda vilka den här delen behandlar som att ha varit korrekta hela tiden, nu bevisade brådskande så av ett teknikskifte som gör deras motsats, att mäta efter volym, aktivt farligt snarare än bara suboptimalt. Den sätter också upp del 8:s praktiska vägledning om att bygga ett mätetalsprogram, eftersom en instrumentpanel designad innan det här skiftet behöver medveten omprövning, inte bara inkrementell justering, i ljuset av vad den här delen täcker.