7.0 Introdução à Parte 7: Métricas na era da IA

Cada métrica neste livro até agora foi construída para um mundo onde escrever código era o recurso escasso e trabalhoso. As ferramentas de IA generativa mudaram essa premissa mais depressa do que as métricas da maioria das organizações conseguiram acompanhar. Quando uma ferramenta consegue produzir um pedido de incorporação de mudanças de aspeto plausível em segundos, várias métricas que este livro cobre em partes anteriores, contagens de atividade mais diretamente (tema 3.4), e numa medida real a frequência bruta de implementação (tema 2.10) e até a cobertura de testes (tema 4.2) se perseguida descuidadamente, deixam de medir o que costumavam medir. Esta parte existe porque um programa de métricas que não lida explicitamente com esta mudança arrisca reportar com confiança números que silenciosamente se tornaram sem sentido, ou pior, ativamente contraproducentes.

Os quatro temas desta parte traçam um arco deliberado. O tema 7.1 nomeia a mudança diretamente e explica porque é uma mudança de paradigma, não um ajuste incremental. O tema 7.2 cobre como realmente medir se o desenvolvimento assistido por IA está a ajudar, usando a disciplina de resultados-acima-do-produto que o tema 1.3 estabeleceu desde o início deste livro. O tema 7.3 nomeia os riscos específicos e novos que esta mudança introduz: métricas que inflacionam sem valor correspondente, e diluição de qualidade que ultrapassa a capacidade atual da indústria para a detetar. O tema 7.4 encerra a parte com a resposta deste livro a toda a mudança: um pivô deliberado em direção à telemetria de resultado como as métricas que mais importam, precisamente porque o volume de produção, como esta parte argumenta ao longo de todo o texto, nunca foi a coisa certa a otimizar em primeiro lugar, e a IA generativa simplesmente tornou essa verdade impossível de continuar a ignorar.

Para equipas grandes, esta parte é urgente em vez de especulativa. As organizações empresariais que adotam assistentes de codificação de IA à escala precisam de saber rapidamente se as suas métricas existentes ainda significam o que pensam que significam; as organizações governamentais, muitas vezes a mover-se mais cautelosamente na adoção de IA mas a enfrentar a mesma mudança subjacente de ferramentas na indústria mais ampla de onde recrutam e contra a qual referenciam, precisam da orientação desta parte para interpretar corretamente os padrões de referência da indústria à medida que esses próprios padrões mudam sob a mesma pressão.

Temas nesta parte

7.1 A mudança de paradigma da IA generativa: Porque esta é uma mudança fundamental ao que várias métricas existentes medem, não apenas uma nova ferramenta a acrescentar à caixa de ferramentas.
7.2 Medir o desenvolvimento de software assistido por IA: Como medir se a assistência de IA está realmente a ajudar, usando dados de resultado em vez de volume de produção.
7.3 Riscos de inflação de métricas e diluição de qualidade: Os riscos específicos e novos de manipulação e qualidade que esta mudança introduz, e como se proteger contra eles.
7.4 A telemetria de resultado como a nova estrela-guia: A resposta deste livro a toda a mudança: um pivô deliberado e permanente em direção a métricas de resultado à medida que a produção se torna barata.

Como estes temas se inter-relacionam

O tema 7.1 estabelece porque esta parte existe de todo; o tema 7.2 dá a orientação prática de medição que a mudança exige; o tema 7.3 nomeia os modos específicos de falha contra os quais uma organização precisa de se proteger à medida que adota o desenvolvimento assistido por IA; e o tema 7.4 generaliza a lição num princípio permanente que sobrevive a qualquer ferramenta ou fornecedor específico. Esta parte é menos uma família autónoma de métricas, da forma como as Partes 2 a 6 cobrem cada uma um domínio distinto, e mais uma lente aplicada de volta através de todo o livro: a atividade, a produção, e até algumas métricas de resultado de cada tema anterior precisam de ser reexaminadas através das perguntas desta parte à medida que o desenvolvimento assistido por IA se torna prática padrão, não excecional.

Esta parte liga-se mais diretamente de volta ao princípio de resultados-acima-do-produto do tema 1.3 e ao alerta contra métricas de atividade do tema 3.4, ambos os quais esta parte trata como tendo estado corretos desde sempre, agora provados urgentemente assim por uma mudança tecnológica que torna o seu oposto, medir por volume, ativamente perigoso em vez de meramente subótimo. Também prepara a orientação prática da Parte 8 sobre construir um programa de métricas, já que um painel desenhado antes desta mudança precisa de reconsideração deliberada, não apenas ajuste incremental, à luz do que esta parte cobre.