7.0 第7部への導入:AI時代の指標

これまで本書のすべての指標は、コードを書くことが希少で労力を要するリソースである世界のために構築されてきました。生成AIのツールは、ほとんどの組織の指標が追いつく前にその前提を変えてしまいました。ツールが数秒でもっともらしく見えるプルリクエストを生み出すことができるとき、本書の前の部でカバーされたいくつかの指標、最も直接的には活動の件数(トピック3.4)、そして不注意に追求されると実質的な程度まで生のデプロイ頻度(トピック2.10)やテストカバレッジ(トピック4.2)さえも、以前測定していたものを測定しなくなります。この部は、この変化を明示的に考慮しない指標プログラムが、静かに意味をなさなくなった、あるいはさらに悪いことに積極的に逆効果な数字を自信を持って報告するリスクを冒すために存在します。

この部の4つのトピックは意図的な弧を描いています。トピック7.1はその変化に直接名前をつけ、それがなぜ段階的な調整ではなくパラダイムの変化であるかを説明します。トピック7.2は、本書の最初からトピック1.3が確立した産出より成果の規律を使って、AI支援の開発が実際に役立っているかどうかをどう測定するかをカバーします。トピック7.3は、この変化がもたらす特定の新しいリスクに名前をつけます。対応する価値なしに膨らむ指標と、業界の現在の検出能力を上回る品質の希釈です。トピック7.4は、この変化全体に対する本書の答えでこの部を締めくくります。アウトプットの量を最適化すべきことは、本書のこの部が一貫して論じているように、そもそも一度も正しいことではなく、生成AIは単にその真実をもはや無視することを不可能にしただけなので、最も重要な指標として成果のテレメトリーへの意図的な転換です。

大規模なチームにとって、この部は推測的ではなく緊急です。AIのコーディングアシスタントを大規模に採用する企業組織は、既存の指標が依然として彼らが考えている意味を持っているかどうかを早急に知る必要があります。しばしばAIの採用についてより慎重に動くが、彼らが採用しベンチマークする、より広い業界の同じ根底にあるツールの変化に直面する政府組織は、それらのベンチマーク自体が同じプレッシャーの下で変化するにつれて、業界のベンチマークを正しく解釈するためにこの部の指針を必要とします。

この部のトピック

• 7.1 生成AIのパラダイムシフト: なぜこれが、ツールボックスに追加する単なる新しいツールではなく、既存のいくつかの指標が測定するものへの根本的な変化であるか。
• 7.2 AI支援のソフトウェア開発の測定: アウトプットの量ではなく成果のデータを使って、AI支援が実際に役立っているかどうかをどう測定するか。
• 7.3 指標のインフレと品質の希釈のリスク: この変化がもたらす特定の新しいゲーミングと品質のリスク、そしてそれらからどう守るか。
• 7.4 新しい北極星としての成果のテレメトリー: この変化全体に対する本書の答え。アウトプットが安価になるにつれて成果の指標への意図的で永続的な転換。

これらのトピックがどう相互に関連するか

トピック7.1は、そもそもなぜこの部が存在するかを確立します。トピック7.2は、その変化が求める実用的な測定の指針を与えます。トピック7.3は、組織がAI支援の開発を採用するにつれて守らなければならない特定の失敗モードに名前をつけます。そしてトピック7.4は、その教訓を、特定のどんなツールやベンダーをも超えて続く永続的な原則に一般化します。この部は、第2部から第6部のそれぞれが異なる領域をカバーする方法でのスタンドアロンの指標ファミリーというよりも、本書全体を振り返って適用されるレンズです。前のすべてのトピックの活動、アウトプット、そしていくつかの成果の指標さえも、AI支援の開発が例外的ではなく標準的な実践になるにつれて、この部の問いを通じて再検討される必要があります。

この部は、トピック1.3の産出より成果の原則とトピック3.4の活動指標への警告に最も直接つながります。この部は両方とも、最初からずっと正しかったが、今や、それらの反対(量で測定すること)を単に最適ではないだけでなく積極的に危険にする技術の変化によって緊急に証明されたものとして扱います。それはまた、第8部の指標プログラムを構築することについての実用的な指針も準備します。この変化の前に設計されたダッシュボードは、この部がカバーすることに照らして、単なる段階的な調整ではなく意図的な再考を必要とするからです。