7.4 新しい北極星としての成果のテレメトリー

概要と動機

本トピックは第7部を締めくくり、ある本物の意味で、本書全体がトピック1.3以来築いてきた議論を、単一の直接的な主張で締めくくります。生成AIが生のアウトプットを安価にするにつれて、成果のテレメトリー、活動やアウトプットではなく実際の成果の継続的で計測された測定は、いくつかある良い実践の一つであることをやめ、指標プログラムがその周りに構築されなければならない組織化の原則になります。これはここで初めて導入される新しい考えではありません。それはトピック1.3が本書の冒頭の部で導入した考えであり、今やあらゆる代替案を以前よりも危険にした技術の変化への、単に望ましいだけでなく必要な対応として提示されています。

その論理は直接的です。生成AI以前は、アウトプットの量は努力の不完全だが無価値ではない代理であり、緩やかに価値の代理でした。より多くの機能を出荷したチームは、その仕事が常に正しい仕事だったわけではなくても、少なくともより多くの仕事をしていました。生成AIはその緩やかな結びつきさえ断ち切ります。アウトプットの量はもはや努力を信頼できる形で示しません。ツールがそれを数秒で生成できるからです。そしてそれは確実に価値を示しません。トピック7.3が、膨らんだアウトプットが劣化する品質と共存しうることを示したからです。この変化を無傷で生き延びる指標は、まさに本書が冒頭のトピックから構築することを強調してきたものです。エスケープした欠陥率(トピック5.1)、機能の採用(トピック5.2)、顧客とビジネスの成果(トピック5.3)、信頼性(第6部)、そして開発者の幸福感(第3部)です。これらのどれも、基盤となるコードがどう生み出されたかに依存しません。それらすべてが結果として実際に何が起きたかを測定します。

大規模なチームにとって、本トピックの議論は、今後指標プログラムがどう構築され再構築されるべきかについて直接的で実用的な結果を持ちます。AIの採用に照らしてエンジニアリングのダッシュボードを再設計する企業組織は、本トピックが説明する成果のテレメトリーのインフラに特に投資を重み付けすべきです。AIのツールとそれが組み込まれているより広い技術プログラムの両方を評価する政府組織は、本トピックが信頼でき将来にわたって有効などんな評価のための基準として推奨する同じ成果のテレメトリーの基準に両方を照らすべきです。

重要な原則

アウトプットが安価になると、成果のテレメトリーは単に望ましいだけでなく必要になる。 これはトピック1.3の創設の原則であり、今や願望的ではなく緊急です。
この変化を生き延びる指標は、本書が一貫して構築してきたものです。 エスケープした欠陥、採用、ビジネスの成果、信頼性、幸福感です。
主にアウトプットの指標の周りに構築された指標プログラムは、今や単に最適でない選択ではなく負債である。 アウトプットの指標は規模で安価かつ速く膨らまされる可能性があります。
成果のテレメトリーは本物の投資、計測、より遅いシグナルへの忍耐、そしてより速く安価だが今や信頼できなくなったアウトプットの指標への引力に抵抗する組織的な規律を必要とする。
この原則は特定のどんなAIツールやベンダーをも超えて続く。 それはアウトプットが意味することにおける持続的な変化への持続的な対応であり、過ぎ去るトレンドへの一時的な調整ではありません。

推奨事項

あなたの指標投資の比率を監査する:成果のテレメトリー対アウトプットの追跡

あなたの現在の指標インフラ、計測の努力、ダッシュボードの占有スペース、レビュー会議の時間のうち、おおよそどれだけの割合が成果の指標(第5部、第6部、第3部からの開発者の幸福感)に向かっているか、アウトプットと活動の指標(デプロイ件数、コミットの量、プルリクエストのスループット)と比較してどうかを計算してください。アウトプットの追跡が支配的であるなら、本トピックの議論を考えると、その比率自体が今や負債であり、それを再バランスすることが本トピックが推奨する単一の最もレバレッジの高い変更です。

成果のテレメトリーのインフラに一流のエンジニアリング投資として意図的に投資する

成果の測定、機能の採用の追跡、ビジネスの成果の相関(トピック5.3)、信頼性の計測(第6部)は、多くの組織が今日多くのダッシュボードを支配する比較的安価で簡単なアウトプットの指標と比較して、歴史的に過小配分してきた本物の継続的なエンジニアリングの投資を必要とします。このインフラへの投資を、AIのツール自体への投資の背後にある二次的な懸念としてではなく、本書が他のどんな重要なエンジニアリング能力にも適用する同じ真剣さで扱ってください。

成果のテレメトリーがより遅いことを受け入れて伝え、それに対する忍耐をあなたの組織の期待に組み込む

成果の指標は、ほとんどその性質上、アウトプットの指標よりも遅れが大きくノイズが多いです(トピック1.3の先行対遅行の区別、トピック1.6の統計的な注意)。アウトプットの数字が上昇するのを見る速く満足のいくフィードバックに慣れた組織は、成果のテレメトリーが提供するより遅くより正直なシグナルに対する本物の忍耐を構築する必要があり、リーダーシップは、素早い結果を示すプレッシャーの下で反射的により速いが今や信頼できなくなった代替案に手を伸ばすのではなく、積極的にその忍耐を伝えモデル化する必要があります。

この変化を、成果の指標を単に並べて追加するだけでなく、本物に時代遅れになったアウトプットの指標を廃止する機会として使う

もはやその価値に見合わない指標を廃止するというトピック1.1の規律に従い、この瞬間を、変更されていない既存のダッシュボードの上に単に成果の指標を追加するのではなく、この変化が特に価値を下げたアウトプットと活動の指標を取り除く意図的な機会として使ってください。すべての古いアウトプットの指標を保持しながら新しい成果の指標を取り付けるダッシュボードは、本物に改善されるのではなく膨張します。

成果のテレメトリーへの投資を、特定のどんなAIツールやベンダーの関係からも独立した永続的なものとして扱う

成果のテレメトリーのインフラを、あなたの組織が今年たまたま使っているどのAIツールに対する反応としてではなく、永続的な組織的能力として構築してください。この原則、そしてそれが求めるインフラは、特定のどんなベンダーの関係やツールの世代をも超えて続きます。そしてそれを永続的な能力として構築することは、現在の変化と同じくらい次の技術の変化からもあなたの指標プログラムを保護します。

トレードオフ:長所と短所

アプローチ	長所	短所
アウトプットの指標が支配的なダッシュボード	速く安価なフィードバック。ほとんどの組織に馴染みがある	生成AIがアウトプットのコストに与えた影響を考えると今や積極的に信頼できない
成果のテレメトリーが支配的なダッシュボード	この変化に対して回復力がある。実際に重要なことを測定する	より遅くノイズの多いシグナル。本物の計測への投資が必要
変更されていないアウトプットの指標と並んで成果の指標を追加する	段階的で混乱が少ない	本物の改善ではなくダッシュボードの膨張を生み出す
成果のテレメトリーへの完全で意図的な再バランス	この変化に直接完全に対処する	最も重大な組織的および投資の変化が必要

中心にある緊張関係は、ある本物の意味で、本書がトピック1.3で始めたのと同じものであり、今やその最も緊急な形に鋭くなっています。速く馴染みのあるフィードバックとより遅く正直なシグナルです。アウトプットの指標は常により簡単で速く生み出せました。本トピックの議論は、生成AIがそのトレードオフを単に最適でないものから積極的に危険なものへと動かしたということです。この緊張を、本書が冒頭のトピックから推奨してきた方法で解消してください。決定的に成果に重みをつけ、本物の価値測定に伴うより遅いフィードバックを受け入れ、そのより遅いフィードバックの不快さを、単に便利な何かではなく実際の何かを測定することの正直なコストとして扱ってください。

チームで話し合うべき問い

私たちの現在の指標インフラとダッシュボードの注目のうち、どれだけの割合が成果の指標に向かっており、アウトプットと活動の指標と比較してどうでしょうか。この比率を正直に計算してください。初めて評価されたほとんどの組織は、それが予想していたよりもアウトプットに偏っていることを発見します。
私たちが、より速く安価なアウトプットの追跡を優先して先送りしてきた特定の成果のテレメトリーへのインフラ投資は何でしょうか。 具体的な例、機能の採用の計測、ビジネスの成果の相関のツールを名指しし、それを実際に構築するために何が必要かを話し合ってください。
私たちの組織は、成果のテレメトリーのより遅いフィードバックに対する本物の忍耐を構築したでしょうか、それとも素早い結果へのプレッシャーが私たちを速いが今や信頼できなくなったアウトプットの指標に引き戻し続けているでしょうか。あなたの最近の報告とレビュー会議におけるこのパターンについて正直になってください。
私たちの現在のダッシュボードにあるどのアウトプットあるいは活動の指標が、本トピックの議論が特にそれに当てはまる今、廃止の本物の候補でしょうか。少なくとも一つを特定し、単に隙間を残すのではなく、何がそれに取って代わる必要があるかを話し合ってください。
もし私たちのAIツールのベンダーや現在の世代のAIコーディングアシスタントが来年劇的に変わったら、私たちの指標プログラムは依然として成り立つでしょうか。これは、あなたの成果のテレメトリーへの投資が永続的な能力として構築され本物に永続的であるか、それとも単にあなたの現在のツールの状況に特有の反応であるかをテストします。
私たちの組織が本トピックの議論に完全にコミットし、段階的にではなく決定的に私たちの指標投資を成果に向けて再バランスしたらどうなるでしょうか。これを抽象的なままにするのではなく具体的にスケッチしてください。現在の状態とこのビジョンの間のギャップが、あなたの組織のこの変化への対応のための実際のロードマップです。

業種別の視点

スタートアップ。 アウトプットの指標が深く定着した組織的な習慣になる機会を得る前に、早期に成果のテレメトリーを構築することは、後でそれを改修するよりも本物に簡単です。最初からAIのコーディング支援を採用する若い企業は、既存のアウトプットの指標が支配的な文化を解消する必要なしに、その指標プログラムを成果優先で構築する本物の機会を持っています。

中小企業。 本書がカバーするすべての成果のカテゴリーにわたる包括的な計測を試みるのではなく、生存と成長を最も直接的に反映する単一の成果の指標(トピック5.3)に成果のテレメトリーへの投資を集中させてください。控えめで焦点を絞った成果のテレメトリーへの投資は、本トピックの議論が今や特に価値を下げた包括的なアウトプットの指標のダッシュボードに勝ります。

企業。 本トピックが推奨する再バランスは、この規模では本物の重大な組織的な変化であり、おそらくエグゼクティブのスポンサーシップと複数四半期にわたる投資計画が必要です。本書がカバーする他のどんな主要なインフラへの投資とも同じ真剣さでそれを扱い、トピック7.1とトピック7.3からの特定の具体的な例、再バランスされたダッシュボードが早期に捕捉していたであろう指標のインフレと品質の希釈を使って、その投資のための内部の事例を構築してください。

政府。 主に提供とアウトプットの指標(出荷された機能、予定通り)で評価される政府の技術プログラムは、トピック5.3が説明したまさにその懐疑にますます脆弱であり、AIのツールの採用が政府機関が採用し比較されるより広い業界に広がるにつれて、本トピックの議論はその脆弱性をさらに鋭くします。成果のテレメトリーを公の報告と予算の正当化の主要な基礎として構築し、あなたの組織をこの変化の後ろではなく前に位置づけてください。

事例

企業。 あるソフトウェア会社のエンジニアリングのリーダーシップは、トピック7.1のフィンテックの例で説明された指標のインフレのニアミスに直接促され、その指標投資の比率の完全な監査を実施し、ダッシュボードの占有スペースと計測の努力のほぼ70%がアウトプットと活動の指標に充てられており、成果のテレメトリーへの投資はわずかで一貫性がないことを発見しました。翌年にわたって、会社はこの比率を意図的に再バランスし、トピック7.1の監査が最も露出していると警告したいくつかのアウトプットの指標を廃止し、解放された容量を機能の採用とビジネスの成果の計測(トピック5.2、トピック5.3)に投資しました。結果として得られたダッシュボードは、翌年の取締役会で提示され、同じ以前は懐疑的だった取締役会のメンバーによって、それが置き換えたアウトプット重視の版よりもエンジニアリングへの投資を評価するための意味のある形でより信頼できる基礎として明示的に評価されました。

政府。 ある国家デジタルサービス機関は、以前のアウトプットの指標が支配的なダッシュボードが持続的な立法の懐疑を招いたという特定の理由から、新しいエンジニアリングの指標プログラムをゼロから構築しており、本トピックの原則をその創設の設計決定として明示的に採用しました。成果のテレメトリー、市民の待ち時間、サービスの完了率、エスケープした欠陥率が、すべての公の報告の主要な基礎となり、アウトプットと提供の指標は内部の診断ツールとしてのみ保持され、外部に提示される見出しの証拠としては決して使われませんでした。この部がこの生成AIの変化に照らして意図的に構築された成果優先の設計は、その監督委員会に対して、以前の世代のアウトプットの指標の仮定の周りに構築された前身のプログラムが決して達成しなかった耐久性と信頼性を機関の報告に与えました。

ビジネスケース:動機、ROI、総所有コスト

成果のテレメトリーに決定的にコミットすることからの見返りは、将来の何らかの技術の変化を通じてアウトプットが再び安価になる次の時に別の重大な改修を必要とするものではなく、現在の技術の変化とその後に来るものを通じて信頼でき信頼性のある指標プログラムです。上記のソフトウェア会社の例はこれを具体的に示しています。再バランスされたダッシュボードは、以前のアウトプット重視の版が本物のリスクにさらしていた信頼性を直接修復しました。

総所有コストは、本トピックが推奨する成果のテレメトリーのインフラへの投資であり、大規模な組織にとっては本物に重大な複数四半期にわたる仕事です。これは、アウトプットが安くなり続けるにつれて段階的に信頼性が低下していく指標プログラムの永続的な長期的リスクに対して比較検討されます。これは本書があなたに軽々しく受け入れてほしいと求めるコストではありません。それは、本書のこの最後の部があなたに求めるのと同じくらい真剣にトピック1.3の創設の議論を受け止めることの直接的で必要な結果です。

アンチパターンと落とし穴

この変化が本物の再バランスではなく単なる段階的な調整だけを必要とすると扱う。 生成AIがアウトプットの指標が意味することに導入した変化の規模を過小評価します。
変更されていない依然として支配的なアウトプットの指標のセットと並んで成果の指標を追加する。 本トピックが主張する本物の再バランスではなくダッシュボードの膨張を生み出します。
成果のテレメトリーへの投資を永続的な能力としてではなく特定の現在のAIツールへの反応として構築する。 組織を同じように次の技術の変化にさらされたままにします。
成果のテレメトリーのより遅いフィードバックに対する組織的な忍耐を構築することに失敗する。 素早い結果へのプレッシャーの下で、より速いが今や信頼できなくなったアウトプットの指標に逆戻りするリスクを冒します。
本物の成果のテレメトリーの代替なしにアウトプットの指標を廃止する。 本物の改善ではなく測定のギャップを残します。
この変化をステークホルダーに単にAIのツールへの対応としてではなく本書の創設の原則の実現として提示することに失敗する。 その議論の永続性と一般性を過小評価します。

成熟度モデル

レベル1、開始: ダッシュボードは依然としてアウトプットの指標が支配的であり、本トピックがカバーするこの変化への意図的な対応はありません。
レベル2、発展: いくつかの成果の指標が追加されましたが、全体的な投資の比率は依然としてアウトプットに偏っており、どんな指標も意図的に廃止されていません。
レベル3、標準化: 成果のテレメトリーに向けた意図的な監査と再バランスが実施され、本物に時代遅れになったアウトプットの指標が組織全体で廃止されています。
レベル4、管理: 成果のテレメトリーのインフラは一流の継続的なエンジニアリング投資として扱われ、そのより遅いフィードバックに対する組織的な忍耐が積極的に育成され保護されています。
レベル5、最適化: 組織の指標プログラムは、永続的な恒久的な設計原則として成果のテレメトリー主導であり、現在の技術の変化を通じて回復力があると証明されており、次に来るどんなものを通じても回復力を保つよう明示的に構築されています。

議論のためのアイデア

私たちの成果の指標対アウトプットの指標への投資の実際の現在の比率はどうなっているでしょうか。
今四半期私たちが廃止すべき単一のアウトプットの指標は何で、どの成果の指標がそれに取って代わるべきでしょうか。
組織的な焦りが最近どこで私たちをより速いがより信頼できないアウトプットの指標に引き戻したでしょうか。
私たちの成果のテレメトリーへの投資は永続的でしょうか、それとも私たちの現在のAIツールの状況に特に結びついているでしょうか。
段階的に調整するのではなく本トピックの議論に完全にコミットするには何が必要でしょうか。

主な要点

生成AIがアウトプットを安価にするにつれて、成果のテレメトリーは単に望ましいだけでなく必要になります。 これはトピック1.3の創設の原則であり、今や緊急です。
この変化を生き延びる指標は、本書が一貫して構築してきたものです。エスケープした欠陥、採用、ビジネスの成果、信頼性、幸福感です。
本物に時代遅れになったアウトプットの指標を、単にその横に成果の指標を追加するだけでなく廃止して、あなたの指標投資の比率を意図的に監査し再バランスしてください。
成果のテレメトリーのより遅いフィードバックへの組織的な忍耐を構築し、プレッシャーの下でより速いが今や信頼できなくなったアウトプットの指標への引力に抵抗してください。
この投資を特定のどんなAIツールやベンダーからも独立した永続的な能力として構築し、現在の変化だけでなく将来の技術の変化からもあなたの指標プログラムを保護してください。

参考文献とさらなる読書

Accelerate: The Science of Lean Software and DevOps, Nicole Forsgren、Jez Humble、Gene Kim 著。
Lean Analytics, Alistair Croll、Benjamin Yoskovitz 著。
The Innovator’s Dilemma, Clayton M. Christensen 著。
Measure What Matters, John Doerr 著。