はじめに

この本は、ソフトウェアエンジニアリングをうまく測るための実践的なガイドです。5人のスタートアップから、数千人のエンジニアを抱える企業、あるいは法定のパフォーマンス枠組みに対して報告する政府機関まで、あらゆるチームを対象にしています。この本が存在するのは、指標に関する助言の多くが、運用の詳細を欠いたフレームワークの要約か、ツールベンダーの機能一覧のどちらかだからです。この本はそのどちらにもならないよう努めます。何を測るべきかについて明確な意見を持ち、各指標がどう操作されるかを明示し、チームが恐れるのではなく信頼する指標プログラムの運営方法について実践的です。

想定読者

主な読者は、組織が何を測るかを選ぶ人たちです。エンジニアリングリーダー、スタッフ/プリンシパルエンジニア、プラットフォームやDevOpsのチーム、そしてプログラム/プロダクトマネージャーです。副次的な読者は、動かすよう求められているダッシュボードの背後にある理屈を理解したい、あるいは目的に役立たなくなった指標に異議を唱えたいすべてのエンジニアです。端から端まで読む必要はありません。各トピックは単独で成り立ち、まず原則を述べ、実践的な要点、成熟度モデル、参考文献で終わります。

本の構成

この本は部(整数)とトピック(小数)に分かれています。トピックN.0が各部を紹介し、その部のトピックがどう関連するかを説明します。トピックN.1、N.2、…がそれぞれのトピックを深く扱います。

第1部、測定の基礎: そもそもなぜ測るのか、グッドハートの法則と操作の心理学、アウトプットよりアウトカムを選ぶこと、ガバナンスとオーナーシップ、データソース、そしてあらゆる指標プログラムに必要な統計リテラシー。
第2部、フロー指標: フロー・フレームワーク、そのフロー項目と5つのフロー指標、サイクルタイム、待ち行列理論、古典的なリーン・バリューストリーム指標、プルリクエストとコードレビューの指標、そしてリファレンス・トピックとしてのDORAフレームワーク。
第3部、開発者体験とSPACEフレームワーク: SPACEフレームワークとその5つの次元、そして開発者体験サーベイを人気投票にせずに実施する方法。
第4部、コードと品質の指標: 複雑さ、テストカバレッジと有効性、チャーンとホットスポット、静的解析、技術的負債、ドキュメント。
第5部、製品とビジネスの指標: エスケープした欠陥、機能の採用、顧客とビジネスの成果、ユニットエコノミクス、投資収益率。
第6部、信頼性・運用・セキュリティの指標: SLI、SLO、エラーバジェット、インシデント指標、オンコールとキャパシティ、セキュリティと脆弱性の指標。
第7部、AI時代の指標: 生成AIのパラダイムシフト、AI支援開発の測り方、指標インフレのリスク、そしてアウトプットが安くなるとなぜアウトカム・テレメトリが北極星になるのか。
第8部、指標プログラムの構築: ダッシュボードの設計、作るか買うか、恐れを生まずに指標を展開すること、成熟度モデル、段階的な導入ロードマップ。
第9部、付録: 用語集、指標の定義と数式のリファレンス、チェックリスト、テンプレート、成熟度の自己評価、参考文献、索引。

指針となる原則

8つの原則が本の背骨です。

目標になった測定は、良い測定ではなくなります。 歪みが現れてからではなく、最初からグッドハートの法則を見据えて設計してください。
アクティビティよりアウトプット、アウトプットよりアウトカム。 すべての指標セットを、チームが何を生み出したか、どれだけ忙しかったかではなく、顧客やビジネスにとって何が変わったかに重みづけてください。
インセンティブのかかった指標にはすべてガードレールが必要です。 速度は品質と、スループットは安定性と組み合わせ、 1つの数字だけを単独で追いかけないでください。
人ではなくシステムを測りましょう。 責任を個人に帰す指標は信頼を壊し、操作を招きます。システムの制約を明らかにする指標は、改善を招きます。
得られるところでは自己申告よりインストルメンテーションを好み、得られないところでは自己申告を使いましょう。 デプロイ数はパイプラインから、満足度は尋ねることから得られます。
指標は、自分の居場所を勝ち取るか、引退するかです。 ダッシュボードのタイルはどれも注意力を消費します。意図的に刈り込んでください。
ダッシュボードより定義が重要です。 「リードタイム」を別々に計算する2つのチームは、数字に基づいて行動するより、数字をめぐって議論することに多くの時間を費やします。
生成AIは、基準線を引き直すだけでなく、見直すべき理由です。 アウトプットが安くなると、アウトプット量を軸に作られた指標には、新しい目標だけでなく新しいガードレールが必要になります。

横断的なテーマ

グッドハートの法則は、トピック1.2だけでなく、この本のすべての部を貫く唯一のテーマです。指標ファミリーのトピックはどれも、扱う指標がどう操作されるか、どのガードレールがそれを捕まえるかを述べます。指標が法的・契約上の重みを持ちうる政府や企業の報告義務は、1つのトピックに閉じた後付けではなく、全体を通じて設計の入力として扱われます。

使い方

段階的に導入してください。ダッシュボードを持ったことのないチームに、一度にダッシュボードを落とさないでください。痛みが最も大きいところから始め、各トピックの成熟度モデルで自分の位置を正直に確認し、導入ロードマップ(トピック8.5)に作業の順序を決めさせてください。目標はチャートの壁ではありません。自分たちのしていることが機能しているかどうかを証拠をもって語れ、自分たちの数字を行動に移せるほど信頼している組織です。