1.4 指標のガバナンスと所有権

概要と動機

オーナーのいないメトリクスは、いずれ起きる論争を待っているようなものです。二つのチームが「アクティブユーザー」を異なる方法で計算し、傾向を管理する代わりに数字をすり合わせるための会議に時間を費やす。誰も保守していないダッシュボードのタイルが、誰も気づかないまま何か月も静かに古びていく。もともと一つのチームの診断のために作られたメトリクスが、別のチームによって、元の定義がまったく想定していなかった目的のために採用されてしまう。これらはどれも統計的な意味での測定の問題ではありません。これはガバナンスの問題であり、組織がすでにコードに対して適用している規律と同じもので解決できます。明示的な所有権、文書化された信頼できる情報源、そしてレビュープロセスです。

ガバナンスはそれ自体のための官僚主義ではありません。それは、指標プログラムが組織の規模との接触を生き延びるために必要なものです。単一のチームであれば、メトリクスの定義を誰かの頭の中にとどめ、日々の会話を通じてずれを修正できます。それぞれがメトリクスを生み出し消費する数十のチームを抱える組織では、それはできません。ガバナンスがなければ、定義は静かにずれていき、メトリクスは誰も刈り込むことなく増殖し、経営陣が二つの報告書が食い違っていることに気づく頃には、それをすり合わせるコストは無駄になった会議と損なわれた信頼としてすでに何倍にも支払われています。

企業や政府の組織にとって、ガバナンスはさらに重みを持ちます。なぜなら、メトリクスはますます、元のダッシュボードを作った特定の個人よりも長く生き残る、本物の結果を伴う決定(予算配分、公開される業績報告、ベンダー契約)に情報を与えるようになっているからです。職員の入れ替わりを生き延び、新しいチームメンバーが誰でも読んで理解できる指標チャーターこそが、組織の数字が5年後も今日と同じ意味を持ち続けることを保証するものです。

重要な原則

すべてのメトリクスには、ちょうど一人のオーナーがいる。 共有された所有権は所有権がないことと同じです。誰もが所有すれば、誰も保守しません。
メトリクスには一つの信頼できる情報源がある。 同じメトリクスを異なる方法で計算する二つのシステムは、表面化するのを待っているガバナンスの失敗です。
ガバナンスは書き留められるものであり、部族的な知識ではない。 誰かの記憶の中だけに生きる指標チャーターは、その人の離脱を生き延びません。
廃止は採用と同じくらい重要である。 健全な指標プログラムは、成長するのと同じくらい意図的に刈り込みます。
ガバナンスはメトリクスの数ではなく結果の重さに応じて規模を変える。 公開報告書に供給されるメトリクスは、単一のチームが自らのスプリントをデバッグするために使うメトリクスよりも重いガバナンスを必要とします。

推奨事項

チームの境界を越えるすべてのメトリクス群に指標チャーターを書く

指標チャーターとは、あるメトリクス群の目的、その明示的な非目標(トピック1.1の診断的対評価的の区別はここに属します)、各メトリクスのオーナーと信頼できる情報源、そしてレビューの頻度を述べる、短く生きた文書です。1ページに収めてください。これくらい短いチャーターは読まれます。方針文書のように肥大化したチャーターは読まれません。

チームではなく、名指しされたオーナーをすべてのメトリクスに割り当てる

「プラットフォームチームがこのメトリクスを所有している」は、責任を拡散させ、やがて実際には誰も保守しなくなります。特定の個人、あるいは具体的で説明責任を負う役割を名指ししてください。そのオーナーは、メトリクスの定義が正確であり続けること、その計測基盤が健全であり続けること、そして「なぜこの数字はおかしく見えるのか」という、いずれ必ず出てくる問いに答える責任を負います。所有権は、人が役割を変えるにつれてローテーションしてよく、またそうあるべきですが、チャーターは常に現在のオーナーを名指しし、その欄を空白のままにしてはいけません。

メトリクスごとに一つの信頼できる情報源を定め、並行した計算を禁じる

二つのシステムが、名目上は同じ名前のメトリクスを異なる方法で計算するとき、たとえば一方のチームの「アクティブユーザー」はログインを数え、もう一方はAPI呼び出しを数えているとき、その結果として生じる不一致は、最初に一つの信頼できる情報源について合意しておく場合に比べ、すり合わせの会議ではるかに多くの費用がかかります。各メトリクスについて権威あるシステムをチャーターの中で名指しし、同じメトリクスの別の計算方法は、修正すべきバグとして扱うか、別の名前をつけ直すべき別のメトリクスとして扱ってください。

廃止レビューをガバナンスの頻度に組み込む

メトリクスを追加し続けるだけの指標プログラムは、誰も行動を起こせないダッシュボードの肥大化を蓄積します(トピック1.1)。すべてのガバナンスレビューにおいて、新しいメトリクスを提案することと並行して、過去2サイクルの間にどの既存のメトリクスがどんな決定にも情報を与えておらず、廃止の候補であるかを問うてください。廃止は失敗ではありません。それは健全なコードベースがデッドコードに対して適用するのと同じ規律です。

ガバナンスの厳格さを量ではなく結果の重さに合わせて調整する

すべてのメトリクスが同じプロセスを必要とするわけではありません。単一のチームが自らのスプリントをデバッグするために発明するメトリクスは、そのチームが意味を理解していること以上のガバナンスをほとんど必要としません。経営陣のスコアカード、公開業績報告、あるいは個人の報酬に供給されるメトリクスは、文書化された定義、名指しされたオーナー、監査証跡、そして公開前の承認を必要とします。プロセスの重さを、メトリクスがいくつ存在するかではなく、そのメトリクスが間違っていた場合の結果の重さに合わせてください。

トレードオフ:長所と短所

アプローチ	長所	短所
正式なガバナンスなし	小さなチームにとって速く、オーバーヘッドが低い	定義がずれていき、所有権が拡散し、ダッシュボードが無秩序に肥大化する
メトリクス群ごとの軽量なチャーター	安く、読みやすく、組織とともに規模を変えられる	最新に保つ規律が必要で、締め切りのプレッシャーの下では省かれうる
重い中央集権的な指標ガバナンス委員会	強い一貫性、強い監査証跡	新しいメトリクスの承認が遅く、チームが回避するボトルネックになりうる
結果の重さに応じて調整されたガバナンス	労力を実際のリスクに合わせられる	結果を正しく分類する判断力が必要で、賭け金を過小に申告することで操作されうる

中心にある緊張関係は一貫性と速さです。重い中央集権的なガバナンスは信頼できる一貫したメトリクスを生みますが、緊急の問いに答えるために何かをすぐに計装したいまさにそのときにチームを遅らせます。この緊張を解消するには、ガバナンスの重さを結果に応じて調整してください。チームには自らの診断用途のために自由に計装させ、メトリクスがチームの境界を越えるか、評価的あるいは公開的な用途に供給されるようになって初めて、完全なチャーター、所有権、そして承認の規律を要求してください。

チームで話し合うべき問い

チームの境界を越えるすべてのメトリクスには名指しされたオーナーがおり、そのオーナーは今日尋ねられたら自分が説明責任を負っていると認識するでしょうか。「プラットフォームチームが所有している」は答えではありません。特定の個人や役割こそが答えです。チームを横断するメトリクスを監査し、名指しされたオーナーが、そもそも存在するとして、実際にその責任を負っていると知っているかを確認してください。
現在、私たちは名目上は同じ名前のメトリクスを二つの異なる方法で計算している箇所がどこにあり、その不一致をすり合わせるのにどれだけの時間を費やしてきたでしょうか。これは大規模な組織における最も費用のかかる、最もよくあるガバナンスの失敗の一つであり、文書化された単一の信頼できる情報源によって完全に防げるものです。もし実例があれば持ち寄り、そのコストをたどってみてください。
私たちが最後にメトリクスを廃止したのはいつで、何がその決定のきっかけになったでしょうか。 メトリクスをどう追加するかしか説明できず、どう取り除くかを説明できない組織は、ダッシュボードの負債を蓄積しています。もし廃止を思い出せないなら、その不在自体がこの問いへの答えです。
私たちのガバナンスプロセスは結果に比例しているでしょうか、それとも賭け金にかかわらずすべてのメトリクスが同じ重さのレビューを経るでしょうか。賭け金の低いチームメトリクスに過度に重いガバナンスをかけることは、安全上の利益なしに仕事を遅らせます。公開報告書や報酬の決定に供給されるメトリクスに過度に軽いガバナンスをかけることは、本物のリスクです。現在のメトリクスを結果の重さで地図に描き、プロセスの重さをそれと正直に照らし合わせてください。
それを作った人が役割を変えたり離脱したりしたとき、メトリクスの所有権には何が起きるでしょうか。 一人の頭の中だけに存在する指標チャーターは、その人とともに消えます。あるメトリクスを選び、文書化された記録だけから、新しく入社した人がその定義、信頼できる情報源、目的を理解できるかどうかを問うことで、これを検証してください。
メトリクスの定義が静かに変わったら、私たちはどうやってそれに気づくでしょうか。 ある数字がどう計算されるかの変更は、その名前の変更も履歴へのメモもなければ、誰かが古いデータと新しいデータを比較し、説明のつかない不連続性を見つけるまで、ほとんど目に見えません。今日、あなたのメトリクスが何らかの変更ログを持っているかどうかを話し合ってください。

業種別の視点

スタートアップ。 誰もがすでにすべての数字が何を意味するか知っている5人のチームにとって、正式なガバナンスはたいてい過剰です。それでも早めに採用する価値のある唯一の規律は、メトリクスごとに単一のオーナーを文書として名指しすることです。それはほとんど何も費用がかからず、最初の数名の新しい採用者が加わり、ある数字が何を意味するのか尋ね始めたときの混乱を防ぎます。

中小企業。 ここでのガバナンスは主に、スプレッドシートとプラットフォーム組み込みのダッシュボードが静かに乖離していくに任せるのではなく、各メトリクスについて信頼できる情報源として一つのツールを選び、それを守り続けることを意味します。チャーターは、たとえ非公式なものであっても、単一の共有文書として書いてください。そうすれば新しい従業員は、周りに聞いて回らなくても、ある数字が何を意味するかを知ることができます。

企業。 ここでこそガバナンスがその価値を発揮します。事業部を横断して定義を標準化し、経営陣のスコアカードに供給するあらゆるものにチャーターを要求し、廃止レビューを繰り返されるガバナンスの頻度に組み込んでください。なぜなら、この規模でのダッシュボードの肥大化は、保守コストと、二つの部門が同じものについて矛盾した数字を報告したときの信頼性の喪失の両方において、急速に高くつくようになるからです。

政府。 ここでのガバナンスはしばしば法的あるいは監査上の側面を持ちます。公開される業績指標は法定の報告要件を満たす必要があるかもしれず、定義の変更は本物の政治的結果をもたらしうるからです。方法論を公に文書化し、変更それ自体が公に正当化されない限り、報告期間を通じて定義を固定し、メトリクスの現在の値だけでなくその定義についての独立監査を、常設のガバナンス慣行として扱ってください。

事例

企業。 ある多国籍ソフトウェア企業は、買収後の統合の過程で、自社の二大事業部が「デプロイ頻度」を異なる方法で定義していたことを発見しました。一方はステージング環境へのあらゆるプッシュを数え、もう一方は本番リリースだけを数えていました。経営陣は1年以上にわたり、実際には比較可能ではなかった数字を使って二つの部門の提供実績を比較していました。この修正は、メトリクス定義の単一の用語集(本書のトピック9.2に反映されています)を公開し、すべてのチームに準拠の証明を要求し、1四半期以内に曖昧な現地定義を廃止する、全社的な指標ガバナンス委員会でした。

政府。 あるデジタルサービス業績ダッシュボードの公開を担当する国家統計局は、「SLA内で解決」の計算方法に加えられた変更、あるバグだと考えたことを修正しようとしたエンジニアリングチームによって静かになされた変更が、変更についての公開文書もないまま、見出しとなる準拠数値を数パーセントポイント動かしていたことを発見しました。この局は、公開報告書に供給されるあらゆるメトリクス定義について、正式な変更管理プロセスを確立しました。提案された変更には、文書化された根拠、変更と並べて公開される前後比較、そして名指しされた説明責任のある職員による承認が必要です。これにより、以前の変更が気づかれずに通過することを許してしまった隙間を閉じました。

ビジネスケース:動機、ROI、総所有コスト

ガバナンスからの見返りは、すり合わせのコストの回避です。二つのチームがどちらの数字が正しいかを議論する会議で過ごされるすべての時間は、規律あるガバナンス、単一の信頼できる情報源、名指しされたオーナーが完全に防いでいたはずの時間です。企業の規模では、このコストは数十のチームにわたって積み重なり、メトリクス群ごとの1ページのチャーターで避けられたはずの問題に、経営陣の注意の本当に大きな割合を消費させることがあります。

軽量なガバナンス慣行、チャーター、名指しされたオーナー、定期的なレビューの総所有コストは、ささやかで、ほとんどが前払いです。代替案、つまり経営陣が信頼してきた数字が実際には一度も比較可能ではなかったことを大きな取り組みの1年後に発見することは、無駄になった分析と、事後に公開記録や社内記録を訂正することによる信頼性の損害の両方において、はるかに高くつきます。

アンチパターンと落とし穴

名指しされた個人の所有権ではなくチームの所有権。 説明責任を拡散させ、やがて実際には誰も定義を保守しなくなります。
同じ名目上のメトリクスの並行した計算。 いずれ不一致と高くつくすり合わせを保証します。
誰かの頭の中だけに存在するチャーター。 その人が役割を変えた瞬間に消えます。
追加するだけで決して廃止しない指標プログラム。 誰も行動を起こせないダッシュボードの肥大化を生み出します。
結果にかかわらず均一なガバナンスの重さ。 賭け金の低い仕事を遅らせる一方で、賭け金の高い公開メトリクスや報酬に連動するメトリクスを過小に保護します。
静かな定義の変更。 メトリクスの意味が変更ログなしにずれていき、過去との比較が静かに無効になります。

成熟度モデル

レベル1、開始: メトリクスには正式なオーナーがおらず、定義は個人の記憶の中に存在し、チームを横断して静かにずれていきます。
レベル2、発展: 一部のチームは自分たちのメトリクスについて非公式な文書を書きますが、共有されたチャーターの形式もチームを横断する一貫性もありません。
レベル3、標準化: チームの境界を越えるすべてのメトリクスには、文書化されたチャーター、名指しされたオーナー、そして合意された単一の信頼できる情報源があり、組織全体で徹底されています。
レベル4、管理: 繰り返されるガバナンスの頻度がメトリクスを継続的な関連性についてレビューし、もはや役に立たなくなったものを廃止し、定義の変更を目に見える履歴とともに追跡します。
レベル5、最適化: ガバナンスは結果に比例し、可能な場合は自動化されており(文書化されていない、あるいはオーナーのいないメトリクスを旗立てするメトリクスカタログ)、組織は求めに応じて、公開されたどんな数字の完全な来歴も示すことができます。

議論のためのアイデア

新しく入社した人は、文書だけから、私たちの最も重要な3つのメトリクスが実際に何を意味するかを知ることができるでしょうか。
私たちのメトリクスのうち、現在二つの異なるシステムが異なる方法で計算しているものはどれでしょうか。
私たちが最後にメトリクスを廃止したのはいつで、どうやってそう決めたでしょうか。
私たちのガバナンスプロセスは、結果が最も大きいところでより重くなっているでしょうか、それとも均一でしょうか。
私たちの組織で最も結果の重い、公開されている指標を、名前で誰が所有しているでしょうか。

主な要点

すべてのメトリクスには一人の名指しされたオーナー(チームではなく)と一つの信頼できる情報源(並行した計算ではなく)が必要です。
チームの境界を越えるあらゆるメトリクス群について、目的、非目標、所有権、レビューの頻度を述べる、短く生きた指標チャーターを書いてください。
廃止は採用と同じくらい重要なガバナンスの規律です。意図的に刈り込んでください。
ガバナンスの厳格さを、メトリクスの数ではなく結果に合わせて調整してください。公開、評価的、あるいは報酬に連動するメトリクスにはより重いプロセスを。
メトリクスの定義は静かにずれていくことがあります。変更を目に見える履歴とともに追跡し、数字への信頼が職員の入れ替わりを生き延びるようにしてください。

参考文献とさらなる読書

Data Governance: How to Design, Deploy, and Sustain an Effective Data Governance Program, John Ladley 著。
Measuring and Managing Performance in Organizations, Robert D. Austin 著。
Key Performance Indicators, David Parmenter 著。
米国政府説明責任院(GAO)による業績測定とGPRA近代化法に関する指針。