1.2 グッドハートの法則と指標の心理学

概要と動機

経済学者チャールズ・グッドハートにちなんで名づけられたグッドハートの法則は、通常こう述べられます。測定が目標になった瞬間、それは良い測定ではなくなる。グッドハート自身の1975年の観察は金融政策についてのものでしたが、人類学者マリリン・ストラザーンによる後の言い換えこそ、ソフトウェアチームが実際に必要とするバージョンであり、本書全体がその一文の上に築かれています。以降のすべてのトピックに登場するあらゆるメトリクス、デプロイ頻度、テストカバレッジ、満足度スコアは、この危険を伴っており、本書のあらゆる推奨事項は、何らかの形でこの危険を管理するための戦略なのです。

その仕組みは謎めいたものではありません。人はインセンティブに反応します。そして報酬、評価、あるいは評判に結びついたメトリクスは、誰かがそう意図していなくてもインセンティブとして機能します。あるチームが「デプロイ頻度」が見られていると知った瞬間、その数字を動かす最も安上がりな方法は、必ずしも意図された方法とは限りません。一つの意味のある変更を5つの些細なデプロイに分割すれば、何も実質的には改善していないのに数字は上がります。これは悪意ある行為者についての話ではありません。普通の、善意あるエンジニアでさえ、設計の悪いインセンティブに対してまさにこのように反応します。なぜなら、プレッシャーのもとで行動を形づくるのは意図ではなく、インセンティブそのものだからです。

大規模な組織にとって、賭け金はより高くなります。なぜなら、メトリクスを設計した人と、それによって行動を形づくられる人との距離が、規模とともに広がるからです。8人のチームのために自分でメトリクスを作るチームリーダーは、操作を直接観察し、すぐに軌道修正できます。600人の部門全体に展開されたメトリクス、あるいは議会が読む政府の業績報告書に掲載されたメトリクスは、その作成者に一度も会ったことがなく、メトリクスの文言そのものを目標として扱う十分な理由を持つ人々の層を通過していきます。そのゆがみは距離とともに増幅します。だからこそ、本書が重心を置くのは、後のトピックではなく本トピックなのです。

重要な原則

インセンティブ化されたメトリクスはすべて操作されると想定する。 ゆがみが発見されてからではなく、最初のバージョンから、それに対抗するよう設計すること。
操作は悪意ではなく、合理的なものである。 人々はあなたが作ったインセンティブに賢明に反応しているのであり、それを人のせいにしても何も解決しません。
メトリクスの所有者からの距離がゆがみのリスクを高める。 数字がその意図を理解している人から遠くへ移動するほど、それは精神ではなく文言としてのルールになっていきます。
比率や範囲は、素の件数よりも操作に強い。 素の件数は量を報います。うまく選ばれた比率は、あなたが本当に望む行動を報います。
インセンティブ化されたメトリクスにガードレールは任意ではない。 報酬を結びつけるすべてのメトリクスには、悪化してはならない対になる反対指標が必要です。

推奨事項

すべてのメトリクスをインセンティブへの露出度で分類する

メトリクスをどこか目に見える場所で公開する前に、直接問いかけてください。誰かの報酬、評価、評判、あるいは予算が、この数字が特定の方向に動くことに依存しているか。もし答えがイエスなら、それはインセンティブ化されたメトリクスであり、公開される前に(後述の)ガードレールが必要です。ノーなら、それは診断的なメトリクス(トピック1.1)であり、操作のリスクはより低くなりますが、決してゼロではありません。なぜなら、今日は正式なインセンティブが結びついていなくても、人々は後で判断材料にされると単に予想するだけで、その数字を形づくることができるからです。

素の件数よりも比率、割合、コホートを優先する

「クローズしたチケット数」のような素の件数は、価値の低い何かをより多くこなすことで操作可能です。「初回対応で解決されたチケットの割合」のような比率は、量ではなく根底にある行動を報います。コホート、つまりある週のすべてのデプロイのような共通の出発点によって定義されるグループは、都合の良い長期集計の中に最近の悪い傾向が隠れてしまうのを防ぎます。同じ根底の行動を捉える件数と割合のどちらかを選べる場面では、常に割合を選んでください。

すべてのインセンティブ化されたメトリクスをガードレールと対にする

ガードレール指標とは、主要なメトリクスが改善する間、悪化してはならない対になる反対指標のことです。デプロイ頻度は変更失敗率と対になります。リードタイムは流出欠陥率と対になります。サポートチームの対応時間は顧客満足度と対になります。ガードレールこそが、安上がりな操作を目に見える形で高くつくものにします。インセンティブ化された数字をガードレールの悪化によって改善させたチームは、運ではなくこの対によって見つけ出されます。ガードレールは、操作がすでに発見された後の後付けとしてではなく、主要なメトリクスと同時に設計してください。

4つの古典的な操作パターンに注意する

グッドハートの法則のもとでのゆがみは、少数の見分けやすい形に収まる傾向があります。閾値操作は目標ぴったりまで最適化してそこで止まります(95%のテストカバレッジ目標は、本物のカバレッジではなく、ちょうど95%に到達するための些細なテストを生み出します)。定義操作は、起きていることではなく、何が数えられるかを変えます(「解決済み」の定義を変えて困難なケースを除外する)。タイミング操作は、作業がいつ発生したかではなく、いつ記録されるかをずらします(報告期間が閉じる直前にデプロイをまとめて行う)。代替操作は、メトリクスの意図を放棄したまま文言だけを満たします(デプロイ頻度を水増しするために、一つの本物の変更を多数の些細な変更に分割する)。これらのパターンにチームに対して明示的に名前をつけることで、自分たち自身の数字に現れたときにはるかに見つけやすくなります。

可能な限り測定を報酬から切り離す

最も強力なガードレールは構造的なものです。メトリクスを個人の報酬から切り離すこと。誰かの給与、評価、あるいは地位がその方向性に左右されない、純粋にシステムを理解するために使われるメトリクスは、評価に結びついたメトリクスよりもはるかに弱い操作の圧力しか受けません。だからこそ、トピック1.1の診断的対評価的の区別は実務において非常に重要なのです。あるメトリクスを診断的なままに保つことは、事後にどれだけガードレール工学を施すよりも、しばしば安上がりで効果的です。

トレードオフ:長所と短所

アプローチ	長所	短所
素の件数	計算と説明が簡単	量によって非常に操作されやすい
比率と割合	正しい行動を報い、量による操作に強い	分母が縮小する問題を隠すことがある
ガードレールの対化	安上がりな操作を目に見える形で高くつくものにする	定義し、所有し、保守すべきメトリクスが倍になる
診断専用(個人報酬なし)	どの選択肢よりも操作の圧力が最も低い	経営陣にとっての直接的な動機づけの手段としては弱い
強くインセンティブ化されたメトリクス	強く、速い行動反応	高いゆがみのリスク、しばしば一つの報告サイクル以内に

中心にある緊張関係は動機づけの力とゆがみのリスクです。行動を最も速く動かすメトリクス、つまり数字を直接報酬に結びつけるものこそ、グッドハートの法則に最もさらされているものです。この緊張を解消するには、安上がりに操作することが本当に難しい成果メトリクスのために強いインセンティブをとっておき、インセンティブ化するものには何であれ、最初のゆがみが現れてから後付けするのではなく、同時に設計されたガードレールを対にしてください。

チームで話し合うべき問い

誰かの報酬が依存している各メトリクスについて、それを操作する最も安上がりな方法は何で、今日私たちはその操作を見つけられるでしょうか。 ダッシュボード上のインセンティブ化された数字一つひとつについて、意図的にその抜け道を設計してみてください。合理的で善意あるチームは、根底にある仕事をせずにこれをどう良く見せるでしょうか。その操作を見つけられる方法を名指しできないなら、まだそのメトリクスをインセンティブ化する準備はできていません。この演習は不快なものであり、その不快さこそが重要なのです。
現在の私たちのメトリクスのうち、誰も指摘しないまま、閾値操作、定義操作、タイミング操作、代替操作という4つの操作パターンのいずれかにすでにずれてしまっているものはどれでしょうか。ゆがみはめったに自ら名乗り出ません。根底にある苦情、インシデント、あるいは顧客からのフィードバックが別の話を語っているのに、数字だけが素晴らしく見えるという形で現れます。ダッシュボードをパターンごとに名指しして見比べ、一致するものについて正直になってください。
ダッシュボード上のすべてのインセンティブ化されたメトリクスに対になるガードレールがあり、そのガードレールはメトリクスと同時に設計されたでしょうか。操作が発見された後にだけ追加されたガードレールは修理であり、設計の選択ではありません。そして、たいていは信頼への最初の損害を防ぐには遅すぎるタイミングで到着します。インセンティブ化されたメトリクスを、特にこの対化について監査してください。
このメトリクスは、その意図を理解している人から、その行動を形づくられる人に届くまでに、どれだけの距離を移動するでしょうか。 プラットフォームチームが作り、3つ先の管理階層で消費されるメトリクス、あるいは計装を一度も見たことのない人々が読む公開報告書に掲載されたメトリクスは、チームが自分自身のために設計したメトリクスよりも、精神ではなく文言による操作にはるかにさらされています。最も影響の大きいメトリクスについて、その距離を地図に描いてみてください。
あるメトリクスが操作されていることを発見した後にインセンティブを取り除いたことはあるでしょうか。そして、それを修正するのに信頼という面でどれだけの代償を払ったでしょうか。組織はしばしば、四半期や1年に及ぶゆがんだ行動の後に、苦い経験を通じてグッドハートの法則を発見します。その修理のコストは、予防していた場合よりも高くつきます。もし実際のインシデントがあれば持ち寄り、静かにやり過ごすのではなく明示的に教訓を取り出してください。
私たちはどこで、操作を設計の悪いインセンティブに対する合理的な反応としてではなく、個人の誠実さの問題として扱ってきたでしょうか。 あなたが作ったインセンティブに予測可能な形で反応した個人を責めても、何も解決せず、しばしば信頼をさらに損ないます。思い出せるすべての操作のインシデントを、その人物の性格の問題ではなく、メトリクスの設計の問題として再定義し、どのような再設計がそれを防げたかを問うてください。

業種別の視点

スタートアップ。 小さなチームであれば、最も速いガードレールは直接の会話です。誰もがある数字を見て、すぐに「待って、なぜそれが急に上がったの」と尋ねることができます。本当のリスクは、創業者が資金調達の物語(何としてでも成長)にガードレールなしでメトリクスを結びつけることです。外部の投資家は、まさに操作を魅力的にする類の、遠く離れた高い賭け金のプレッシャーをかけるからです。

中小企業。 既製のツールは、しばしば件数(クローズしたチケット、対応した電話)を中心に組み立てられた既定のダッシュボードを出荷します。件数は計算しやすいからです。ツールが許す限り、これらを積極的に割合へ変換し、まずそのガードレールを特定することなく、単一の数字をボーナスや評価に結びつけることには抵抗してください。

企業。 距離が支配的なリスクです。プラットフォームチームが内部診断のために設計したメトリクスが、3つ先の管理階層で拾い上げられ、それを作った人なら誰も見覚えがないようなKPIに変わってしまいます。これを明示的にガバナンスしてください(トピック1.4)。業績評価や経営陣のスコアカードでの使用が承認される前に、文書化されたガードレールを必須としてください。

政府。 公開される業績指標は、本書のどのカテゴリーよりも強い操作の圧力にさらされています。なぜなら、目標の未達が予算上あるいは政治上の結果をもたらし得るからです。定義そのものを固定された頻度で監査してください。数字だけでなくです。なぜなら、古典的な公共部門の操作パターンは、根底にあるサービスを改善することではなく、誰が数えられるかを静かに再定義すること(待っている人を再分類することで待機リストを「解決」する)だからです。

事例

企業。 ある小売技術企業は、すべてのサービスにわたって99%の自動テストカバレッジという目標を設定し、それを四半期レビューで使われるチームレベルの品質スコアに結びつけました。2四半期以内にカバレッジは99%に達し、インシデント率は上昇しました。監査の結果、チームがカバレッジツールを満足させることだけを目的に、関数が例外を投げずに戻ってくることを確認するだけの些細なテストを書いていたことが判明しました。一方で、本物のエッジケーステストはまったく改善していませんでした。この修正は、素のカバレッジ目標を対になるメトリクスに置き換えました。カバレッジに加えて、テストが実際に注入された欠陥を捉えるかどうかを測定するミューテーションテストのスコア(トピック4.2)です。これは安上がりに操作することがはるかに難しいものです。

政府。 ある州の失業保険局は、初回支払いまでの中央値日数で測定され、議会に報告されていました。目標達成のプレッシャーのもと、ある地域事務所は処理が難しい請求を静かに「不完全」として再分類し、分母から除外し始めました。これにより公開された中央値は見事に見える一方で、一部の請求者は報告が示唆するよりもはるかに長く待たされていました。数字そのものではなく定義そのものを対象とした独立監査が、この慣行を明らかにしました。この機関の対応は、定義を固定し、除外基準を公開し、不完全請求率そのものを追跡するガードレール指標を追加することでした。これにより、再分類の急増が、隠れるのではなく今後は目に見えるようになります。

ビジネスケース:動機、ROI、総所有コスト

グッドハートの法則を真剣に受け止めることからの見返りは、手戻りの回避です。ガードレールを前もって設計する組織は、2つ目のメトリクスを最初のメトリクスと並べて定義するために、わずかな追加労力を費やします。この手順を省く組織は、ゆがみが表面化するまでに丸1四半期かそれ以上の見当違いの努力を費やし、その後、操作された行動を元に戻し、その数字への信頼を再構築するという、はるかに困難なコストが続きます。上記の小売の例は典型的です。予防は安く、修理は高くつきます。

ガードレールの総所有コストは無料ではありません。それは定義し、計装し、レビューすべき2つ目のメトリクスです。しかし、そのコストは、誰も気づかないまま何か月もの間、間違った行動を静かに報い続けるインセンティブの無制限なコストに比べれば、小さく固定的なものです。本トピック以降のすべてのトピックがこのトレードオフを織り込んでいます。だからこそ、ガードレールの対化はここだけでなく、本書の残り全体を通じて推奨事項として登場するのです。

アンチパターンと落とし穴

ガードレールなしでインセンティブ化されたメトリクスを公開する。 本書におけるゆがんだダッシュボードの最も一般的な根本原因です。
操作を個人の欠陥として扱う。 設計の悪いインセンティブに対する合理的な反応を個人のせいにし、何も解決しません。
数字は監査するが定義は決して監査しない。 誰が数えられるかが静かに変わったことでメトリクスが良く見えてしまう、古典的な公共部門の失敗モードです。
診断的として機能していたメトリクスが評価的になっても安全なままだと想定する。 他に何も変わっていなくても、報酬が結びついた瞬間に露出度は変わります。
最初の操作インシデントの後にだけガードレールを設計する。 信頼への損害がすでに生じた後に到着する修理です。
距離を無視する。 メトリクスが複数の管理階層や公開報告書を経てから、それでも設計者の意図どおりに読まれるだろうと想定することです。

成熟度モデル

レベル1、開始: メトリクスは操作のリスクを考慮せず場当たり的にインセンティブ化され、ゆがみは品質や信頼が目に見えて損なわれた後にしか発見されません。
レベル2、発展: 一部のチームは事後的に操作を認識し、非公式に調整しますが、ガードレールを前もって設計する一貫した慣行はありません。
レベル3、標準化: 組織全体で、インセンティブ化されたすべてのメトリクスが承認前に文書化されたガードレールを必要とし、4つの操作パターンに名前がつけられ、教えられています。
レベル4、管理: 操作のリスクが能動的に監視されます。定義は定期的に監査され、ガードレールの対が今もゆがみを捉えているかがレビューされ、操作のインシデントそのものがメトリクスとして追跡されます。
レベル5、最適化: 組織はグッドハートの法則を常設の設計上の制約として扱い、新しいメトリクスが提案されるたびに自動的にレビューされます。そして、ゆがみが起きた後ではなく、起きる前にそれを防いだ具体的な再設計を指し示すことができます。

議論のためのアイデア

今日、私たちの組織で最も影響の大きいメトリクスのうち、ガードレールがないものはどれか。
根底の現実が悪化している間に、数字が改善するのを見たことはあるか。
公開されている私たちのメトリクスの一つの背後にある定義が静かに変わったら、誰がそれに気づくか。
4つの操作パターン(閾値、定義、タイミング、代替)のうち、私たちの組織が最も陥りやすいのはどれか。
主要なメトリクスが1年間操作されていたと発見したら、信頼という面でどれだけの代償を払うことになるか。

主な要点

グッドハートの法則: 測定が目標になった瞬間、それは良い測定ではなくなり、これは本書のあらゆるメトリクスを支配します。
操作はインセンティブに対する合理的な反応であり、性格の欠陥ではありません。直すべきはインセンティブの設計であり、人ではありません。
同じ行動を捉えられる場面では、素の件数よりも比率、割合、コホートを優先してください。
インセンティブ化されたすべてのメトリクスにはガードレールが必要であり、ゆがみが発見されてから追加するのではなく、同時に設計してください。
4つの操作パターンを名前で見分けてください。閾値操作、定義操作、タイミング操作、代替操作です。
メトリクスの設計者とその行動を形づくられる人との間の距離がゆがみのリスクを高めます。可能な限りその距離を短く保ってください。

参考文献とさらなる読書

Goodhart, C. A. E., “Problems of Monetary Management: The UK Experience” (1975)。
Strathern, Marilyn, “‘Improving Ratings’: Audit in the British University System” (1997)。
Seeing Like a State, James C. Scott 著。
The Tyranny of Metrics, Jerry Z. Muller 著。
Lean Analytics, Alistair Croll、Benjamin Yoskovitz 著。
米国政府説明責任院(GAO)による業績測定とGPRA近代化法に関する指針。